JP4396430B2 - 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 - Google Patents
視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 Download PDFInfo
- Publication number
- JP4396430B2 JP4396430B2 JP2004211525A JP2004211525A JP4396430B2 JP 4396430 B2 JP4396430 B2 JP 4396430B2 JP 2004211525 A JP2004211525 A JP 2004211525A JP 2004211525 A JP2004211525 A JP 2004211525A JP 4396430 B2 JP4396430 B2 JP 4396430B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- guidance information
- sight guidance
- attention
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Description
本発明は、視線がどのように誘導されるかを示す視線誘導情報を生成するシステムおよびプログラム、並びに方法に係り、特に、装置の小型化および低コスト化を図ることができるとともに、適切なアイフローを確実に求めることができる視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法に関する。
商品のカタログ等のように、レイアウト要素（例えば、タイトル、画像、テキスト）が見やすくレイアウトされたデザイン性の高い文書をビジュアルドキュメントという。ビジュアルドキュメントの作成には、多くのデザインノウハウが要求されるため、一般のビジネスマンが作成するのは難しい。そのため、ビジュアルドキュメントの作成は、デザインの専門的な知識を有するデザイナに委託して行うことが多い。
デザイナがビジュアルドキュメントを作成する際には、読み手の視線が流れる方向（以下、アイフローという。）に意味的に連続するレイアウト要素を配置することにより、読みやすいレイアウトを実現している。例えば、１つの記事がタイトル、画像およびテキストで構成されているとしたら、アイフローがその順となるように、タイトル、画像およびテキストを配置するのが好ましい。したがって、デザイナは、レイアウト要素を配置しては、アイフローを予測して読みやすくなるように再配置し、試行錯誤を繰り返しながらレイアウトを行う。アイフローは、デザイナが直感や経験に基づいて予測しているため、定量的に検出するのが困難であった。
従来、アイフローを検出する技術およびこれに関連する技術としては、例えば、特許文献１に開示されている視線情報解析装置、特許文献２に開示されている注目領域抽出装置、および非特許文献１に開示されている誘目度評価モデルがあった。
特許文献１記載の発明は、眼球運動検出装置によって眼球の運動を検出し、解析装置によって検出された眼球の時系列変化を周波数領域で解析し、画像入力部から入力された表示される画像の内容を表示内容解析装置で解析し、両者を統合解析部で統合処理することにより、被験者の心理的な観察状態、画像に対する客観的な評価について信頼性の高いデータを得る。
特許文献１記載の発明は、眼球運動検出装置によって眼球の運動を検出し、解析装置によって検出された眼球の時系列変化を周波数領域で解析し、画像入力部から入力された表示される画像の内容を表示内容解析装置で解析し、両者を統合解析部で統合処理することにより、被験者の心理的な観察状態、画像に対する客観的な評価について信頼性の高いデータを得る。
特許文献２記載の発明は、注目領域抽出装置、画像生成装置および構図切取装置を有して構成されている。画像生成装置は、カメラで撮影した映像からパノラマ画像の現画像を生成する。注目領域抽出装置は、画像生成装置から与えられる原画像から注目領域を抽出する。すなわち、原画像の物理的特徴に従って人間の主観に合った評価をし、評価した結果に従って注目領域を抽出する。構図切取装置は、抽出した注目領域および隣接する画像領域を、メモリに記憶された画家が描いた絵画や写真家が撮影した写真に関するデータを参照して、原画像から切り取る。すなわち、絵画画像や写真画像と同じ構図で切り取ることができる。
非特許文献１は、特許文献２記載の発明で導入されている誘目度の概念およびその具体的な算出方法を説明したものである。
特開平６−１６２号公報
特開２００１−１２６０７０号公報
田中昭二、井口征士、岩舘祐一、中津良平、「画像領域の色およびテクスチャのコントラストを特徴量とした図領域の抽出」、情報処理学会誌、Vol.40,No.8,1999.
しかしながら、特許文献１記載の発明にあっては、アイカメラ等の機器を利用してアイフローを検出する構成となっているため、装置が大規模になるとともに、多大なコストを要するという問題があった。また、特許文献１記載の発明を利用してデザイナが自己のアイフローを検出しながらレイアウトを行う場合は、似たようなレイアウト結果を繰り返し見ることで目が慣れたり、自己が期待するアイフローを意識したりしてしまい、第三者が初めてそのレイアウト結果を見たときのアイフローと、実際に検出される自己のアイフローとが一致しない可能性がある。デザイナが目的とするのは、レイアウト結果を初めて手にする読み手にとって読みやすいレイアウトを実現することであるため、デザイナが必要とするのは、レイアウト結果を初めて見た人のアイフローである。したがって、デザイナが自己のアイフローを検出しながらレイアウトを行っても、適切なアイフローを得ることが難しく、読みやすいレイアウトを実現するのが困難であるという問題があった。
また、特許文献１記載の発明は、ビジュアルドキュメントの画像から抽出した画像特徴量と、その画像を被験者に見せたときに、計測機器を使って計測した視線の動きの視線特徴量との対応を学習する。そして、学習結果が蓄積された後は、画像特徴量さえ与えれば、与えられた画像特徴量および学習結果に基づいて視線特徴量を推測することができる。
しかしながら、学習という方法を採用しているため、与えられた画像特徴量が学習済みのものであれば適切なアイフローが得られるが、学習済みのものでなければ適切なアイフローを得ることができない。そのため、数多くの学習を経なければ十分な信頼性が得られないという問題があった。
しかしながら、学習という方法を採用しているため、与えられた画像特徴量が学習済みのものであれば適切なアイフローが得られるが、学習済みのものでなければ適切なアイフローを得ることができない。そのため、数多くの学習を経なければ十分な信頼性が得られないという問題があった。
また、特許文献２および非特許文献１記載の発明にあっては、画像のなかから注目領域を抽出するようになっているため、その抽出結果から、注目領域に視線が誘導されやすいということを推測することはできてもせいぜいそこまでであり、画像のなかに複数の注目領域が存在する場合、注目領域を抽出するだけでは、アイフローを判断することができない。すなわち、各注目領域間を視線がどのように誘導されるかを把握することはできない。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、装置の小型化および低コスト化を図ることができるとともに、適切なアイフローを確実に求めることができる視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法を提供することを目的としている。
本発明者等は、鋭意検討を重ねた結果、アイフローをレイアウトに応用するには、まず、レイアウト領域に配置される各レイアウト要素を注目領域と見立て、それら注目領域間を視線がどのように誘導されやすいかを求めればよいという点に着目した。そしてさらに、複数の注目領域が存在する画像を観察した場合、人間の感覚としては、最初に、注目度合いが最も大きい注目領域に視線が誘導されやすく、次に、注目度合いの大きい注目領域から注目度合いの小さい注目領域へと視線が誘導されやすいという特性があることを見出した。そこで、注目度合いが大きい順に各注目領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路をアイフローとして求めることを考えた。
しかしながら、例えば、注目度合いが大きい順に第１注目領域、第２注目領域および第３注目領域があり、第１注目領域と第２注目領域との間に第３注目領域が存在する場合は、第１注目領域、第２注目領域および第３注目領域の順で必ずしも視線が誘導されるとは限らず、場合によっては、第１注目領域、第３注目領域および第２注目領域の順で視線が誘導されることがある。
本発明者等は、こうした現象を詳細に検討した結果、単に、注目度合いが大きい順に視線が誘導されるわけではなく、視線が誘導される要因には、注目領域間の距離も関係してくることが分かった。そこで、注目領域の注目度合いのほか注目領域の位置を考慮してアイフローを求めるのが適切であるという結論に達した。
〔発明１〕 上記目的を達成するために、発明１の視線誘導情報生成システムは、
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得手段と、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得手段と、前記注目度特徴量取得手段で取得した注目度特徴量および前記位置情報取得手段で取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得手段と、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得手段と、前記注目度特徴量取得手段で取得した注目度特徴量および前記位置情報取得手段で取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする。
このような構成であれば、注目度特徴量取得手段により、部分領域の注目度特徴量が取得され、位置情報取得手段により、部分領域の位置情報が取得される。そして、視線誘導情報生成手段により、取得された注目度特徴量および位置情報に基づいて視線誘導情報が生成される。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な情報や特徴に基づいて視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを定量的に算出することができる。また、部分領域の注目度合いのほか部分領域の位置を考慮して視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを比較的適切に算出することができる。したがって、従来に比して、比較的適切なアイフロー（視線誘導情報）を定量的に求めることができるという効果が得られる。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な情報や特徴に基づいて視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを定量的に算出することができる。また、部分領域の注目度合いのほか部分領域の位置を考慮して視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを比較的適切に算出することができる。したがって、従来に比して、比較的適切なアイフロー（視線誘導情報）を定量的に求めることができるという効果が得られる。
また、アイカメラ等の機器を別途設ける必要がないので、装置が大規模となったり、多大なコストが発生したりすることがなく、従来に比して、装置の小型化および低コスト化を図ることができるという効果も得られる。
さらに、学習という方法により視線誘導度を算出するものではないので、適切なアイフローを比較的確実に求めることができるという効果も得られる。
さらに、学習という方法により視線誘導度を算出するものではないので、適切なアイフローを比較的確実に求めることができるという効果も得られる。
ここで、注目度特徴量取得手段は、部分領域の注目度特徴量を取得するようになっていればどのような構成であってもよく、例えば、入力装置等から注目度特徴量を入力するようになっていてもよいし、外部の端末等から注目度特徴量を獲得するようになっていてもよいし、画像データ等に基づいて注目度特徴量を算出するようになっていてもよい。すなわち、取得には、少なくとも入力、獲得および算出が含まれる。
また、位置情報取得手段は、部分領域の位置情報を取得するようになっていればどのような構成であってもよく、例えば、入力装置等から位置情報を入力するようになっていてもよいし、外部の端末等から位置情報を獲得するようになっていてもよいし、画像データ等に基づいて位置情報を算出するようになっていてもよい。すなわち、取得には、少なくとも入力、獲得および算出が含まれる。
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明２の視線誘導情報生成システムにおいて同じである。
〔発明２〕 さらに、発明２の視線誘導情報生成システムは、
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出手段と、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出手段と、前記注目度特徴量算出手段で算出した注目度特徴量および前記位置情報算出手段で算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出手段と、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出手段と、前記注目度特徴量算出手段で算出した注目度特徴量および前記位置情報算出手段で算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする。
このような構成であれば、注目度特徴量算出手段により、各部分領域の注目度特徴量が算出され、位置情報算出手段により、各部分領域の位置情報が算出される。そして、視線誘導情報生成手段により、算出された注目度特徴量および位置情報に基づいて視線誘導情報が生成される。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な情報や特徴に基づいて視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを定量的に算出することができる。また、部分領域の注目度合いのほか部分領域の位置を考慮して視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを比較的適切に算出することができる。したがって、従来に比して、比較的適切なアイフローを定量的に求めることができるという効果が得られる。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な情報や特徴に基づいて視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを定量的に算出することができる。また、部分領域の注目度合いのほか部分領域の位置を考慮して視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを比較的適切に算出することができる。したがって、従来に比して、比較的適切なアイフローを定量的に求めることができるという効果が得られる。
また、アイカメラ等の機器を別途設ける必要がないので、装置が大規模となったり、多大なコストが発生したりすることがなく、従来に比して、装置の小型化および低コスト化を図ることができるという効果も得られる。
さらに、学習という方法により視線誘導度を算出するものではないので、適切なアイフローを比較的確実に求めることができるという効果も得られる。
さらに、学習という方法により視線誘導度を算出するものではないので、適切なアイフローを比較的確実に求めることができるという効果も得られる。
〔発明３〕 さらに、発明３の視線誘導情報生成システムは、発明１および２のいずれか１の視線誘導情報生成システムにおいて、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする。
このような構成であれば、始点部分領域検出手段により、注目度特徴量に基づいて複数の部分領域のなかから始点部分領域が検出される。そして、視線誘導情報生成手段により、検出された始点部分領域を始点として視線誘導経路が形成され、形成された視線誘導経路を示す視線誘導情報が生成される。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な特徴に基づいて始点部分領域が検出されるので、アイフローの始点を定量的に求めることができるという効果が得られる。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な特徴に基づいて始点部分領域が検出されるので、アイフローの始点を定量的に求めることができるという効果が得られる。
〔発明４〕 さらに、発明４の視線誘導情報生成システムは、発明３の視線誘導情報生成システムにおいて、
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする。
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする。
このような構成であれば、始点部分領域検出手段により、注目度特徴量に基づいて、複数の部分領域のうち注目度特徴量が最も大きい領域が始点部分領域として検出される。
これにより、最初に画像を見たときに注目度合いが最も大きい領域に視線が誘導されやすいという特性を利用して始点部分領域が検出されるので、アイフローの始点を比較的適切に求めることができるという効果が得られる。
これにより、最初に画像を見たときに注目度合いが最も大きい領域に視線が誘導されやすいという特性を利用して始点部分領域が検出されるので、アイフローの始点を比較的適切に求めることができるという効果が得られる。
〔発明５〕 さらに、発明５の視線誘導情報生成システムは、発明１および２のいずれか１の視線誘導情報生成システムにおいて、
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出手段と、前記基準点検出手段で検出した各基準点間の距離を算出する基準点間距離算出手段とを備え、
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて前記視線誘導情報を生成するようになっていることを特徴とする。
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出手段と、前記基準点検出手段で検出した各基準点間の距離を算出する基準点間距離算出手段とを備え、
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて前記視線誘導情報を生成するようになっていることを特徴とする。
このような構成であれば、基準点検出手段により、視線誘導特徴空間のなかから各部分領域の基準点が検出され、基準点間距離算出手段により、検出された各基準点間の距離が算出される。そして、視線誘導情報生成手段により、算出された基準点間距離に基づいて視線誘導情報が生成される。
これにより、部分領域の注目度合いおよび位置を視線誘導特徴空間上の距離として表現して視線誘導情報が生成されるので、部分領域の注目度合いおよび位置を比較的適切に視線誘導情報の生成に反映させることができる。したがって、さらに適切なアイフローを求めることができるという効果が得られる。
これにより、部分領域の注目度合いおよび位置を視線誘導特徴空間上の距離として表現して視線誘導情報が生成されるので、部分領域の注目度合いおよび位置を比較的適切に視線誘導情報の生成に反映させることができる。したがって、さらに適切なアイフローを求めることができるという効果が得られる。
〔発明６〕 さらに、発明６の視線誘導情報生成システムは、発明５の視線誘導情報生成システムにおいて、
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする。
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする。
このような構成であれば、視線誘導情報生成手段により、算出された基準点間距離に基づいて、各部分領域を順次通過する視線誘導経路を示す視線誘導情報が生成される。
これにより、視線誘導情報を参照すれば、部分領域間を視線がどのように誘導されやすいかを把握しやすくなるという効果が得られる。
これにより、視線誘導情報を参照すれば、部分領域間を視線がどのように誘導されやすいかを把握しやすくなるという効果が得られる。
〔発明７〕 さらに、発明７の視線誘導情報生成システムは、発明６の視線誘導情報生成システムにおいて、
前記視線誘導情報生成手段は、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする。
前記視線誘導情報生成手段は、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする。
このような構成であれば、視線誘導情報生成手段により、複数の部分領域のうち所定の始点部分領域を始点とし、前段の部分領域からみて基準点間距離が最も小さい部分領域を次段の部分領域として、各部分領域を順次通過する視線誘導経路が形成され、形成された視線誘導経路を示す視線誘導情報が生成される。
これにより、注目度合いの大きい領域から注目度合いの小さい領域へと視線が誘導されやすいという特性を利用して視線誘導経路が形成されるので、さらに適切なアイフローを求めることができるという効果が得られる。
これにより、注目度合いの大きい領域から注目度合いの小さい領域へと視線が誘導されやすいという特性を利用して視線誘導経路が形成されるので、さらに適切なアイフローを求めることができるという効果が得られる。
〔発明８〕 さらに、発明８の視線誘導情報生成システムは、発明７の視線誘導情報生成システムにおいて、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として前記視線誘導経路を形成するようになっていることを特徴とする。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として前記視線誘導経路を形成するようになっていることを特徴とする。
このような構成であれば、始点部分領域検出手段により、注目度特徴量に基づいて複数の部分領域のなかから始点部分領域が検出される。そして、視線誘導情報生成手段により、検出された始点部分領域を始点として視線誘導経路が形成される。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な特徴に基づいて始点部分領域が検出されるので、アイフローの始点を定量的に求めることができるという効果が得られる。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な特徴に基づいて始点部分領域が検出されるので、アイフローの始点を定量的に求めることができるという効果が得られる。
〔発明９〕 さらに、発明９の視線誘導情報生成システムは、発明８の視線誘導情報生成システムにおいて、
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする。
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする。
このような構成であれば、始点部分領域検出手段により、注目度特徴量に基づいて、複数の部分領域のうち注目度特徴量が最も大きい領域が始点部分領域として検出される。
これにより、最初に画像を見たときに注目度合いが最も大きい領域に視線が誘導されやすいという特性を利用して始点部分領域が検出されるので、アイフローの始点を比較的適切に求めることができるという効果が得られる。
これにより、最初に画像を見たときに注目度合いが最も大きい領域に視線が誘導されやすいという特性を利用して始点部分領域が検出されるので、アイフローの始点を比較的適切に求めることができるという効果が得られる。
〔発明１０〕 さらに、発明１０の視線誘導情報生成システムは、発明５ないし９のいずれか１の視線誘導情報生成システムにおいて、
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更手段を備えることを特徴とする。
このような構成であれば、縮尺変更手段により、視線誘導特徴空間の各軸のうちいずれかの縮尺が変更される。
これにより、部分領域の注目度合いおよび位置をどのような割合で視線誘導情報の生成に反映させるかを調整することができるという効果が得られる。
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更手段を備えることを特徴とする。
このような構成であれば、縮尺変更手段により、視線誘導特徴空間の各軸のうちいずれかの縮尺が変更される。
これにより、部分領域の注目度合いおよび位置をどのような割合で視線誘導情報の生成に反映させるかを調整することができるという効果が得られる。
〔発明１１〕 一方、上記目的を達成するために、発明１１の視線誘導情報生成プログラムは、
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の視線誘導情報生成システムと同等の作用および効果が得られる。
ここで、注目度特徴量取得ステップは、部分領域の注目度特徴量を取得すればどのような形態であってもよく、例えば、入力装置等から注目度特徴量を入力してもよいし、外部の端末等から注目度特徴量を獲得してもよいし、画像データ等に基づいて注目度特徴量を算出してもよい。すなわち、取得には、少なくとも入力、獲得および算出が含まれる。以下、発明２１の視線誘導情報生成方法において同じである。
ここで、注目度特徴量取得ステップは、部分領域の注目度特徴量を取得すればどのような形態であってもよく、例えば、入力装置等から注目度特徴量を入力してもよいし、外部の端末等から注目度特徴量を獲得してもよいし、画像データ等に基づいて注目度特徴量を算出してもよい。すなわち、取得には、少なくとも入力、獲得および算出が含まれる。以下、発明２１の視線誘導情報生成方法において同じである。
また、位置情報取得ステップは、部分領域の位置情報を取得すればどのような形態であってもよく、例えば、入力装置等から位置情報を入力してもよいし、外部の端末等から位置情報を獲得してもよいし、画像データ等に基づいて位置情報を算出してもよい。すなわち、取得には、少なくとも入力、獲得および算出が含まれる。以下、発明２１の視線誘導情報生成方法において同じである。
〔発明１２〕 さらに、発明１２の視線誘導情報生成プログラムは、
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明２の視線誘導情報生成システムと同等の作用および効果が得られる。
〔発明１３〕 さらに、発明１３の視線誘導情報生成プログラムは、発明１１および１２のいずれか１の視線誘導情報生成プログラムにおいて、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出ステップからなる処理をコンピュータに実行させるためのプログラムを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出ステップからなる処理をコンピュータに実行させるためのプログラムを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明３の視線誘導情報生成システムと同等の作用および効果が得られる。
〔発明１４〕 さらに、発明１４の視線誘導情報生成プログラムは、発明１３の視線誘導情報生成プログラムにおいて、
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明４の視線誘導情報生成システムと同等の作用および効果が得られる。
〔発明１５〕 さらに、発明１５の視線誘導情報生成プログラムは、発明１１および１２のいずれか１の視線誘導情報生成プログラムにおいて、
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出ステップと、前記基準点検出ステップで検出した各基準点間の距離を算出する基準点間距離算出ステップとからなる処理をコンピュータに実行させるためのプログラムを含み、
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて前記視線誘導情報を生成することを特徴とする。
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出ステップと、前記基準点検出ステップで検出した各基準点間の距離を算出する基準点間距離算出ステップとからなる処理をコンピュータに実行させるためのプログラムを含み、
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて前記視線誘導情報を生成することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明５の視線誘導情報生成システムと同等の作用および効果が得られる。
〔発明１６〕 さらに、発明１６の視線誘導情報生成プログラムは、発明１５の視線誘導情報生成プログラムにおいて、
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成することを特徴とする。
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明６の視線誘導情報生成システムと同等の作用および効果が得られる。
〔発明１７〕 さらに、発明１７の視線誘導情報生成プログラムは、発明１６の視線誘導情報生成プログラムにおいて、
前記視線誘導情報生成ステップは、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
前記視線誘導情報生成ステップは、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明７の視線誘導情報生成システムと同等の作用および効果が得られる。
〔発明１８〕 さらに、発明１８の視線誘導情報生成プログラムは、発明１７の視線誘導情報生成プログラムにおいて、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出ステップからなる処理をコンピュータに実行させるためのプログラムを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として前記視線誘導経路を形成することを特徴とする。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出ステップからなる処理をコンピュータに実行させるためのプログラムを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として前記視線誘導経路を形成することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明８の視線誘導情報生成システムと同等の作用および効果が得られる。
〔発明１９〕 さらに、発明１９の視線誘導情報生成プログラムは、発明１８の視線誘導情報生成プログラムにおいて、
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明９の視線誘導情報生成システムと同等の作用および効果が得られる。
〔発明２０〕 さらに、発明２０の視線誘導情報生成プログラムは、発明１５ないし１９のいずれか１の視線誘導情報生成プログラムにおいて、
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更ステップからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１０の視線誘導情報生成システムと同等の作用および効果が得られる。
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更ステップからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１０の視線誘導情報生成システムと同等の作用および効果が得られる。
〔発明２１〕 一方、上記目的を達成するために、発明２１の視線誘導情報生成方法は、
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする。
これにより、発明１の視線誘導情報生成システムと同等の効果が得られる。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする。
これにより、発明１の視線誘導情報生成システムと同等の効果が得られる。
〔発明２２〕 さらに、発明２２の視線誘導情報生成方法は、
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする。
これにより、発明２の視線誘導情報生成システムと同等の効果が得られる。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする。
これにより、発明２の視線誘導情報生成システムと同等の効果が得られる。
〔発明２３〕 さらに、発明２３の視線誘導情報生成方法は、発明２１および２２のいずれか１の視線誘導情報生成方法において、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出ステップを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
これにより、発明３の視線誘導情報生成システムと同等の効果が得られる。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出ステップを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
これにより、発明３の視線誘導情報生成システムと同等の効果が得られる。
〔発明２４〕 さらに、発明２４の視線誘導情報生成方法は、発明２３の視線誘導情報生成方法において、
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
これにより、発明４の視線誘導情報生成システムと同等の効果が得られる。
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
これにより、発明４の視線誘導情報生成システムと同等の効果が得られる。
〔発明２５〕 さらに、発明２５の視線誘導情報生成方法は、発明２１および２２のいずれか１の視線誘導情報生成方法において、
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出ステップと、前記基準点検出ステップで検出した各基準点間の距離を算出する基準点間距離算出ステップとを含み、
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて前記視線誘導情報を生成することを特徴とする。
これにより、発明５の視線誘導情報生成システムと同等の効果が得られる。
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出ステップと、前記基準点検出ステップで検出した各基準点間の距離を算出する基準点間距離算出ステップとを含み、
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて前記視線誘導情報を生成することを特徴とする。
これにより、発明５の視線誘導情報生成システムと同等の効果が得られる。
〔発明２６〕 さらに、発明２６の視線誘導情報生成方法は、発明２５の視線誘導情報生成方法において、
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成することを特徴とする。
これにより、発明６の視線誘導情報生成システムと同等の効果が得られる。
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成することを特徴とする。
これにより、発明６の視線誘導情報生成システムと同等の効果が得られる。
〔発明２７〕 さらに、発明２７の視線誘導情報生成方法は、発明２６の視線誘導情報生成方法において、
前記視線誘導情報生成ステップは、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
これにより、発明７の視線誘導情報生成システムと同等の効果が得られる。
前記視線誘導情報生成ステップは、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
これにより、発明７の視線誘導情報生成システムと同等の効果が得られる。
〔発明２８〕 さらに、発明２８の視線誘導情報生成方法は、発明２７の視線誘導情報生成方法において、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出ステップを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として前記視線誘導経路を形成することを特徴とする。
これにより、発明８の視線誘導情報生成システムと同等の効果が得られる。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出ステップを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として前記視線誘導経路を形成することを特徴とする。
これにより、発明８の視線誘導情報生成システムと同等の効果が得られる。
〔発明２９〕 さらに、発明２９の視線誘導情報生成方法は、発明２８の視線誘導情報生成方法において、
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
これにより、発明９の視線誘導情報生成システムと同等の効果が得られる。
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
これにより、発明９の視線誘導情報生成システムと同等の効果が得られる。
〔発明３０〕 さらに、発明３０の視線誘導情報生成方法は、発明２５ないし２９のいずれか１の視線誘導情報生成方法において、
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更ステップを含むことを特徴とする。
これにより、発明１０の視線誘導情報生成システムと同等の効果が得られる。
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更ステップを含むことを特徴とする。
これにより、発明１０の視線誘導情報生成システムと同等の効果が得られる。
以下、本発明の実施の形態を図面を参照しながら説明する。図１ないし図２３は、本発明に係る視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法の実施の形態を示す図である。
本実施の形態は、本発明に係る視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法を、複数のレイアウト要素が配置されたレイアウト画像において、レイアウト要素間を視線がどのように誘導されるかを示す視線誘導情報を生成する場合について適用したものである。
本実施の形態は、本発明に係る視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法を、複数のレイアウト要素が配置されたレイアウト画像において、レイアウト要素間を視線がどのように誘導されるかを示す視線誘導情報を生成する場合について適用したものである。
まず、本発明の概要を図１ないし図３を参照しながら説明する。
図１は、視線誘導特徴空間における各レイアウト要素の分布を示す図である。
レイアウト画像３００には、図１に示すように、タイトルＡ、本文Ｂ、写真Ｃおよび写真Ｄの４つのレイアウト要素が配置されている。ここで、３次元空間からなる視線誘導特徴空間を定義する。視線誘導特徴空間は、レイアウト画像３００の横方向および縦方向をそれぞれＸ軸およびＹ軸に割り当て、レイアウト要素を注目する度合いを示す注目度特徴量をＺ軸に割り当ててなる。図１の例では、レイアウト要素の重心からＺ軸方向に引き出した点線の端点の高さが注目度特徴量の大きさを示しているため、タイトルＡの注目度特徴量が最も大きく、次いで写真Ｄ、写真Ｃ、本文Ｂの順で注目度特徴量が大きくなっている。
図１は、視線誘導特徴空間における各レイアウト要素の分布を示す図である。
レイアウト画像３００には、図１に示すように、タイトルＡ、本文Ｂ、写真Ｃおよび写真Ｄの４つのレイアウト要素が配置されている。ここで、３次元空間からなる視線誘導特徴空間を定義する。視線誘導特徴空間は、レイアウト画像３００の横方向および縦方向をそれぞれＸ軸およびＹ軸に割り当て、レイアウト要素を注目する度合いを示す注目度特徴量をＺ軸に割り当ててなる。図１の例では、レイアウト要素の重心からＺ軸方向に引き出した点線の端点の高さが注目度特徴量の大きさを示しているため、タイトルＡの注目度特徴量が最も大きく、次いで写真Ｄ、写真Ｃ、本文Ｂの順で注目度特徴量が大きくなっている。
図２は、レイアウト要素間を視線が誘導される視線誘導経路３０２を示す図である。
単純に注目度特徴量が大きい順に視線誘導経路を形成した場合は、図２に示すように、注目度特徴量が最も大きいタイトルＡを始点として、写真Ｄ、写真Ｃおよび本文Ｂの順で各レイアウト要素を順次通過する視線誘導経路３０２を形成することができる。しかしながら、タイトルＡと写真Ｄとが離れているため、必ずしもその順で視線が誘導されるとは限らない。なお、図２では、説明を簡単にするため、写真Ｃまでしか視線誘導経路３０２を示していないが、実際は、写真Ｃからさらに本文Ｂまで視線誘導経路３０２が続いている。
単純に注目度特徴量が大きい順に視線誘導経路を形成した場合は、図２に示すように、注目度特徴量が最も大きいタイトルＡを始点として、写真Ｄ、写真Ｃおよび本文Ｂの順で各レイアウト要素を順次通過する視線誘導経路３０２を形成することができる。しかしながら、タイトルＡと写真Ｄとが離れているため、必ずしもその順で視線が誘導されるとは限らない。なお、図２では、説明を簡単にするため、写真Ｃまでしか視線誘導経路３０２を示していないが、実際は、写真Ｃからさらに本文Ｂまで視線誘導経路３０２が続いている。
図３は、レイアウト要素間を視線が誘導される視線誘導経路３０４を示す図である。
そこで、注目度特徴量だけでなくレイアウト要素の位置を考慮して視線誘導経路を形成するのが適切である。その場合は、図３に示すように、タイトルＡを始点として、写真Ｃ、写真Ｄおよび本文Ｂの順で各レイアウト要素を順次通過する視線誘導経路３０４を形成することができる。なお、レイアウト要素の注目度特徴量および位置によっては、レイアウト要素の位置を考慮しても視線誘導経路３０２になることがある。なお、図３では、説明を簡単にするため、写真Ｄまでしか視線誘導経路３０４を示していないが、実際は、写真Ｄからさらに本文Ｂまで視線誘導経路３０４が続いている。
そこで、注目度特徴量だけでなくレイアウト要素の位置を考慮して視線誘導経路を形成するのが適切である。その場合は、図３に示すように、タイトルＡを始点として、写真Ｃ、写真Ｄおよび本文Ｂの順で各レイアウト要素を順次通過する視線誘導経路３０４を形成することができる。なお、レイアウト要素の注目度特徴量および位置によっては、レイアウト要素の位置を考慮しても視線誘導経路３０２になることがある。なお、図３では、説明を簡単にするため、写真Ｄまでしか視線誘導経路３０４を示していないが、実際は、写真Ｄからさらに本文Ｂまで視線誘導経路３０４が続いている。
本実施の形態は、レイアウト要素の注目度特徴量および位置に応じて、視線誘導経路３０２になる場合と、視線誘導経路３０４になる場合とを判別することにより、適切なアイフローを求めることを目的とする。
次に、本発明を適用するレイアウト装置１００の構成を図４を参照しながら説明する。
図４は、レイアウト装置１００の構成を示すブロック図である。
次に、本発明を適用するレイアウト装置１００の構成を図４を参照しながら説明する。
図４は、レイアウト装置１００の構成を示すブロック図である。
レイアウト装置１００は、図４に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ３０と、所定領域にあらかじめＣＰＵ３０の制御プログラム等を格納しているＲＯＭ３２と、ＲＯＭ３２等から読み出したデータやＣＰＵ３０の演算過程で必要な演算結果を格納するためのＲＡＭ３４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ３８とで構成されており、これらは、データを転送するための信号線であるバス３９で相互にかつデータ授受可能に接続されている。
Ｉ／Ｆ３８には、外部装置として、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置４０と、データやテーブル等をファイルとして格納する記憶装置４２と、画像信号に基づいて画面を表示する表示装置４４とが接続されている。
ＣＰＵ３０は、マイクロプロセッシングユニット（ＭＰＵ）等からなり、ＲＯＭ３２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図５のフローチャートに示す視線誘導情報生成処理を実行するようになっている。
ＣＰＵ３０は、マイクロプロセッシングユニット（ＭＰＵ）等からなり、ＲＯＭ３２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図５のフローチャートに示す視線誘導情報生成処理を実行するようになっている。
図５は、視線誘導情報生成処理を示すフローチャートである。
視線誘導情報生成処理は、レイアウト要素間を視線がどのように誘導されるかを示す視線誘導情報を生成する処理であって、ＣＰＵ３０において実行されると、図５に示すように、まず、ステップＳ１００に移行するようになっている。
ステップＳ１００では、画像データを記憶装置４２から読み出し、ステップＳ１０２に移行して、読み出した画像データに基づいてレイアウト画像を複数の領域に区分し、ステップＳ１０４に移行する。
視線誘導情報生成処理は、レイアウト要素間を視線がどのように誘導されるかを示す視線誘導情報を生成する処理であって、ＣＰＵ３０において実行されると、図５に示すように、まず、ステップＳ１００に移行するようになっている。
ステップＳ１００では、画像データを記憶装置４２から読み出し、ステップＳ１０２に移行して、読み出した画像データに基づいてレイアウト画像を複数の領域に区分し、ステップＳ１０４に移行する。
ステップＳ１０４では、読み出した画像データに基づいて各部分領域の注目度特徴量を算出し、ステップＳ１０６に移行して、読み出した画像データに基づいて、各部分領域についてその部分領域のレイアウト画像における位置を示す位置情報を算出し、ステップＳ１０８に移行する。
ステップＳ１０８では、算出した注目度特徴量に重み付けを行うことにより視線誘導特徴空間のＺ軸の縮尺を変更し、ステップＳ１１０に移行して、算出した注目度特徴量に基づいて複数の部分領域のなかから始点部分領域を検出し、ステップＳ１１２に移行する。
ステップＳ１０８では、算出した注目度特徴量に重み付けを行うことにより視線誘導特徴空間のＺ軸の縮尺を変更し、ステップＳ１１０に移行して、算出した注目度特徴量に基づいて複数の部分領域のなかから始点部分領域を検出し、ステップＳ１１２に移行する。
ステップＳ１１２では、重み付けした注目度特徴量および算出した位置情報に基づいて視線誘導特徴空間のなかから各部分領域の基準点を検出し、ステップＳ１１４に移行して、検出した各基準点間の距離を算出し、ステップＳ１１６に移行する。
ステップＳ１１６では、算出した基準点間距離に基づいて視線誘導経路を示す視線誘導情報を生成し、一連の処理を終了して元の処理に復帰させる。
ステップＳ１１６では、算出した基準点間距離に基づいて視線誘導経路を示す視線誘導情報を生成し、一連の処理を終了して元の処理に復帰させる。
次に、ステップＳ１０２の領域区分処理を図６および図７を参照しながら詳細に説明する。
図６は、レイアウト画像３１０を複数の領域に区分する場合を示す図である。
レイアウト画像３１０には、図６に示すように、４つのレイアウト要素４００〜４０６が縦長の矩形領域に配置されている。図６においては、レイアウト要素４００が上方に配置され、レイアウト要素４０２，４０４がレイアウト要素４００の下方に左から順に横並びに配置されている。また、レイアウト要素４０６がレイアウト要素４０４の下方に配置されている。
図６は、レイアウト画像３１０を複数の領域に区分する場合を示す図である。
レイアウト画像３１０には、図６に示すように、４つのレイアウト要素４００〜４０６が縦長の矩形領域に配置されている。図６においては、レイアウト要素４００が上方に配置され、レイアウト要素４０２，４０４がレイアウト要素４００の下方に左から順に横並びに配置されている。また、レイアウト要素４０６がレイアウト要素４０４の下方に配置されている。
レイアウト画像３１０は、複数の情報格納枠を所定のレイアウト領域に配置した状態をＸＭＬ（eXtensible Markup Language）等により規定したレイアウトテンプレートに従って、レイアウト要素４００〜４０６を各情報格納枠に格納することにより論理的なデータとして構成されている。その場合、情報格納枠に関する情報をレイアウトテンプレートから抽出することにより、レイアウト画像３１０を複数の領域に区分することができる。図６の例では、各部分領域Ａ〜Ｄは、各レイアウト要素４００〜４０６が占める領域と一致している。
図７は、レイアウト画像３２０を複数の領域に区分する場合を示す図である。
レイアウト画像３２０には、図７に示すように、５つのレイアウト要素４１０〜４１８が横長の矩形領域に配置されている。図７においては、レイアウト要素４１０〜４１４が上半分の領域に左から順に横並びに配置され、レイアウト要素４１６，４１８が下半分の領域に左から順に横並びに配置されている。
レイアウト画像３２０には、図７に示すように、５つのレイアウト要素４１０〜４１８が横長の矩形領域に配置されている。図７においては、レイアウト要素４１０〜４１４が上半分の領域に左から順に横並びに配置され、レイアウト要素４１６，４１８が下半分の領域に左から順に横並びに配置されている。
レイアウト画像３２０は、イメージデータとして構成されている。その場合、公知の領域認識技術（例えば、特公昭６１−３２７１２号公報または非特許文献１）を利用することにより、レイアウト画像３２０を複数の領域に区分することができる。図７の例では、各部分領域ａ〜ｅは、各レイアウト要素４１０〜４１８を含む領域となっている。
以下、レイアウト画像３１０およびレイアウト画像３２０を例にとって図５の各ステップの具体的な処理を説明する。
以下、レイアウト画像３１０およびレイアウト画像３２０を例にとって図５の各ステップの具体的な処理を説明する。
次に、ステップＳ１０４の注目度特徴量算出処理を図８および図９を参照しながら詳細に説明する。
ステップＳ１０４では、部分領域のなかから利用者が注目すると思われる箇所（以下、注目領域という。）を抽出し、注目領域を注目する度合いを注目度特徴量として算出する。本実施の形態では、注目領域の抽出基準として「誘目度」という概念を用いる。誘目度の算出方法は、例えば、特許文献２および非特許文献１に詳細に開示されている。
ステップＳ１０４では、部分領域のなかから利用者が注目すると思われる箇所（以下、注目領域という。）を抽出し、注目領域を注目する度合いを注目度特徴量として算出する。本実施の形態では、注目領域の抽出基準として「誘目度」という概念を用いる。誘目度の算出方法は、例えば、特許文献２および非特許文献１に詳細に開示されている。
誘目度について簡単に説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判定することができる。
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunathらが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した"edge flow"に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判定することができる。
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunathらが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した"edge flow"に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
誘目度の評価は、概略以下のようにして行う。
最初に、各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
最初に、各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、特徴量統合値を所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
図８は、レイアウト画像３１０の各部分領域Ａ〜Ｄの注目度特徴量を算出する場合を示す図である。
（３）また、原画像から誘目度を評価したパターン図を生成する。
図８は、レイアウト画像３１０の各部分領域Ａ〜Ｄの注目度特徴量を算出する場合を示す図である。
誘目度を利用して注目度特徴量を算出した場合、部分領域Ａ〜Ｄの注目度特徴量は、図８に示すように、例えば、それぞれ「９」、「１」、「７」および「８」となったとする。なお、誘目度は、「０」〜「１０」の範囲の値を取り得るので、注目度特徴量も「０」〜「１０」の範囲で算出される。
図９は、レイアウト画像３２０の各部分領域ａ〜ｅの注目度特徴量を算出する場合を示す図である。
図９は、レイアウト画像３２０の各部分領域ａ〜ｅの注目度特徴量を算出する場合を示す図である。
誘目度を利用して注目度特徴量を算出した場合、部分領域ａ〜ｅの注目度特徴量は、図９に示すように、例えば、それぞれ「９」、「６」、「４」、「１」および「７」となったとする。
なお、注目度特徴量を算出する技術としては、様々な公知技術を応用することができる。例えば、下記文献（１）、（２）に開示されているように、画像中の不連続部分や濃淡情報に基づいて注目領域を求める技術、下記文献（３）、（４）に開示されているように、輝度情報をもとに情報量を算出することにより注目領域を求める技術、および下記文献（５）〜（７）に開示されているように、誘目度に基づいて注目領域を求める技術がある。
（１）Ruggero Milanese, "Detecting Salient Regions in an Image: From Biological Evidence to Computer Implementation", Ph.D Theses, the University of Geneva, 1993.
（２）Laurent Itti, Christof Koch and Ernst Niebur, "A Model of Saliency-based Visual Attention for Rapid Scene Analysis", IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp.1254-1259, 1998.
（３）Martin Jagersand: Saliency Maps and Attention Selection in Scale and Spatial Coordinates: An Information Theoretic Approach, Proc.ICCV'95, pp.195-202, 1995.
（４）竹内義則、大西昇、杉江昇、「情報理論に基づいたアクティブビジョンシステム」, 信学論 D-II, Vol.J81-D-II, No.2, pp.323-330, 1998.
（５）田中昭二、井上正之、井上誠喜、中津良平、「誘目性に寄与する物理的特徴量を基にした画像注目領域の抽出」, 映情学誌, Vol.52, No.6, pp.881-890, 1998.
（６）Shoji Tanaka, Seiji Inokuchi and Yuichi Iwadate, "A Figure Extraxtion Method based on the Color and Texture Contrasts of Regions", IAPR ICIAP'99, 1999.（To appear in September）
（７）田中昭二、井口征士、岩館祐一、中津良平、「画像領域の色およびテクスチャのコントラストを特徴量とした図領域の抽出」、情報処理学会誌、Vol.40、No.8、1999.（１９９９年８月掲載予定）
次に、ステップＳ１０６の位置情報算出処理を図１０および図１１を参照しながら詳細に説明する。
なお、注目度特徴量を算出する技術としては、様々な公知技術を応用することができる。例えば、下記文献（１）、（２）に開示されているように、画像中の不連続部分や濃淡情報に基づいて注目領域を求める技術、下記文献（３）、（４）に開示されているように、輝度情報をもとに情報量を算出することにより注目領域を求める技術、および下記文献（５）〜（７）に開示されているように、誘目度に基づいて注目領域を求める技術がある。
（１）Ruggero Milanese, "Detecting Salient Regions in an Image: From Biological Evidence to Computer Implementation", Ph.D Theses, the University of Geneva, 1993.
（２）Laurent Itti, Christof Koch and Ernst Niebur, "A Model of Saliency-based Visual Attention for Rapid Scene Analysis", IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp.1254-1259, 1998.
（３）Martin Jagersand: Saliency Maps and Attention Selection in Scale and Spatial Coordinates: An Information Theoretic Approach, Proc.ICCV'95, pp.195-202, 1995.
（４）竹内義則、大西昇、杉江昇、「情報理論に基づいたアクティブビジョンシステム」, 信学論 D-II, Vol.J81-D-II, No.2, pp.323-330, 1998.
（５）田中昭二、井上正之、井上誠喜、中津良平、「誘目性に寄与する物理的特徴量を基にした画像注目領域の抽出」, 映情学誌, Vol.52, No.6, pp.881-890, 1998.
（６）Shoji Tanaka, Seiji Inokuchi and Yuichi Iwadate, "A Figure Extraxtion Method based on the Color and Texture Contrasts of Regions", IAPR ICIAP'99, 1999.（To appear in September）
（７）田中昭二、井口征士、岩館祐一、中津良平、「画像領域の色およびテクスチャのコントラストを特徴量とした図領域の抽出」、情報処理学会誌、Vol.40、No.8、1999.（１９９９年８月掲載予定）
次に、ステップＳ１０６の位置情報算出処理を図１０および図１１を参照しながら詳細に説明する。
図１０は、レイアウト画像３１０の各部分領域Ａ〜Ｄの位置情報を算出する場合を示す図である。
位置情報を求めるには、レイアウト画像３１０のサイズを定義する必要がある。レイアウト画像３１０の横方向の長さを「２０」、縦方向の長さを「３０」と定義した場合、部分領域Ａ〜Ｄの位置情報は、図１０に示すように、部分領域Ａ〜Ｄの重心位置をとって、それぞれ（１０，５）、（５，１５）、（１５，１０）および（１５，２５）となっている。ここで、位置情報のうち第１要素は、視線誘導特徴空間のＸ軸の座標を示し、第２要素は、視線誘導特徴空間のＹ軸の座標を示している。
位置情報を求めるには、レイアウト画像３１０のサイズを定義する必要がある。レイアウト画像３１０の横方向の長さを「２０」、縦方向の長さを「３０」と定義した場合、部分領域Ａ〜Ｄの位置情報は、図１０に示すように、部分領域Ａ〜Ｄの重心位置をとって、それぞれ（１０，５）、（５，１５）、（１５，１０）および（１５，２５）となっている。ここで、位置情報のうち第１要素は、視線誘導特徴空間のＸ軸の座標を示し、第２要素は、視線誘導特徴空間のＹ軸の座標を示している。
図１１は、レイアウト画像３２０の各部分領域ａ〜ｅの位置情報を算出する場合を示す図である。
レイアウト画像３２０の横方向の長さを「２０」、縦方向の長さを「１０」と定義した場合、部分領域ａ〜ｅの位置情報は、図１１に示すように、部分領域ａ〜ｅの重心位置をとって、それぞれ（５，４）、（１０，３）、（１５，３）、（８，８）および（１５，７）となっている。
レイアウト画像３２０の横方向の長さを「２０」、縦方向の長さを「１０」と定義した場合、部分領域ａ〜ｅの位置情報は、図１１に示すように、部分領域ａ〜ｅの重心位置をとって、それぞれ（５，４）、（１０，３）、（１５，３）、（８，８）および（１５，７）となっている。
次に、ステップＳ１０８の注目度特徴量変換処理を図１２ないし図１５を参照しながら詳細に説明する。
図１２は、注目度特徴量のスケールが位置情報に対して極端に小さい場合の視線誘導特徴空間を示す図である。
注目度特徴量および位置情報をＸＹＺ軸に割り当てて視線誘導特徴空間を定義する場合、図１２に示すように、注目度特徴量および位置情報の単位系によってはスケールがまったく異なるため、単純にそのままの値を割り当てると、適切なアイフローを求めることができない可能性がある。例えば、注目度特徴量のスケールが位置情報に対して極端に大きい場合は、視線誘導情報の生成に位置情報を反映させることができず、逆に、注目度特徴量のスケールが位置情報に対して極端に小さい場合は、視線誘導情報の生成に注目度特徴量を反映させることができない。
図１２は、注目度特徴量のスケールが位置情報に対して極端に小さい場合の視線誘導特徴空間を示す図である。
注目度特徴量および位置情報をＸＹＺ軸に割り当てて視線誘導特徴空間を定義する場合、図１２に示すように、注目度特徴量および位置情報の単位系によってはスケールがまったく異なるため、単純にそのままの値を割り当てると、適切なアイフローを求めることができない可能性がある。例えば、注目度特徴量のスケールが位置情報に対して極端に大きい場合は、視線誘導情報の生成に位置情報を反映させることができず、逆に、注目度特徴量のスケールが位置情報に対して極端に小さい場合は、視線誘導情報の生成に注目度特徴量を反映させることができない。
図１３は、注目度特徴量および位置情報のスケールが同程度となるように調整した場合の視線誘導特徴空間を示す図である。
そこで、ステップＳ１０８では、図１３に示すように、算出した注目度特徴量に重み付けを行うことにより視線誘導特徴空間のＺ軸の縮尺を変更し、注目度特徴量および位置情報のスケールが同程度となるように調整する。
そこで、ステップＳ１０８では、図１３に示すように、算出した注目度特徴量に重み付けを行うことにより視線誘導特徴空間のＺ軸の縮尺を変更し、注目度特徴量および位置情報のスケールが同程度となるように調整する。
図１４は、レイアウト画像３１０の各部分領域Ａ〜Ｄについて注目度特徴量および位置情報、並びに重み付けした注目度特徴量を示した表である。
図１４においては、フィールドＸ，Ｙが位置情報の第１要素および第２要素を示し、フィールドＺがステップＳ１０４で算出した注目度特徴量を示し、フィールドＺ’が重み付けした注目度特徴量を示している。図８および図１０の算出結果から、注目度特徴量が「０」〜「１０」の範囲をとるのに対して位置情報が「０」〜「３０」の範囲をとることが分かるので、下式（１）により、注目度特徴量に３倍の重み付けを行うことにより注目度特徴量および位置情報のスケールが同程度となるように調整する。したがって、視線誘導特徴空間のＸ軸およびＹ軸には、フィールドＸ，Ｙの値が割り当てられ、視線誘導特徴空間のＺ軸には、フィールドＺ’の値が割り当てられることになる。
Ｚ’＝３×Ｚ …（１）
図１５は、レイアウト画像３２０の各部分領域ａ〜ｅについて注目度特徴量および位置情報、並びに重み付けした注目度特徴量を示した表である。
図１４においては、フィールドＸ，Ｙが位置情報の第１要素および第２要素を示し、フィールドＺがステップＳ１０４で算出した注目度特徴量を示し、フィールドＺ’が重み付けした注目度特徴量を示している。図８および図１０の算出結果から、注目度特徴量が「０」〜「１０」の範囲をとるのに対して位置情報が「０」〜「３０」の範囲をとることが分かるので、下式（１）により、注目度特徴量に３倍の重み付けを行うことにより注目度特徴量および位置情報のスケールが同程度となるように調整する。したがって、視線誘導特徴空間のＸ軸およびＹ軸には、フィールドＸ，Ｙの値が割り当てられ、視線誘導特徴空間のＺ軸には、フィールドＺ’の値が割り当てられることになる。
Ｚ’＝３×Ｚ …（１）
図１５は、レイアウト画像３２０の各部分領域ａ〜ｅについて注目度特徴量および位置情報、並びに重み付けした注目度特徴量を示した表である。
図１５においては、フィールドＸ，Ｙが位置情報の第１要素および第２要素を示し、フィールドＺがステップＳ１０４で算出した注目度特徴量を示し、フィールドＺ’が重み付けした注目度特徴量を示している。図９および図１１の算出結果から、注目度特徴量が「０」〜「１０」の範囲をとるのに対して位置情報が「０」〜「２０」の範囲をとるので、上式（１）により、注目度特徴量に３倍の重み付けを行うことにより注目度特徴量および位置情報のスケールが同程度となるように調整する。したがって、視線誘導特徴空間のＸ軸およびＹ軸には、フィールドＸ，Ｙの値が割り当てられ、視線誘導特徴空間のＺ軸には、フィールドＺ’の値が割り当てられることになる。
次に、ステップＳ１１０の始点部分領域検出処理を図１６および図１７を参照しながら詳細に説明する。
ステップＳ１１０では、ステップＳ１０４で算出した注目度特徴量に基づいて、複数の部分領域のうち注目度特徴量が最も大きい領域を始点部分領域として検出する。
図１６は、レイアウト画像３１０の部分領域Ａ〜Ｄのなかから始点部分領域を検出する場合を示す図である。
ステップＳ１１０では、ステップＳ１０４で算出した注目度特徴量に基づいて、複数の部分領域のうち注目度特徴量が最も大きい領域を始点部分領域として検出する。
図１６は、レイアウト画像３１０の部分領域Ａ〜Ｄのなかから始点部分領域を検出する場合を示す図である。
部分領域Ａ〜Ｄの注目度特徴量は、図１６に示すように、それぞれ「９」、「１」、「７」および「８」となっているので、部分領域Ａの注目度特徴量が最も大きい。そのため、部分領域Ａが始点部分領域として検出される。
図１７は、レイアウト画像３２０の部分領域ａ〜ｅのなかから始点部分領域を検出する場合を示す図である。
図１７は、レイアウト画像３２０の部分領域ａ〜ｅのなかから始点部分領域を検出する場合を示す図である。
部分領域ａ〜ｅの注目度特徴量は、図１７に示すように、それぞれ「９」、「６」、「４」、「１」および「７」となっているので、部分領域ａの注目度特徴量が最も大きい。そのため、部分領域ａが始点部分領域として検出される。
次に、ステップＳ１１２の基準点検出処理を図１８および図１９を参照しながら詳細に説明する。
次に、ステップＳ１１２の基準点検出処理を図１８および図１９を参照しながら詳細に説明する。
ステップＳ１１２では、部分領域の基準点を、その部分領域の位置情報および重み付け後の注目度特徴量により特定される視線誘導特徴空間の座標として検出する。
図１８は、レイアウト画像３１０の各部分領域Ａ〜Ｄの基準点を示した表である。
各部分領域Ａ〜Ｄの基準点は、図１８に示すように、それぞれ（１０，５，２７）、（５，１５，９）、（１５，１０，１５）および（１５，２５，２４）として検出される。
図１８は、レイアウト画像３１０の各部分領域Ａ〜Ｄの基準点を示した表である。
各部分領域Ａ〜Ｄの基準点は、図１８に示すように、それぞれ（１０，５，２７）、（５，１５，９）、（１５，１０，１５）および（１５，２５，２４）として検出される。
図１９は、レイアウト画像３２０の各部分領域ａ〜ｅの基準点を示した表である。
各部分領域ａ〜ｅの基準点は、図１９に示すように、それぞれ（５，４，２７）、（１０，３，２１）、（１５，３，１５）、（８，８，６）および（１５，７，１２）として検出される。
次に、ステップＳ１１４の基準点間距離算出処理を図２０および図２１を参照しながら詳細に説明する。
各部分領域ａ〜ｅの基準点は、図１９に示すように、それぞれ（５，４，２７）、（１０，３，２１）、（１５，３，１５）、（８，８，６）および（１５，７，１２）として検出される。
次に、ステップＳ１１４の基準点間距離算出処理を図２０および図２１を参照しながら詳細に説明する。
ステップＳ１１４では、検出した基準点のなかから２点を選択する場合の取り得るすべての組み合わせについて、下式（２）により、基準点間のユークリッド距離Ｄを算出する。下式（２）において、αｘ、αｙおよびαｚは、ユークリッド距離を求める一方の基準点の座標であり、βｘ、βｙおよびβｚは、ユークリッド距離を求める他方の基準点の座標である。
基準点間の距離の定義としては、ユークリッド距離のほか、マハラノビス距離その他のものも存在するが、ユークリッド距離で十分である。なぜなら、ステップＳ１０８の注目度特徴量変換処理は、その他の複雑な距離尺度があったとしても、同様の機能を実現することができるからである。
図２０は、レイアウト画像３１０の各部分領域Ａ〜Ｄの基準点間距離を示した表である。
部分領域Ａの基準点と部分領域Ｂ〜Ｄの基準点とのユークリッド距離は、図２０に示すように、それぞれ「２６．４８」、「９．２７」および「２０．８３」となる。部分領域Ｂの基準点と部分領域Ｃ，Ｄの基準点とのユークリッド距離は、それぞれ「２１．１９」および「２５．３２」となる。部分領域Ｃの基準点と部分領域Ｄの基準点とのユークリッド距離は、「１５．３０」となる。
部分領域Ａの基準点と部分領域Ｂ〜Ｄの基準点とのユークリッド距離は、図２０に示すように、それぞれ「２６．４８」、「９．２７」および「２０．８３」となる。部分領域Ｂの基準点と部分領域Ｃ，Ｄの基準点とのユークリッド距離は、それぞれ「２１．１９」および「２５．３２」となる。部分領域Ｃの基準点と部分領域Ｄの基準点とのユークリッド距離は、「１５．３０」となる。
図２１は、レイアウト画像３２０の各部分領域ａ〜ｅの基準点間距離を示した表である。
部分領域ａの基準点と部分領域ｂ〜ｅの基準点とのユークリッド距離は、図２１に示すように、それぞれ「１０．３４」、「１８．０６」、「２４．５２」および「１２．０４」となる。部分領域ｂの基準点と部分領域ｃ〜ｅの基準点とのユークリッド距離は、それぞれ「７．８１」、「１５．９４」および「７．０７」となる。部分領域ｃの基準点と部分領域ｄ，ｅの基準点とのユークリッド距離は、それぞれ「１２．４５」および「９．８５」となる。部分領域ｄの基準点と部分領域ｅの基準点とのユークリッド距離は、「１９．３４」となる。
部分領域ａの基準点と部分領域ｂ〜ｅの基準点とのユークリッド距離は、図２１に示すように、それぞれ「１０．３４」、「１８．０６」、「２４．５２」および「１２．０４」となる。部分領域ｂの基準点と部分領域ｃ〜ｅの基準点とのユークリッド距離は、それぞれ「７．８１」、「１５．９４」および「７．０７」となる。部分領域ｃの基準点と部分領域ｄ，ｅの基準点とのユークリッド距離は、それぞれ「１２．４５」および「９．８５」となる。部分領域ｄの基準点と部分領域ｅの基準点とのユークリッド距離は、「１９．３４」となる。
次に、ステップＳ１１６の視線誘導情報生成処理を図２２および図２３を参照しながら詳細に説明する。
ステップＳ１１６では、複数の部分領域のうち始点部分領域を始点とし、前段の部分領域からみて基準点間距離が最も小さい部分領域を次段の部分領域として、各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成する。
ステップＳ１１６では、複数の部分領域のうち始点部分領域を始点とし、前段の部分領域からみて基準点間距離が最も小さい部分領域を次段の部分領域として、各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成する。
図２２は、レイアウト画像３１０の視線誘導情報を算出する場合を示す図である。
図１６の検出結果から、部分領域Ａが始点部分領域となる。そして、図２０の算出結果から、部分領域Ａからみて基準点間距離が最も小さい部分領域が部分領域Ｃとなる。同様に、既に選択した部分領域を除き、部分領域Ｃからみて基準点間距離が最も小さい部分領域が部分領域Ｄとなる。したがって、視線誘導経路は、図２２に示すように、部分領域Ａ、部分領域Ｃ、部分領域Ｄおよび部分領域Ｂの順で各部分領域Ａ〜Ｄを順次通過する経路３１２として形成される。図２２の例では、視線誘導経路３１２を示す視線誘導情報が実線矢印として表示されている。
図１６の検出結果から、部分領域Ａが始点部分領域となる。そして、図２０の算出結果から、部分領域Ａからみて基準点間距離が最も小さい部分領域が部分領域Ｃとなる。同様に、既に選択した部分領域を除き、部分領域Ｃからみて基準点間距離が最も小さい部分領域が部分領域Ｄとなる。したがって、視線誘導経路は、図２２に示すように、部分領域Ａ、部分領域Ｃ、部分領域Ｄおよび部分領域Ｂの順で各部分領域Ａ〜Ｄを順次通過する経路３１２として形成される。図２２の例では、視線誘導経路３１２を示す視線誘導情報が実線矢印として表示されている。
なお、レイアウト画像３１０について単純に注目度特徴量が大きい順に視線誘導経路を形成した場合は、図８の算出結果から、部分領域Ａ、部分領域Ｄ、部分領域Ｃおよび部分領域Ｂの順で各部分領域Ａ〜Ｄを順次通過する経路として形成される。この場合、部分領域Ａと部分領域Ｄとが離れているため、その順で視線が誘導されにくく、適切なアイフローとならない可能性が高い。
図２３は、レイアウト画像３２０の視線誘導情報を算出する場合を示す図である。
図１７の検出結果から、部分領域ａが始点部分領域となる。そして、図２１の算出結果から、部分領域ａからみて基準点間距離が最も小さい部分領域が部分領域ｂとなる。同様に、既に選択した部分領域を除き、部分領域ｂからみて基準点間距離が最も小さい部分領域が部分領域ｅとなり、既に選択した部分領域を除き、部分領域ｅからみて基準点間距離が最も小さい部分領域が部分領域ｃとなる。したがって、視線誘導経路は、図２３に示すように、部分領域ａ、部分領域ｂ、部分領域ｅ、部分領域ｃおよび部分領域ｄの順で各部分領域ａ〜ｅを順次通過する経路３２２として形成される。図２３の例では、視線誘導経路３２２を示す視線誘導情報が実線矢印として表示されている。
図１７の検出結果から、部分領域ａが始点部分領域となる。そして、図２１の算出結果から、部分領域ａからみて基準点間距離が最も小さい部分領域が部分領域ｂとなる。同様に、既に選択した部分領域を除き、部分領域ｂからみて基準点間距離が最も小さい部分領域が部分領域ｅとなり、既に選択した部分領域を除き、部分領域ｅからみて基準点間距離が最も小さい部分領域が部分領域ｃとなる。したがって、視線誘導経路は、図２３に示すように、部分領域ａ、部分領域ｂ、部分領域ｅ、部分領域ｃおよび部分領域ｄの順で各部分領域ａ〜ｅを順次通過する経路３２２として形成される。図２３の例では、視線誘導経路３２２を示す視線誘導情報が実線矢印として表示されている。
なお、レイアウト画像３２０について単純に注目度特徴量が大きい順に視線誘導経路を形成した場合は、図９の算出結果から、部分領域ａ、部分領域ｅ、部分領域ｂ、部分領域ｃおよび部分領域ｄの順で各部分領域ａ〜ｅを順次通過する経路として形成される。この場合、部分領域ａと部分領域ｅとが離れているため、その順で視線が誘導されにくく、適切なアイフローとならない可能性が高い。
次に、本実施の形態の動作を説明する。
レイアウト装置１００では、ステップＳ１００，Ｓ１０２を経て、画像データが読み出され、読み出された画像データに基づいてレイアウト画像が複数の領域に区分される。次いで、ステップＳ１０４〜Ｓ１０８を経て、読み出された画像データに基づいて各部分領域の注目度特徴量および位置情報が算出され、算出された注目度特徴量に重み付けが行われる。
レイアウト装置１００では、ステップＳ１００，Ｓ１０２を経て、画像データが読み出され、読み出された画像データに基づいてレイアウト画像が複数の領域に区分される。次いで、ステップＳ１０４〜Ｓ１０８を経て、読み出された画像データに基づいて各部分領域の注目度特徴量および位置情報が算出され、算出された注目度特徴量に重み付けが行われる。
次いで、ステップＳ１１０，Ｓ１１２を経て、算出された注目度特徴量に基づいて複数の部分領域のなかから始点部分領域が検出され、重み付けされた注目度特徴量および算出された位置情報に基づいて視線誘導特徴空間のなかから各部分領域の基準点が検出される。そして、ステップＳ１１４，Ｓ１１６を経て、検出された各基準点間の距離が算出され、算出された基準点間距離に基づいて視線誘導情報が生成される。視線誘導情報は、始点部分領域を始点とし、前段の部分領域からみて基準点間距離が最も小さい部分領域を次段の部分領域として、各部分領域を順次通過する視線誘導経路となる。
視線誘導情報の表示機能は、例えば、レイアウトアプリケーションの編集支援機能として組み込むことができる。編集者は、レイアウトアプリケーションにおいてレイアウト中に視線誘導情報の表示機能を利用すると、レイアウト段階にあるレイアウト要素の配置について、視線が誘導されやすい順で各レイアウト要素を順次通過する視線誘導経路が視線誘導情報として表示されるので、視線誘導情報を参照しながら、読みやすいレイアウトを実現することができる。
このようにして、本実施の形態では、レイアウト画像を複数の領域に区分し、各部分領域の注目度特徴量および位置情報を算出し、算出した注目度特徴量および位置情報に基づいて視線誘導情報を生成するようになっている。
これにより、編集者の主観に左右されることなく、部分領域の客観的な情報や特徴に基づいて視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを定量的に算出することができる。また、部分領域の注目度合いのほか部分領域の位置を考慮して視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを比較的適切に算出することができる。したがって、従来に比して、比較的適切なアイフローを定量的に求めることができる。
これにより、編集者の主観に左右されることなく、部分領域の客観的な情報や特徴に基づいて視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを定量的に算出することができる。また、部分領域の注目度合いのほか部分領域の位置を考慮して視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを比較的適切に算出することができる。したがって、従来に比して、比較的適切なアイフローを定量的に求めることができる。
また、アイカメラ等の機器を別途設ける必要がないので、装置が大規模となったり、多大なコストが発生したりすることがなく、従来に比して、装置の小型化および低コスト化を図ることができる。
さらに、学習という方法により視線誘導度を算出するものではないので、適切なアイフローを比較的確実に求めることができる。
さらに、学習という方法により視線誘導度を算出するものではないので、適切なアイフローを比較的確実に求めることができる。
さらに、本実施の形態では、視線誘導特徴空間のなかから各部分領域の基準点を検出し、検出した各基準点間の距離を算出し、算出した基準点間距離に基づいて視線誘導情報を生成するようになっている。
これにより、部分領域の注目度合いおよび位置を視線誘導特徴空間上の距離として表現して視線誘導情報が生成されるので、部分領域の注目度合いおよび位置を比較的適切に視線誘導情報の生成に反映させることができる。したがって、さらに適切なアイフローを求めることができる。
これにより、部分領域の注目度合いおよび位置を視線誘導特徴空間上の距離として表現して視線誘導情報が生成されるので、部分領域の注目度合いおよび位置を比較的適切に視線誘導情報の生成に反映させることができる。したがって、さらに適切なアイフローを求めることができる。
さらに、本実施の形態では、算出した基準点間距離に基づいて、各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成するようになっている。
これにより、視線誘導情報を参照すれば、部分領域間を視線がどのように誘導されやすいかを把握しやすくなる。
さらに、本実施の形態では、複数の部分領域のうち所定の始点部分領域を始点とし、前段の部分領域からみて基準点間距離が最も小さい部分領域を次段の部分領域として、各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっている。
これにより、視線誘導情報を参照すれば、部分領域間を視線がどのように誘導されやすいかを把握しやすくなる。
さらに、本実施の形態では、複数の部分領域のうち所定の始点部分領域を始点とし、前段の部分領域からみて基準点間距離が最も小さい部分領域を次段の部分領域として、各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっている。
これにより、注目度合いの大きい領域から注目度合いの小さい領域へと視線が誘導されやすいという特性を利用して視線誘導経路が形成されるので、さらに適切なアイフローを求めることができる。
さらに、本実施の形態では、算出した注目度特徴量に基づいて複数の部分領域のなかから始点部分領域を検出し、検出した始点部分領域を始点として視線誘導経路を形成するようになっている。
さらに、本実施の形態では、算出した注目度特徴量に基づいて複数の部分領域のなかから始点部分領域を検出し、検出した始点部分領域を始点として視線誘導経路を形成するようになっている。
これにより、編集者の主観に左右されることなく、部分領域の客観的な特徴に基づいて始点部分領域が検出されるので、アイフローの始点を定量的に求めることができる。
さらに、本実施の形態では、算出した注目度特徴量に基づいて、複数の部分領域のうち注目度特徴量が最も大きい領域を始点部分領域として検出するようになっている。
これにより、最初に画像を見たときに注目度合いが最も大きい領域に視線が誘導されやすいという特性を利用して始点部分領域が検出されるので、アイフローの始点を比較的適切に求めることができる。
さらに、本実施の形態では、算出した注目度特徴量に基づいて、複数の部分領域のうち注目度特徴量が最も大きい領域を始点部分領域として検出するようになっている。
これにより、最初に画像を見たときに注目度合いが最も大きい領域に視線が誘導されやすいという特性を利用して始点部分領域が検出されるので、アイフローの始点を比較的適切に求めることができる。
さらに、本実施の形態では、視線誘導特徴空間の各軸のうちいずれかの縮尺を変更するようになっている。
これにより、部分領域の注目度合いおよび位置をどのような割合で視線誘導情報の生成に反映させるかを調整することができる。
上記実施の形態において、ステップＳ１０４は、発明１の注目度特徴量取得手段、発明２の注目度特徴量算出手段、発明１１若しくは２１の注目度特徴量取得ステップ、または発明１２若しくは２２の注目度特徴量算出ステップに対応し、ステップＳ１０６は、発明１の位置情報取得手段、発明２の位置情報算出手段、発明１１若しくは２１の位置情報取得ステップ、または発明１２若しくは２２の位置情報算出ステップに対応している。また、ステップＳ１１６は、発明１ないし３、５ないし８の視線誘導情報生成手段、または発明１１ないし１３、１５ないし１８、２１ないし２３、２５ないし２８の視線誘導情報生成ステップに対応し、ステップＳ１１０は、発明３、４、８若しくは９の始点部分領域検出手段、または発明１３、１４、１８、１９、２３、２４、２８若しくは２９の始点部分領域検出ステップに対応している。
これにより、部分領域の注目度合いおよび位置をどのような割合で視線誘導情報の生成に反映させるかを調整することができる。
上記実施の形態において、ステップＳ１０４は、発明１の注目度特徴量取得手段、発明２の注目度特徴量算出手段、発明１１若しくは２１の注目度特徴量取得ステップ、または発明１２若しくは２２の注目度特徴量算出ステップに対応し、ステップＳ１０６は、発明１の位置情報取得手段、発明２の位置情報算出手段、発明１１若しくは２１の位置情報取得ステップ、または発明１２若しくは２２の位置情報算出ステップに対応している。また、ステップＳ１１６は、発明１ないし３、５ないし８の視線誘導情報生成手段、または発明１１ないし１３、１５ないし１８、２１ないし２３、２５ないし２８の視線誘導情報生成ステップに対応し、ステップＳ１１０は、発明３、４、８若しくは９の始点部分領域検出手段、または発明１３、１４、１８、１９、２３、２４、２８若しくは２９の始点部分領域検出ステップに対応している。
また、上記実施の形態において、ステップＳ１１２は、発明５の基準点検出手段、または発明１５若しくは２５の基準点検出ステップに対応し、ステップＳ１１４は、発明５若しくは６の基準点間距離算出手段、または発明１５、１６、２５若しくは２６の基準点間距離算出ステップに対応している。また、ステップＳ１０８は、発明１０の縮尺変更手段、または発明２０若しくは３０の縮尺変更ステップに対応している。
なお、上記実施の形態においては、注目度特徴量に所定の重み付け係数を乗算することにより注目度特徴量に重み付けを行うように構成したが、これに限らず、人間の感覚量が、入力となる物理的な刺激に対して出力（感覚量、感じる度合い）が非線形であるという感覚特性に基づいて重み付け係数を決定し、決定した重み付け係数を注目度特徴量に乗算することにより注目度特徴量に重み付けを行うように構成することができる。
例えば、「Fechnerの法則」および「Stevenの法則」のように、上記感覚特性に基づいて物理的な刺激に対する感覚量の変化を規定した理論が知られている。これらの理論を応用し、注目度特徴量については、注目度特徴量の入力に対して対数関数的に注目度特徴量が飽和するモデルや、逆に、注目度特徴量の入力に対して指数関数的に注目度特徴量が大きくなるモデルを適用することができる。対数関数的か指数関数的かは、入力として用いる注目度特徴量の種類によって異なるため、一概にどちらが有利かはいえない。
図２４は、Fechnerの法則に基づいて物理的な刺激に対する感覚量の変化を規定した図である。
Fechnerの法則では、図２４に示すように、刺激Ｉに対して感覚量が対数関数的に変化し、刺激Ｉが大きい領域では、感覚量が飽和することが分かる。したがって、Fechnerの法則を注目度特徴量変換処理に応用した場合、上式（１）は、下式（３）に置き換えることができる。
Ｚ’＝ｌｏｇ（Ｚ） …（３）
例えば、賑やかなレイアウト画像において、全体に賑やかなレイアウト要素が配置されているところに、注目度特徴量の大きいレイアウト要素を配置しても、全体に埋もれてしまい、単体で見たときほど目立たない状況がある。これは、対数関数モデルであると考えることができる。
Fechnerの法則では、図２４に示すように、刺激Ｉに対して感覚量が対数関数的に変化し、刺激Ｉが大きい領域では、感覚量が飽和することが分かる。したがって、Fechnerの法則を注目度特徴量変換処理に応用した場合、上式（１）は、下式（３）に置き換えることができる。
Ｚ’＝ｌｏｇ（Ｚ） …（３）
例えば、賑やかなレイアウト画像において、全体に賑やかなレイアウト要素が配置されているところに、注目度特徴量の大きいレイアウト要素を配置しても、全体に埋もれてしまい、単体で見たときほど目立たない状況がある。これは、対数関数モデルであると考えることができる。
対数関数モデルとなる場合を、レイアウト画像３１０を例にとって説明する。
図２５は、レイアウト画像３１０の各部分領域Ａ〜Ｄについて注目度特徴量および位置情報、並びに対数関数モデルにより重み付けした注目度特徴量を示した表である。
図２５においては、フィールドＸ，Ｙが位置情報の第１要素および第２要素を示し、フィールドＺがステップＳ１０４で算出した注目度特徴量を示し、フィールドＺ’が対数関数モデルにより重み付けした注目度特徴量を示している。下式（４）により、注目度特徴量に対数関数モデルによる重み付けを行うことにより注目度特徴量および位置情報のスケールが同程度となるように調整する。下式（４）において、ｌｏｇ（Ｚ）の値に乗算している係数は、注目度特徴量および位置情報のスケールを調整するための重み付け係数である。
Ｚ’＝３０×ｌｏｇ（Ｚ） …（４）
注目度特徴量に対する重み付けの結果は、図２５に示すように、部分領域Ａ〜Ｄについてそれぞれ「２８．６３」、「２３．３４」、「２５．３５」および「２７．０９」となる。
図２５は、レイアウト画像３１０の各部分領域Ａ〜Ｄについて注目度特徴量および位置情報、並びに対数関数モデルにより重み付けした注目度特徴量を示した表である。
図２５においては、フィールドＸ，Ｙが位置情報の第１要素および第２要素を示し、フィールドＺがステップＳ１０４で算出した注目度特徴量を示し、フィールドＺ’が対数関数モデルにより重み付けした注目度特徴量を示している。下式（４）により、注目度特徴量に対数関数モデルによる重み付けを行うことにより注目度特徴量および位置情報のスケールが同程度となるように調整する。下式（４）において、ｌｏｇ（Ｚ）の値に乗算している係数は、注目度特徴量および位置情報のスケールを調整するための重み付け係数である。
Ｚ’＝３０×ｌｏｇ（Ｚ） …（４）
注目度特徴量に対する重み付けの結果は、図２５に示すように、部分領域Ａ〜Ｄについてそれぞれ「２８．６３」、「２３．３４」、「２５．３５」および「２７．０９」となる。
図２６は、レイアウト画像３１０の各部分領域Ａ〜Ｄの基準点間距離を示した表である。
部分領域Ａの基準点と部分領域Ｂ〜Ｄの基準点とのユークリッド距離は、図２６に示すように、それぞれ「１１．７６」、「７．２６」および「２０．６２」となる。部分領域Ｂの基準点と部分領域Ｃ，Ｄの基準点とのユークリッド距離は、それぞれ「１９．８１」および「２２．９６」となる。部分領域Ｃの基準点と部分領域Ｄの基準点とのユークリッド距離は、「２５．８８」となる。
部分領域Ａの基準点と部分領域Ｂ〜Ｄの基準点とのユークリッド距離は、図２６に示すように、それぞれ「１１．７６」、「７．２６」および「２０．６２」となる。部分領域Ｂの基準点と部分領域Ｃ，Ｄの基準点とのユークリッド距離は、それぞれ「１９．８１」および「２２．９６」となる。部分領域Ｃの基準点と部分領域Ｄの基準点とのユークリッド距離は、「２５．８８」となる。
図２７は、レイアウト画像３１０の視線誘導情報を算出する場合を示す図である。
図１６の検出結果から、部分領域Ａが始点部分領域となる。そして、図２６の算出結果から、部分領域Ａからみて基準点間距離が最も小さい部分領域が部分領域Ｃとなる。同様に、既に選択した部分領域を除き、部分領域Ｃからみて基準点間距離が最も小さい部分領域が部分領域Ｂとなる。したがって、視線誘導経路は、図２７に示すように、部分領域Ａ、部分領域Ｃ、部分領域Ｂおよび部分領域Ｄの順で各部分領域Ａ〜Ｄを順次通過する経路３１４として形成される。図２７の例では、視線誘導経路３１４を示す視線誘導情報が実線矢印として表示されている。
図１６の検出結果から、部分領域Ａが始点部分領域となる。そして、図２６の算出結果から、部分領域Ａからみて基準点間距離が最も小さい部分領域が部分領域Ｃとなる。同様に、既に選択した部分領域を除き、部分領域Ｃからみて基準点間距離が最も小さい部分領域が部分領域Ｂとなる。したがって、視線誘導経路は、図２７に示すように、部分領域Ａ、部分領域Ｃ、部分領域Ｂおよび部分領域Ｄの順で各部分領域Ａ〜Ｄを順次通過する経路３１４として形成される。図２７の例では、視線誘導経路３１４を示す視線誘導情報が実線矢印として表示されている。
図２８は、Stevenの法則に基づいて物理的な刺激に対する感覚量の変化を規定した図である。
Stevenの法則では、図２８に示すように、刺激Ｉに対して感覚量が指数関数的に変化する。したがって、Stevenの法則を注目度特徴量変換処理に応用した場合、上式（１）は、下式（５）に置き換えることができる。
Ｚ’＝Ｚn …（５）
これにより、人間の感覚特性に従って部分領域間を視線がどのように誘導されやすいかを算出することができる。したがって、さらに適切なアイフローを求めることができる。
Stevenの法則では、図２８に示すように、刺激Ｉに対して感覚量が指数関数的に変化する。したがって、Stevenの法則を注目度特徴量変換処理に応用した場合、上式（１）は、下式（５）に置き換えることができる。
Ｚ’＝Ｚn …（５）
これにより、人間の感覚特性に従って部分領域間を視線がどのように誘導されやすいかを算出することができる。したがって、さらに適切なアイフローを求めることができる。
また、上記実施の形態においては、注目度特徴量に所定の重み付け係数を乗算することにより注目度特徴量に重み付けを行うように構成したが、これに限らず、人間の視野には視野角があり、視野の外側にいくほど見えにくくなるという視覚特性に基づいて重み付け係数を決定し、決定した重み付け係数を注目度特徴量に乗算することにより注目度特徴量に重み付けを行うように構成することができる。
図２９は、人間の視覚特性に基づいて物理的な刺激に対する感覚量が変化する概念を示す図である。
図２９は、Ｘ軸、Ｙ軸およびζ軸が互いに直交する３次元空間において、下式（６）で囲まれる空間を示したものである。
ζ＝−０．２×Ｘ2−０．２×Ｙ2 …（６）
ＸＹ平面と上式（６）で囲まれる空間は、ドーム型の頂点を視点の中心として外側に向かうほど出力が小さくなるような変換ができる曲面を有している。このような曲面を注目度特徴量変換処理に応用した場合、上式（１）は、下式（７）に置き換えることができる。
Ｚ'＝ζ×Ｚ …（７）
これにより、人間の視覚特性に従って部分領域間を視線がどのように誘導されやすいかを算出することができる。したがって、さらに適切なアイフローを求めることができる。
図２９は、Ｘ軸、Ｙ軸およびζ軸が互いに直交する３次元空間において、下式（６）で囲まれる空間を示したものである。
ζ＝−０．２×Ｘ2−０．２×Ｙ2 …（６）
ＸＹ平面と上式（６）で囲まれる空間は、ドーム型の頂点を視点の中心として外側に向かうほど出力が小さくなるような変換ができる曲面を有している。このような曲面を注目度特徴量変換処理に応用した場合、上式（１）は、下式（７）に置き換えることができる。
Ｚ'＝ζ×Ｚ …（７）
これにより、人間の視覚特性に従って部分領域間を視線がどのように誘導されやすいかを算出することができる。したがって、さらに適切なアイフローを求めることができる。
なお、上式（６）の引数にＸ、Ｙを必要としていることからも分かるように、今まで挙げた例のように、基準点間距離を一括で求めることはできない。１つの部分領域（例えば、始点部分領域）からみて、始点部分領域からの他の部分領域への距離も使って他の領域の注目度（Ｚ'）を求めることになる。そして、次の部分領域に移ったら、その部分領域を始点として同じことを繰り返す。そうしないと、どこを基準としているかによって、どの点を中心にマスクを掛けるかが変わってくるからである。したがって、この方法に関しては、まず始点を決めて、逐次これからマスクを掛けようとしている点を移しながら、順番に処理していく手順となる。
また、上記実施の形態においては、注目度特徴量に重み付けを行うことにより視線誘導特徴空間のＺ軸の縮尺を変更するように構成したが、これに限らず、位置情報の第１要素または第２要素に重み付けを行うことにより視線誘導特徴空間のＸ軸またはＹ軸の縮尺を変更するように構成することもできる。
また、上記実施の形態においては、各部分領域の注目度特徴量および位置情報を算出するように構成したが、これに限らず、各部分領域の注目度特徴量および位置情報を入力装置等から入力するように構成することもできるし、外部の端末等から獲得するように構成することもできる。
また、上記実施の形態においては、各部分領域の注目度特徴量および位置情報を算出するように構成したが、これに限らず、各部分領域の注目度特徴量および位置情報を入力装置等から入力するように構成することもできるし、外部の端末等から獲得するように構成することもできる。
また、上記実施の形態においては、画像データに基づいて、領域の区分、注目度特徴量の算出または位置情報の算出を行うように構成したが、これに限らず、文書データ、レイアウトテンプレート、注目度特徴量で高低差が表現できる２次元平面的なデータその他のデータに基づいて、領域の区分、注目度特徴量の算出または位置情報の算出を行うように構成することもできる。
また、上記実施の形態において、図５のフローチャートに示す処理を実行するにあたっては、ＲＯＭ３２にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、図３０に示すように、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ３４に読み込んで実行するようにしてもよい。
図３０は、記憶媒体およびそのデータ構造を示す図である。
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
また、上記実施の形態においては、本発明に係る視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法を、複数のレイアウト要素が配置されたレイアウト画像において、レイアウト要素間を視線がどのように誘導されるかを示す視線誘導情報を生成する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。
１００…レイアウト装置， ３０…ＣＰＵ， ３２…ＲＯＭ， ３４…ＲＡＭ， ３８…Ｉ／Ｆ， ３９…バス， ４０…入力装置， ４２…記憶装置， ４４…表示装置， ３００，３１０，３２０…レイアウト画像， ３０２，３０４，３１２，３１４，３２２…視線誘導経路， ４００〜４１８…レイアウト要素， Ａ〜Ｄ…部分領域， ａ〜ｅ…部分領域
Claims (14)
- 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得手段と、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得手段と、前記注目度特徴量取得手段で取得した注目度特徴量および前記位置情報取得手段で取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする視線誘導情報生成システム。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出手段と、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出手段と、前記注目度特徴量算出手段で算出した注目度特徴量および前記位置情報算出手段で算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする視線誘導情報生成システム。 - 請求項１および２のいずれか１項において、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項３において、
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項１および２のいずれか１項において、
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出手段と、前記基準点検出手段で検出した各基準点間の距離を算出する基準点間距離算出手段とを備え、
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて前記視線誘導情報を生成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項５において、
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項６において、
前記視線誘導情報生成手段は、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項７において、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として前記視線誘導経路を形成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項８において、
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項５ないし９のいずれか１項において、
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更手段を備えることを特徴とする視線誘導情報生成システム。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする視線誘導情報生成プログラム。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする視線誘導情報生成プログラム。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする視線誘導情報生成方法。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする視線誘導情報生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004211525A JP4396430B2 (ja) | 2003-11-25 | 2004-07-20 | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 |
| US10/996,588 US7460708B2 (en) | 2003-11-25 | 2004-11-26 | System, program, and method for generating visual-guidance information |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003394235 | 2003-11-25 | ||
| JP2004211525A JP4396430B2 (ja) | 2003-11-25 | 2004-07-20 | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005182746A JP2005182746A (ja) | 2005-07-07 |
| JP4396430B2 true JP4396430B2 (ja) | 2010-01-13 |
Family
ID=34797177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004211525A Expired - Fee Related JP4396430B2 (ja) | 2003-11-25 | 2004-07-20 | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7460708B2 (ja) |
| JP (1) | JP4396430B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020154833A1 (en) * | 2001-03-08 | 2002-10-24 | Christof Koch | Computation of intrinsic perceptual saliency in visual environments, and applications |
| JP2006304265A (ja) * | 2005-03-25 | 2006-11-02 | Fuji Photo Film Co Ltd | 画像出力装置、画像出力方法、および画像出力プログラム |
| JP4774816B2 (ja) * | 2005-04-07 | 2011-09-14 | ソニー株式会社 | 画像処理装置，画像処理方法，およびコンピュータプログラム。 |
| US7595809B2 (en) * | 2005-05-11 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | Method and system for determining an occlusion cost for concurrently presenting one or more images in a shared viewing region |
| US7602157B2 (en) | 2005-12-28 | 2009-10-13 | Flyback Energy, Inc. | Supply architecture for inductive loads |
| US20070156382A1 (en) * | 2005-12-29 | 2007-07-05 | Graham James L Ii | Systems and methods for designing experiments |
| FR2897183A1 (fr) * | 2006-02-03 | 2007-08-10 | Thomson Licensing Sas | Procede de verification des zones de saillance d'un document multimedia, procede de creation d'un document publicitaire, et produit programme d'ordinateur |
| KR100750633B1 (ko) * | 2006-04-18 | 2007-08-20 | 삼성전자주식회사 | 휴대 단말기 간의 캐릭터 전이 시스템 및 방법 |
| US7620267B2 (en) * | 2006-04-28 | 2009-11-17 | Hewlett-Packard Development Company, L.P. | Collage generation with occlusion costing |
| TWI403912B (zh) * | 2006-06-08 | 2013-08-01 | Univ Nat Chiao Tung | 圖像檢索之方法及系統 |
| US7668400B2 (en) * | 2006-07-31 | 2010-02-23 | Hewlett-Packard Development Company, L.P. | Image layout constraint generation |
| US20080101761A1 (en) * | 2006-10-31 | 2008-05-01 | Simon Widdowson | Weighted occlusion costing |
| CN101785022B (zh) * | 2007-07-03 | 2016-06-01 | 3M创新有限公司 | 用于产生可以将内容分配到其上的时隙样本以用于测定所分配内容效应的系统和方法 |
| US20090012847A1 (en) * | 2007-07-03 | 2009-01-08 | 3M Innovative Properties Company | System and method for assessing effectiveness of communication content |
| US8392350B2 (en) * | 2007-07-03 | 2013-03-05 | 3M Innovative Properties Company | System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content |
| CA2699941A1 (en) * | 2007-09-18 | 2009-03-26 | Flyback Energy, Inc. | Current waveform construction to generate ac power with low harmonic distortion from localized energy sources |
| US8458103B2 (en) * | 2009-01-07 | 2013-06-04 | 3M Innovative Properties Company | System and method for concurrently conducting cause-and-effect experiments on content effectiveness and adjusting content distribution to optimize business objectives |
| EP2520014A1 (en) * | 2009-12-28 | 2012-11-07 | Flyback Energy, Inc. | Controllable universal power supply with reactive power management |
| WO2011082188A1 (en) * | 2009-12-28 | 2011-07-07 | Flyback Energy Inc. | External field interaction motor |
| WO2011152893A1 (en) * | 2010-02-10 | 2011-12-08 | California Institute Of Technology | Methods and systems for generating saliency models through linear and/or nonlinear integration |
| CN102779338B (zh) * | 2011-05-13 | 2017-05-17 | 欧姆龙株式会社 | 图像处理方法和图像处理装置 |
| US9025880B2 (en) * | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
| CN103035003B (zh) * | 2012-12-11 | 2015-09-09 | 华为技术有限公司 | 一种实现增强现实的方法及装置 |
| US9298980B1 (en) * | 2013-03-07 | 2016-03-29 | Amazon Technologies, Inc. | Image preprocessing for character recognition |
| JP6338429B2 (ja) * | 2014-04-15 | 2018-06-06 | キヤノン株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
| CN104966307B (zh) * | 2015-07-10 | 2019-03-01 | 成都品果科技有限公司 | 一种基于实时跟踪的ar方法 |
| DE102016210288A1 (de) * | 2016-06-10 | 2017-12-14 | Volkswagen Aktiengesellschaft | Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung |
| US20180225554A1 (en) * | 2017-02-06 | 2018-08-09 | Honda Motor Co., Ltd. | Systems and methods of a computational framework for a driver's visual attention using a fully convolutional architecture |
| CN111723715B (zh) * | 2020-06-10 | 2022-03-15 | 东北石油大学 | 一种视频显著性检测方法及装置、电子设备和存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0653106B2 (ja) | 1992-06-22 | 1994-07-20 | 株式会社エイ・ティ・アール通信システム研究所 | 視線情報解析装置 |
| US5757963A (en) * | 1994-09-30 | 1998-05-26 | Xerox Corporation | Method and apparatus for complex column segmentation by major white region pattern matching |
| JP3482923B2 (ja) | 1999-10-28 | 2004-01-06 | セイコーエプソン株式会社 | 自動構図決定装置 |
| KR100821847B1 (ko) * | 2000-02-17 | 2008-04-11 | 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 | 비주얼 어텐션 시스템 |
| US20040013302A1 (en) * | 2001-12-04 | 2004-01-22 | Yue Ma | Document classification and labeling using layout graph matching |
| US7400761B2 (en) * | 2003-09-30 | 2008-07-15 | Microsoft Corporation | Contrast-based image attention analysis framework |
| US7471827B2 (en) * | 2003-10-16 | 2008-12-30 | Microsoft Corporation | Automatic browsing path generation to present image areas with high attention value as a function of space and time |
-
2004
- 2004-07-20 JP JP2004211525A patent/JP4396430B2/ja not_active Expired - Fee Related
- 2004-11-26 US US10/996,588 patent/US7460708B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7460708B2 (en) | 2008-12-02 |
| US20050163344A1 (en) | 2005-07-28 |
| JP2005182746A (ja) | 2005-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4396430B2 (ja) | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 | |
| US7931602B2 (en) | Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method | |
| CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
| Margolin et al. | Saliency for image manipulation | |
| US8331619B2 (en) | Image processing apparatus and image processing method | |
| US8938100B2 (en) | Image recomposition from face detection and facial features | |
| US9025836B2 (en) | Image recomposition from face detection and facial features | |
| Sun et al. | Scale and object aware image retargeting for thumbnail browsing | |
| US8207987B2 (en) | Method and apparatus for producing digital cartoons | |
| US8811747B2 (en) | Image recomposition from face detection and facial features | |
| CN109325988A (zh) | 一种面部表情合成方法、装置及电子设备 | |
| US20130108168A1 (en) | Image Recomposition From Face Detection And Facial Features | |
| ITTO940765A1 (it) | Procedimento per memorizzare e ritrovare immagini di persone, ad esempio in archivi fotografici e per la costruzione di identikit. | |
| US20130108164A1 (en) | Image Recomposition From Face Detection And Facial Features | |
| US20130108119A1 (en) | Image Recomposition From Face Detection And Facial Features | |
| KR20140004230A (ko) | 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체 | |
| CN110413816A (zh) | 彩色草图图像搜索 | |
| US20130108171A1 (en) | Image Recomposition From Face Detection And Facial Features | |
| US20130108170A1 (en) | Image Recomposition From Face Detection And Facial Features | |
| US20130108166A1 (en) | Image Recomposition From Face Detection And Facial Features | |
| JP2006268843A (ja) | 電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラム | |
| US20150003681A1 (en) | Image processing apparatus and image processing method | |
| US9025835B2 (en) | Image recomposition from face detection and facial features | |
| CN111814573A (zh) | 一种人脸信息的检测方法、装置、终端设备及存储介质 | |
| US20210256174A1 (en) | Computer aided systems and methods for creating custom products |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090929 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091012 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |