JP6334927B2 - 付加情報表示装置および付加情報表示プログラム - Google Patents
付加情報表示装置および付加情報表示プログラム Download PDFInfo
- Publication number
- JP6334927B2 JP6334927B2 JP2014010060A JP2014010060A JP6334927B2 JP 6334927 B2 JP6334927 B2 JP 6334927B2 JP 2014010060 A JP2014010060 A JP 2014010060A JP 2014010060 A JP2014010060 A JP 2014010060A JP 6334927 B2 JP6334927 B2 JP 6334927B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- additional information
- evaluation value
- evaluation
- starting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、物体が映った画像に物体に関する付加情報を重畳する技術に関するものである。
現実空間を撮影した画像に、画像または文字列などのラベルを重畳して表示する技術として、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）がある。
ＡＲ技術によって現実世界の位置と情報とを視覚的に関連付けることで、利用者はラベルが指し示す位置を直感的に把握することができる。
例えば、ＡＲ技術は、タブレット型のコンピュータ（以下、タブレットＰＣ）に付いているカメラで撮影された画像に情報を重畳して表示することを想定している。また、ＡＲ技術はスマートフォン、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）またはＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）などでも使用できる。
ＡＲ技術によって現実世界の位置と情報とを視覚的に関連付けることで、利用者はラベルが指し示す位置を直感的に把握することができる。
例えば、ＡＲ技術は、タブレット型のコンピュータ（以下、タブレットＰＣ）に付いているカメラで撮影された画像に情報を重畳して表示することを想定している。また、ＡＲ技術はスマートフォン、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）またはＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）などでも使用できる。
ＡＲ技術を用いる場合、ラベルを含んだ吹き出しの位置によって表示の見やすさが変わる。
例えば、吹き出しの突起部分が長い場合、半透過の吹き出しの背景が複雑な場合、または複数の吹き出しが重なった場合、ラベルの可読性が劣化する。
例えば、吹き出しの突起部分が長い場合、半透過の吹き出しの背景が複雑な場合、または複数の吹き出しが重なった場合、ラベルの可読性が劣化する。
Ｒａｍａｌｉｎｇａｍ，Ｓ．，ｅｔ ａｌ．，"ＳＫＹＬＩＮＥ２ＧＰＳ：Ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｕｒｂａｎ ｃａｎｙｏｎｓ ｕｓｉｎｇ ｏｍｎｉ−ｓｋｙｌｉｎｅｓ"，ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ），２０１０ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，１８−２２ Ｏｃｔ．２０１０，ｐｐ．３８１６−３８２３
Ｓｈｅｎｇｙａｎ Ｚｈｏｕ，ｅｔ ａｌ．，"Ｒｏａｄ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｂａｓｅｄ ｏｎ ｏｎｌｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ｅｖａｌｕａｔｉｏｎ"，Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ（ＩＶ），２０１０ ＩＥＥＥ，２１−２４ Ｊｕｎｅ ２０１０，ｐｐ．２５６−２６１
本発明は、物体が映った撮影画像に物体に関する付加情報を見易く重畳できるようにすることを目的とする。
本発明の付加情報表示装置は、
物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択部と、
前記起点画素選択部によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示部とを備える。
物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択部と、
前記起点画素選択部によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示部とを備える。
本発明によれば、物体が映った撮影画像に物体に関する付加情報を見易く重畳することができる。
実施の形態１．
物体が映った撮影画像に物体に関する付加情報を見易く重畳する形態について説明する。
物体が映った撮影画像に物体に関する付加情報を見易く重畳する形態について説明する。
図１は、実施の形態１における画像表示装置１００の機能構成図である。
実施の形態１における画像表示装置１００の機能構成について、図１に基づいて説明する。
実施の形態１における画像表示装置１００の機能構成について、図１に基づいて説明する。
画像表示装置１００（付加情報表示装置の一例）は、映っている物体に関する情報が重畳された重畳画像を表示する装置である。重畳画像はＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像ともいう。
例えば、画像表示装置１００は、タブレット型のコンピュータまたはスマートフォンである。
例えば、画像表示装置１００は、郵便局２１１が映っている撮影画像２１０に「記念切手を販売中」という情報を含んだ吹き出し２２１が重畳された重畳画像２３０を表示する（図２参照）。
図２は、実施の形態１における撮影画像２１０と付加画像２２０と重畳画像２３０との一例を表す図である。
例えば、画像表示装置１００は、タブレット型のコンピュータまたはスマートフォンである。
例えば、画像表示装置１００は、郵便局２１１が映っている撮影画像２１０に「記念切手を販売中」という情報を含んだ吹き出し２２１が重畳された重畳画像２３０を表示する（図２参照）。
図２は、実施の形態１における撮影画像２１０と付加画像２２０と重畳画像２３０との一例を表す図である。
画像表示装置１００は、撮影画像取得部１１０と、物体検出部１２０と、付加情報取得部１３０と、付加領域決定部１４０と、重畳画像表示部１５０（付加情報表示部の一例）とを備える。さらに、画像表示装置１００はデータ記憶部１９０を備える。
撮影画像取得部１１０は、撮影された撮影領域が映った画像である撮影画像２１０の画像データ（以下、撮影画像データ１０１という）を取得する。
物体検出部１２０は、撮影画像データ１０１に基づいて撮影画像２１０に映っている物体（例えば、図２の郵便局２１１）を検出する。以下、検出された物体を検出物体という。
付加情報取得部１３０は、検出物体に関する情報である付加情報（例えば、図２の「記念切手を販売中」）を取得する。付加情報はラベルともいう。
付加領域決定部１４０は、付加情報が付加される画素領域である付加領域を決定する。付加領域決定部１４０は、評価値算出部１４１と、起点画素選択部１４２とを備える。
評価値算出部１４１は、撮影画像２１０の画素毎に当該画素を起点とする画素領域に付加情報を重畳した場合の付加情報の見易さを意味する当該画素の評価値を算出する。
起点画素選択部１４２は、付加情報が重畳される画素領域の起点になる起点画素を選択する。起点画素を起点とする画素領域が付加領域である。
重畳画像表示部１５０は、付加情報が付加領域に重畳された撮影画像２１０である重畳画像２３０を表示する。
物体検出部１２０は、撮影画像データ１０１に基づいて撮影画像２１０に映っている物体（例えば、図２の郵便局２１１）を検出する。以下、検出された物体を検出物体という。
付加情報取得部１３０は、検出物体に関する情報である付加情報（例えば、図２の「記念切手を販売中」）を取得する。付加情報はラベルともいう。
付加領域決定部１４０は、付加情報が付加される画素領域である付加領域を決定する。付加領域決定部１４０は、評価値算出部１４１と、起点画素選択部１４２とを備える。
評価値算出部１４１は、撮影画像２１０の画素毎に当該画素を起点とする画素領域に付加情報を重畳した場合の付加情報の見易さを意味する当該画素の評価値を算出する。
起点画素選択部１４２は、付加情報が重畳される画素領域の起点になる起点画素を選択する。起点画素を起点とする画素領域が付加領域である。
重畳画像表示部１５０は、付加情報が付加領域に重畳された撮影画像２１０である重畳画像２３０を表示する。
データ記憶部１９０は、画像表示装置１００が使用、生成または入出力するデータを記憶する。
例えば、データ記憶部１９０は、撮影画像データ１０１と、付加画像データ１０２と、重畳画像データ１０３とを記憶する。さらに、データ記憶部１９０は、物体特徴ファイル１９１と、付加情報ファイル１９２とを記憶する。さらに、データ記憶部１９０は、一つ以上の見易さ評価関数１９３と、寄与度データ１９４とを記憶する。
撮影画像データ１０１は撮影画像２１０の画像データである。
付加画像データ１０２は付加情報が付加領域に配置された付加画像２２０の画像データである。
重畳画像データ１０３は撮影画像２１０に付加画像２２０を重畳した重畳画像２３０の画像データである。
物体特徴ファイル１９１は物体の特徴を表す特徴データを含む。
付加情報ファイル１９２は物体に関する情報である付加情報（ラベル）を含んだデータである。
見易さ評価関数１９３は付加情報の見易さを決定する見易さ要素に関する評価値を算出するための関数（例えば、数式）である。第一の見易さ評価関数１９３は第一の見易さ要素に関する評価値を算出するために演算され、第二の見易さ評価関数１９３は第二の見易さ要素に関する評価値を算出するために演算される。
寄与度データ１９４は各見易さ要素の寄与度を示すデータである。見易さ要素の寄与度は見易さ要素が付加情報の見易さに寄与する度合いを表す値であり、見易さ要素に関する評価値に乗ずる係数として用いられる。
例えば、データ記憶部１９０は、撮影画像データ１０１と、付加画像データ１０２と、重畳画像データ１０３とを記憶する。さらに、データ記憶部１９０は、物体特徴ファイル１９１と、付加情報ファイル１９２とを記憶する。さらに、データ記憶部１９０は、一つ以上の見易さ評価関数１９３と、寄与度データ１９４とを記憶する。
撮影画像データ１０１は撮影画像２１０の画像データである。
付加画像データ１０２は付加情報が付加領域に配置された付加画像２２０の画像データである。
重畳画像データ１０３は撮影画像２１０に付加画像２２０を重畳した重畳画像２３０の画像データである。
物体特徴ファイル１９１は物体の特徴を表す特徴データを含む。
付加情報ファイル１９２は物体に関する情報である付加情報（ラベル）を含んだデータである。
見易さ評価関数１９３は付加情報の見易さを決定する見易さ要素に関する評価値を算出するための関数（例えば、数式）である。第一の見易さ評価関数１９３は第一の見易さ要素に関する評価値を算出するために演算され、第二の見易さ評価関数１９３は第二の見易さ要素に関する評価値を算出するために演算される。
寄与度データ１９４は各見易さ要素の寄与度を示すデータである。見易さ要素の寄与度は見易さ要素が付加情報の見易さに寄与する度合いを表す値であり、見易さ要素に関する評価値に乗ずる係数として用いられる。
図３は、実施の形態１における画像表示装置１００の画像表示処理を示すフローチャートである。
実施の形態１における画像表示装置１００の画像表示処理について、図３に基づいて説明する。
実施の形態１における画像表示装置１００の画像表示処理について、図３に基づいて説明する。
Ｓ１１０において、撮影画像取得部１１０は撮影画像２１０の画像データである撮影画像データ１０１を取得する。
例えば、画像表示装置１００の利用者は、画像表示装置１００に備わるカメラを用いて周囲の風景を撮影する。そして、カメラは撮影された風景が映った撮影画像２１０の画像データである撮影画像データ１０１を生成し、撮影画像取得部１１０はカメラから撮影画像データ１０１を取得する。但し、撮影画像データ１０１はデータ記憶部１９０に予め記憶されていても構わない。
Ｓ１１０の後、処理はＳ１２０に進む。
例えば、画像表示装置１００の利用者は、画像表示装置１００に備わるカメラを用いて周囲の風景を撮影する。そして、カメラは撮影された風景が映った撮影画像２１０の画像データである撮影画像データ１０１を生成し、撮影画像取得部１１０はカメラから撮影画像データ１０１を取得する。但し、撮影画像データ１０１はデータ記憶部１９０に予め記憶されていても構わない。
Ｓ１１０の後、処理はＳ１２０に進む。
図４は、実施の形態１における撮影画像２１０の一例を示す図である。
図４に示す撮影画像２１０には、郵便マーク２１２が記された郵便局２１１が映っている。
図３に戻り、Ｓ１２０から説明を続ける。
図４に示す撮影画像２１０には、郵便マーク２１２が記された郵便局２１１が映っている。
図３に戻り、Ｓ１２０から説明を続ける。
Ｓ１２０において、物体検出部１２０は、撮影画像データ１０１に基づいて、撮影画像２１０に映っている物体の物体名および物体領域を検出する。物体名は物体を識別する識別子であり、物体領域は物体の少なくとも一部を含んだ画素領域である。検出される物体は複数であっても構わない。
例えば、物体検出部１２０は、識別器と呼ばれる機器またはテンプレートマッチングと呼ばれる技術を用いて物体を検出する。
例えば、物体検出部１２０は、識別器と呼ばれる機器またはテンプレートマッチングと呼ばれる技術を用いて物体を検出する。
例えば、物体検出部１２０は、図５に示すような物体特徴ファイル１９１を用いて物体を検出する。図５に示す物体特徴ファイル１９１は、物体名と物体名に対応付けられた特徴データとを含んでいる。特徴データは物体の特徴（文字、記号、図形または形状など）を表すデータである。
この場合、物体検出部１２０は、撮影画像データ１０１を画像解析することによって、物体特徴ファイル１９１に含まれる特徴データ毎に特徴データと同じ特徴を表す特徴領域（画素領域）が撮影画像２１０に含まれるか否かを判定する。
そして、物体検出部１２０は、撮影画像２１０（図４参照）に同じ特徴を表す特徴領域が含まれる特徴データ（郵便マーク２１２）に対応付けられた物体名（郵便局２１１）を物体特徴ファイル１９１から取得する。
また、物体検出部１２０は、特徴データと同じ特徴を表す特徴領域または特徴領域を含んだ物体を表す画素領域を物体領域として特定する。例えば、物体検出部１２０は、物体の輪郭を形成している複数のエッジを撮影画像２１０から検出し、検出した複数のエッジに囲まれている画素領域を物体領域として特定する。
図５は、実施の形態１における物体特徴ファイル１９１の一例を示す図である。
Ｓ１２０の後、処理はＳ１３０（図３参照）に進む。
この場合、物体検出部１２０は、撮影画像データ１０１を画像解析することによって、物体特徴ファイル１９１に含まれる特徴データ毎に特徴データと同じ特徴を表す特徴領域（画素領域）が撮影画像２１０に含まれるか否かを判定する。
そして、物体検出部１２０は、撮影画像２１０（図４参照）に同じ特徴を表す特徴領域が含まれる特徴データ（郵便マーク２１２）に対応付けられた物体名（郵便局２１１）を物体特徴ファイル１９１から取得する。
また、物体検出部１２０は、特徴データと同じ特徴を表す特徴領域または特徴領域を含んだ物体を表す画素領域を物体領域として特定する。例えば、物体検出部１２０は、物体の輪郭を形成している複数のエッジを撮影画像２１０から検出し、検出した複数のエッジに囲まれている画素領域を物体領域として特定する。
図５は、実施の形態１における物体特徴ファイル１９１の一例を示す図である。
Ｓ１２０の後、処理はＳ１３０（図３参照）に進む。
Ｓ１３０において、付加情報取得部１３０は、検出物体毎に検出物体に関する付加情報を取得する。検出物体はＳ１２０で取得された物体である。
例えば、付加情報取得部１３０は、図６に示すような付加情報ファイル１９２から付加情報を取得する。図６に示す付加情報ファイル１９２は、物体名と物体名に対応付けられた付加情報（文字列または画像などのラベル）とを含んでいる。
検出物体の物体名が郵便局２１１である場合、付加情報取得部１３０は郵便局２１１に対応付けられた付加情報である「記念切手を販売中」を付加情報ファイル１９２から取得する。
図６は、実施の形態１における付加情報ファイル１９２の一例を示す図である。
Ｓ１３０の後、処理はＳ１４０（図３参照）に進む。
例えば、付加情報取得部１３０は、図６に示すような付加情報ファイル１９２から付加情報を取得する。図６に示す付加情報ファイル１９２は、物体名と物体名に対応付けられた付加情報（文字列または画像などのラベル）とを含んでいる。
検出物体の物体名が郵便局２１１である場合、付加情報取得部１３０は郵便局２１１に対応付けられた付加情報である「記念切手を販売中」を付加情報ファイル１９２から取得する。
図６は、実施の形態１における付加情報ファイル１９２の一例を示す図である。
Ｓ１３０の後、処理はＳ１４０（図３参照）に進む。
Ｓ１４０において、付加領域決定部１４０は、検出物体毎に検出物体の付加情報が配置される付加領域（画素領域）を決定する。
付加領域決定処理（Ｓ１４０）の詳細については後述する。
Ｓ１４０の後、処理はＳ１５０に進む。
付加領域決定処理（Ｓ１４０）の詳細については後述する。
Ｓ１４０の後、処理はＳ１５０に進む。
Ｓ１５０において、重畳画像表示部１５０は、付加情報を付加領域に配置した付加画像データ１０２を生成し、撮影画像データ１０１に付加画像データ１０２を重畳した重畳画像データ１０３を生成し、重畳画像データ１０３を表示する（図２参照）。
Ｓ１５０の後、画像表示処理は終了する。
Ｓ１５０の後、画像表示処理は終了する。
図７は、実施の形態１における付加領域決定処理（Ｓ１４０）の一例を示すフローチャートである。
実施の形態１における付加領域決定処理（Ｓ１４０）の一例について、図７に基づいて説明する。
実施の形態１における付加領域決定処理（Ｓ１４０）の一例について、図７に基づいて説明する。
Ｓ１４１において、評価値算出部１４１は、撮影画像２１０から検出物体と同じ個数の候補画素（以下、候補画素群という）を選択する。検出物体が１つである場合、候補画素群に含まれる候補画素は１つである。
例えば、評価値算出部１４１は候補画素群をランダムに選択する。但し、評価値算出部１４１は、遺伝的アルゴリズムまたは動的計画法などを利用して候補画素群を選択しても構わない。
以降の処理で述べる候補画素は、Ｓ１４１で選択された候補画素である。
Ｓ１４１の後、処理はＳ１４２に進む。
例えば、評価値算出部１４１は候補画素群をランダムに選択する。但し、評価値算出部１４１は、遺伝的アルゴリズムまたは動的計画法などを利用して候補画素群を選択しても構わない。
以降の処理で述べる候補画素は、Ｓ１４１で選択された候補画素である。
Ｓ１４１の後、処理はＳ１４２に進む。
Ｓ１４２において、評価値算出部１４１は、複数の見易さ評価関数１９３から未選択の見易さ評価関数１９３を一つ選択する。
見易さ評価関数１９３は、付加情報の見易さを決定する見易さ要素に関する評価値を算出するための関数（または計算式）である。
見易さ評価関数１９３は、付加情報の見易さを決定する見易さ要素に関する評価値を算出するための関数（または計算式）である。
以下の第１から第８の要素は見易さ要素の一例である。
色要素（第１の要素）は、付加情報と候補画素を起点とする画素領域との色の差に関する見易さ要素である。一般的に色の差が大きい方が見易い。
吹き出し長さ要素（第２の要素）は、付加情報を囲む吹き出しの吹き出し線の長さに関する見易さ要素である。一般的に吹き出し線が短い方が見易い。
複雑要素（第３の要素）は、候補画素を起点とする画素領域に含まれるエッジの量に関する見易さ要素である。一般的にエッジの量が少ない方が見易い。
物体領域重なり要素（第４の要素）は、候補画素を起点とする画素領域が物体領域に重なる量に関する見易さ要素である。一般的に重なる量が少ない方が見易い。
付加領域重なり要素（第５の要素）は、複数の候補画素のそれぞれを起点とする各画素領域が互いに重なる量に関する見易さ要素である。一般的に重なる量が少ない方が見易い。
吹き出し交差要素（第６の要素）は、複数の付加情報を囲む複数の吹き出しのそれぞれ吹き出し線が交差する数に関する見易さ要素である。一般的に交差する吹き出し線の数が少ない方が見易い。
空要素（第７の要素）は、候補画素を起点とする画素領域に占める空領域の割合に関する見易さ要素である。空領域は空が映された画素領域である。一般的に空領域の割合が高い方が見易い。
道路要素（第８の要素）は、候補画素を起点とする画素領域に占める道路領域の割合に関する見易さ要素である。道路領域は道路が映された画素領域である。一般的に道路領域の割合が高い方が見易い。
色要素（第１の要素）は、付加情報と候補画素を起点とする画素領域との色の差に関する見易さ要素である。一般的に色の差が大きい方が見易い。
吹き出し長さ要素（第２の要素）は、付加情報を囲む吹き出しの吹き出し線の長さに関する見易さ要素である。一般的に吹き出し線が短い方が見易い。
複雑要素（第３の要素）は、候補画素を起点とする画素領域に含まれるエッジの量に関する見易さ要素である。一般的にエッジの量が少ない方が見易い。
物体領域重なり要素（第４の要素）は、候補画素を起点とする画素領域が物体領域に重なる量に関する見易さ要素である。一般的に重なる量が少ない方が見易い。
付加領域重なり要素（第５の要素）は、複数の候補画素のそれぞれを起点とする各画素領域が互いに重なる量に関する見易さ要素である。一般的に重なる量が少ない方が見易い。
吹き出し交差要素（第６の要素）は、複数の付加情報を囲む複数の吹き出しのそれぞれ吹き出し線が交差する数に関する見易さ要素である。一般的に交差する吹き出し線の数が少ない方が見易い。
空要素（第７の要素）は、候補画素を起点とする画素領域に占める空領域の割合に関する見易さ要素である。空領域は空が映された画素領域である。一般的に空領域の割合が高い方が見易い。
道路要素（第８の要素）は、候補画素を起点とする画素領域に占める道路領域の割合に関する見易さ要素である。道路領域は道路が映された画素領域である。一般的に道路領域の割合が高い方が見易い。
以降の処理で述べる見易さ評価関数１９３は、Ｓ１４２で選択された見易さ評価関数１９３である。
Ｓ１４２の後、処理はＳ１４３に進む。
Ｓ１４２の後、処理はＳ１４３に進む。
Ｓ１４３において、評価値算出部１４１は、見易さ評価関数１９３を演算することによって、見易さ要素別の評価値を算出する。
見易さ評価処理（Ｓ１４３）の詳細については後述する。
Ｓ１４３の後、処理はＳ１４４に進む。
見易さ評価処理（Ｓ１４３）の詳細については後述する。
Ｓ１４３の後、処理はＳ１４４に進む。
Ｓ１４４において、評価値算出部１４１は、見易さ要素別の寄与度を寄与度データ１９４から取得し、取得した見易さ要素別の寄与度を用いて見易さ要素別の評価値を補正する。
例えば、評価値算出部１４１は、第１の要素の寄与度を寄与度データ１９４から取得し、取得した第１の要素の寄与度を第１の要素の評価値に乗算する。乗算して得られた値が第１の要素の補正後の評価値である。
但し、評価値算出部１４１は見易さ要素別の評価値を補正しなくても構わない。この場合、寄与度データ１９４は不要である。
Ｓ１４４の後、処理はＳ１４５に進む。
例えば、評価値算出部１４１は、第１の要素の寄与度を寄与度データ１９４から取得し、取得した第１の要素の寄与度を第１の要素の評価値に乗算する。乗算して得られた値が第１の要素の補正後の評価値である。
但し、評価値算出部１４１は見易さ要素別の評価値を補正しなくても構わない。この場合、寄与度データ１９４は不要である。
Ｓ１４４の後、処理はＳ１４５に進む。
Ｓ１４５において、評価値算出部１４１は、Ｓ１４２で選択していない未選択の見易さ評価関数１９３があるか否かを判定する。
未選択の見易さ評価関数１９３がある場合（ＹＥＳ）、処理はＳ１４２に戻る。
未選択の見易さ評価関数１９３がない場合（ＮＯ）、処理はＳ１４６に進む。
未選択の見易さ評価関数１９３がある場合（ＹＥＳ）、処理はＳ１４２に戻る。
未選択の見易さ評価関数１９３がない場合（ＮＯ）、処理はＳ１４６に進む。
Ｓ１４６において、評価値算出部１４１は、各見易さ要素別の評価値を用いて、候補画素群の評価値を算出する。
候補画素群の評価値は、候補画素毎に候補画素を起点とする画素領域に付加情報を重畳した場合の各付加情報の見易さを意味する値である。
例えば、評価値算出部１４１は各見易さ要素別の評価値を合計する。その合計値が候補画素群の評価値である。
候補画素群の評価値は、候補画素毎に候補画素を起点とする画素領域に付加情報を重畳した場合の各付加情報の見易さを意味する値である。
例えば、評価値算出部１４１は各見易さ要素別の評価値を合計する。その合計値が候補画素群の評価値である。
例えば、候補画素群の評価値ｆ（Ｐ，Ｑ，Ｉ）は以下の式（１）で表すことができる。
Ｌは、候補画素群に含まれる候補画素の数（つまり、付加情報、検出物体または物体領域の数）を意味する。
Ｅは、見易さ要素の数を意味する。
ｗｉは、ｉ番目の見易さ要素の寄与度を意味する。
ｃｉｌ（Ｐ，Ｑ，Ｉ）は、ｉ番目の見易さ要素に関するｌ番目の候補画素の評価値を意味する。
Ｐは、式（１−１）に示すように、Ｌ個の候補画素の各座標値（ｐ＿ｘｌ，ｐ＿ｙｌ）を含んだ行列を意味する。この座標値は撮影画像内の座標値である。
Ｑは、式（１−２）に示すように、Ｌ個の物体領域のそれぞれの代表画素の座標値（ｑ＿ｘｌ，ｑ＿ｙｌ）を含んだ行列を意味する。この座標値は撮影画像内の座標値である。例えば、物体領域の代表画素は物体領域の端部または中心部に位置する画素である。
Ｉは、撮影画像２１０を意味する。
Ｌは、候補画素群に含まれる候補画素の数（つまり、付加情報、検出物体または物体領域の数）を意味する。
Ｅは、見易さ要素の数を意味する。
ｗｉは、ｉ番目の見易さ要素の寄与度を意味する。
ｃｉｌ（Ｐ，Ｑ，Ｉ）は、ｉ番目の見易さ要素に関するｌ番目の候補画素の評価値を意味する。
Ｐは、式（１−１）に示すように、Ｌ個の候補画素の各座標値（ｐ＿ｘｌ，ｐ＿ｙｌ）を含んだ行列を意味する。この座標値は撮影画像内の座標値である。
Ｑは、式（１−２）に示すように、Ｌ個の物体領域のそれぞれの代表画素の座標値（ｑ＿ｘｌ，ｑ＿ｙｌ）を含んだ行列を意味する。この座標値は撮影画像内の座標値である。例えば、物体領域の代表画素は物体領域の端部または中心部に位置する画素である。
Ｉは、撮影画像２１０を意味する。
Ｓ１４６の後、処理はＳ１４７に進む。
Ｓ１４７において、評価値算出部１４１は、新たな候補画素群を選択するか否かを判定する。
例えば、Ｓ１４１で選択した候補画素群の数が選択閾値より小さい場合、評価値算出部１４１は新たな候補画素群を選択すると判定する。
例えば、Ｓ１４６で算出した候補画素群の評価値が選択閾値より大きい場合（または選択閾値より小さい場合）、評価値算出部１４１は新たな候補画素群を選択すると判定する。
但し、評価値算出部１４１は新たな候補画素群を選択するか否かを他の判定基準に従って判定しても構わない。
新たな候補画素群を選択する場合（ＹＥＳ）、処理はＳ１４１に戻る。
新たな候補画素群を選択しない場合（ＮＯ）、処理はＳ１４８に進む。
例えば、Ｓ１４１で選択した候補画素群の数が選択閾値より小さい場合、評価値算出部１４１は新たな候補画素群を選択すると判定する。
例えば、Ｓ１４６で算出した候補画素群の評価値が選択閾値より大きい場合（または選択閾値より小さい場合）、評価値算出部１４１は新たな候補画素群を選択すると判定する。
但し、評価値算出部１４１は新たな候補画素群を選択するか否かを他の判定基準に従って判定しても構わない。
新たな候補画素群を選択する場合（ＹＥＳ）、処理はＳ１４１に戻る。
新たな候補画素群を選択しない場合（ＮＯ）、処理はＳ１４８に進む。
Ｓ１４８において、起点画素選択部１４２は、各候補画素群の評価値に基づいて、起点画素群にする候補画素群を選択する。
例えば、起点画素選択部１４２は、評価値が最も小さい（または最も大きい）候補画素群を起点画素群として選択する。
起点画素群は１つ以上の起点画素であり、起点画素は検出物体に関する付加情報が配置される付加領域の起点になる画素である。
Ｓ１４８の後、付加領域決定処理（Ｓ１４０）は終了する。
例えば、起点画素選択部１４２は、評価値が最も小さい（または最も大きい）候補画素群を起点画素群として選択する。
起点画素群は１つ以上の起点画素であり、起点画素は検出物体に関する付加情報が配置される付加領域の起点になる画素である。
Ｓ１４８の後、付加領域決定処理（Ｓ１４０）は終了する。
次に、見易さ評価処理（Ｓ１４３）の詳細について説明する。
図８は、実施の形態１における付加情報２０１と画素領域２０３と物体領域２０４と吹き出し２２１との関係を示す図である。
評価値算出部１４１は、候補画素２０２の座標値と付加情報２０１の大きさとに基づいて、候補画素２０２を起点とする画素領域２０３を算出する。例えば、画素領域２０３の大きさは付加情報２０１の大きさと同じである。
評価値算出部１４１は、画素領域２０３に基づいて、付加情報２０１が配置される画素領域２０３を囲む吹き出し枠２２２を算出する。例えば、吹き出し枠２２２の大きさは画素領域２０３と同じである。
評価値算出部１４１は、吹き出し枠２２２と物体領域２０４とに基づいて、吹き出し枠２２２から物体領域２０４を指し示す吹き出し線２２３を算出する。例えば、吹き出し線２２３は吹き出し枠２２２の（下辺の）中心点と物体領域２０４の（上辺の）中心点とを結ぶ線である。
評価値算出部１４１は、算出した画素領域２０３および吹き出し２２１（吹き出し枠２２２、吹き出し線２２３）を用いて、各見易さ評価関数１９３を演算する。
図８は、実施の形態１における付加情報２０１と画素領域２０３と物体領域２０４と吹き出し２２１との関係を示す図である。
評価値算出部１４１は、候補画素２０２の座標値と付加情報２０１の大きさとに基づいて、候補画素２０２を起点とする画素領域２０３を算出する。例えば、画素領域２０３の大きさは付加情報２０１の大きさと同じである。
評価値算出部１４１は、画素領域２０３に基づいて、付加情報２０１が配置される画素領域２０３を囲む吹き出し枠２２２を算出する。例えば、吹き出し枠２２２の大きさは画素領域２０３と同じである。
評価値算出部１４１は、吹き出し枠２２２と物体領域２０４とに基づいて、吹き出し枠２２２から物体領域２０４を指し示す吹き出し線２２３を算出する。例えば、吹き出し線２２３は吹き出し枠２２２の（下辺の）中心点と物体領域２０４の（上辺の）中心点とを結ぶ線である。
評価値算出部１４１は、算出した画素領域２０３および吹き出し２２１（吹き出し枠２２２、吹き出し線２２３）を用いて、各見易さ評価関数１９３を演算する。
評価値算出部１４１は、第１の見易さ評価関数１９３を演算することによって、色要素（第１の要素）に関する評価値を以下のように算出する。第１の見易さ評価関数１９３に関する説明において図９を参照する。
図９は、実施の形態１における第１の見易さ評価関数１９３に関する図である。
評価値算出部１４１は、付加情報（図中の一点鎖線に囲まれた部分）に含まれる色情報（文字列の文字色、画像の画素値など）に基づいて、付加情報の平均の色値ｉＬを算出する。
評価値算出部１４１は、候補画素ｐｌを起点とする画素領域（図中の鎖線に囲まれた部分）に含まれる各画素の画素値に基づいて、画素領域の平均の色値ｉＲ（ｐｌ，Ｉ）を算出する。候補画素ｐｌを起点とする画素領域の大きさは付加情報の大きさに比例する。画素値は色値の一例である。評価値算出部１４１は、画素値に基づいてＲＧＢ色空間、ＨＳＶ色空間またはその他の色空間の色を表す色値を算出しても構わない。
評価値算出部１４１は、付加情報の平均の色値ｉＬと画素領域の平均の色値ｉＲ（ｐｌ，Ｉ）との差を算出する。候補画素ｐｌ毎に算出した色値の差を合計した値が色要素に関する評価値である。
色要素に関する評価値ｃ１ｌ（Ｐ，Ｑ，Ｉ）は以下の式（２）で表すことができる。
図９は、実施の形態１における第１の見易さ評価関数１９３に関する図である。
評価値算出部１４１は、付加情報（図中の一点鎖線に囲まれた部分）に含まれる色情報（文字列の文字色、画像の画素値など）に基づいて、付加情報の平均の色値ｉＬを算出する。
評価値算出部１４１は、候補画素ｐｌを起点とする画素領域（図中の鎖線に囲まれた部分）に含まれる各画素の画素値に基づいて、画素領域の平均の色値ｉＲ（ｐｌ，Ｉ）を算出する。候補画素ｐｌを起点とする画素領域の大きさは付加情報の大きさに比例する。画素値は色値の一例である。評価値算出部１４１は、画素値に基づいてＲＧＢ色空間、ＨＳＶ色空間またはその他の色空間の色を表す色値を算出しても構わない。
評価値算出部１４１は、付加情報の平均の色値ｉＬと画素領域の平均の色値ｉＲ（ｐｌ，Ｉ）との差を算出する。候補画素ｐｌ毎に算出した色値の差を合計した値が色要素に関する評価値である。
色要素に関する評価値ｃ１ｌ（Ｐ，Ｑ，Ｉ）は以下の式（２）で表すことができる。
評価値算出部１４１は、第２の見易さ評価関数１９３を演算することによって、吹き出し長さ要素（第２の要素）に関する評価値を以下のように算出する。
評価値算出部１４１は、候補画素２０２毎に吹き出し線２２３の長さを算出する（図８参照）。候補画素毎に算出した吹き出し線２２３の長さを合計した値が吹き出し長さ要素に関する評価値である。
評価値算出部１４１は、候補画素２０２毎に吹き出し線２２３の長さを算出する（図８参照）。候補画素毎に算出した吹き出し線２２３の長さを合計した値が吹き出し長さ要素に関する評価値である。
評価値算出部１４１は、第３の見易さ評価関数１９３を演算することによって、複雑要素（第３の要素）に関する評価値を以下のように算出する。
評価値算出部１４１は、候補画素２０２を起点とする画素領域２０３に含まれる各画素の画素値に基づいて、画素領域２０３に含まれるエッジを検出する。候補画素２０２毎に検出したエッジの量を合計した値が複雑要素に関する評価値である。
例えば、評価値算出部１４１は、キャニーエッジ、ソーベルフィルタまたはガウシアンフィルタなどのエッジ検出方法を用いてエッジを検出する。
評価値算出部１４１は、候補画素２０２を起点とする画素領域２０３に含まれる各画素の画素値に基づいて、画素領域２０３に含まれるエッジを検出する。候補画素２０２毎に検出したエッジの量を合計した値が複雑要素に関する評価値である。
例えば、評価値算出部１４１は、キャニーエッジ、ソーベルフィルタまたはガウシアンフィルタなどのエッジ検出方法を用いてエッジを検出する。
評価値算出部１４１は、第４の見易さ評価関数１９３を演算することによって、物体領域重なり要素（第４の要素）に関する評価値を以下のように算出する。第４の見易さ評価関数１９３に関する説明において図１０を参照する。
図１０は、実施の形態１における第４の見易さ評価関数１９３に関する図である。
評価値算出部１４１は、候補画素２０２を起点とする画素領域２０３が物体領域２０４に重なる量（図中の斜線部分の面積）を算出する。候補画素２０２毎に算出した重なる量を合計した値が物体領域重なり要素に関する評価値である。重なる量は重なるか否かを示す値であっても構わない。
図１０は、実施の形態１における第４の見易さ評価関数１９３に関する図である。
評価値算出部１４１は、候補画素２０２を起点とする画素領域２０３が物体領域２０４に重なる量（図中の斜線部分の面積）を算出する。候補画素２０２毎に算出した重なる量を合計した値が物体領域重なり要素に関する評価値である。重なる量は重なるか否かを示す値であっても構わない。
評価値算出部１４１は、第５の見易さ評価関数１９３を演算することによって、付加領域重なり要素（第５の要素）に関する評価値を以下のように算出する。
評価値算出部１４１は、複数の画素領域２０３が互いに重なる量を算出する。算出した重なる量が付加領域重なり要素に関する評価値である。
図１１は、実施の形態１における第５の見易さ評価関数１９３に関する図である。
図１１の（ａ）の場合、２つの画素領域２０３が重なっているので重なる量は２である。図１１の（ｂ）の場合、３つの画素領域２０３が重なっているので重なる量は３である。但し、重なる量は複数の画素領域２０３が重なる面積であっても構わない。
評価値算出部１４１は、複数の画素領域２０３が互いに重なる量を算出する。算出した重なる量が付加領域重なり要素に関する評価値である。
図１１は、実施の形態１における第５の見易さ評価関数１９３に関する図である。
図１１の（ａ）の場合、２つの画素領域２０３が重なっているので重なる量は２である。図１１の（ｂ）の場合、３つの画素領域２０３が重なっているので重なる量は３である。但し、重なる量は複数の画素領域２０３が重なる面積であっても構わない。
評価値算出部１４１は、第６の見易さ評価関数１９３を演算することによって、吹き出し交差要素（第６の要素）に関する評価値を以下のように算出する。
評価値算出部１４１は、複数の吹き出し線２２３が互いに重なる量を算出する。算出した重なる量が吹き出し交差要素に関する評価値である。
図１２は、実施の形態１における第６の見易さ評価関数１９３に関する図である。
図１２の（ａ）の場合、２つの吹き出し線２２３が重なっているので重なる量は２である。図１２の（ｂ）の場合、３つの吹き出し線２２３が重なっているので重なる量は３である。
評価値算出部１４１は、複数の吹き出し線２２３が互いに重なる量を算出する。算出した重なる量が吹き出し交差要素に関する評価値である。
図１２は、実施の形態１における第６の見易さ評価関数１９３に関する図である。
図１２の（ａ）の場合、２つの吹き出し線２２３が重なっているので重なる量は２である。図１２の（ｂ）の場合、３つの吹き出し線２２３が重なっているので重なる量は３である。
評価値算出部１４１は、第７の見易さ評価関数１９３を演算することによって、空要素（第７の要素）に関する評価値を以下のように算出する。
評価値算出部１４１は、候補画素２０２を起点とする画素領域２０３に含まれる各画素の画素値に基づいて画素領域２０３から空領域を検出し、検出した空領域が画素領域２０３に占める割合を算出する。空領域は空が映った画素領域である。候補画素２０２毎に算出した割合を合計した値が空要素に関する評価値である。空領域は他の特定領域（例えば、海が映った海領域）に置き換えても構わない。
例えば、評価値算出部１４１は、非特許文献１に開示された技術を用いて空領域を検出する。
評価値算出部１４１は、候補画素２０２を起点とする画素領域２０３に含まれる各画素の画素値に基づいて画素領域２０３から空領域を検出し、検出した空領域が画素領域２０３に占める割合を算出する。空領域は空が映った画素領域である。候補画素２０２毎に算出した割合を合計した値が空要素に関する評価値である。空領域は他の特定領域（例えば、海が映った海領域）に置き換えても構わない。
例えば、評価値算出部１４１は、非特許文献１に開示された技術を用いて空領域を検出する。
評価値算出部１４１は、第８の見易さ評価関数１９３を演算することによって、道路要素（第８の要素）に関する評価値を以下のように算出する。
評価値算出部１４１は、候補画素２０２を起点とする画素領域２０３に含まれる各画素の画素値に基づいて画素領域２０３から道路領域を検出し、検出した道路領域が画素領域２０３に占める割合を算出する。道路領域は道路が映った画素領域である。候補画素２０２毎に算出した割合を合計した値が道路要素に関する評価値である。
例えば、評価値算出部１４１は、非特許文献２に開示された技術を用いて道路領域を検出する。
評価値算出部１４１は、候補画素２０２を起点とする画素領域２０３に含まれる各画素の画素値に基づいて画素領域２０３から道路領域を検出し、検出した道路領域が画素領域２０３に占める割合を算出する。道路領域は道路が映った画素領域である。候補画素２０２毎に算出した割合を合計した値が道路要素に関する評価値である。
例えば、評価値算出部１４１は、非特許文献２に開示された技術を用いて道路領域を検出する。
評価値算出部１４１は、上記した第１から第８の全ての見易さ要素に関する評価値を算出してもよいし、いずれか１つまたは複数の見易さ要素に関する評価値だけを算出してもよいし、他の見易さ要素に関する評価値を算出してもよい。
例えば、評価値算出部１４１は、寄与度データｗに基づいて見易さ要素を選択してもよい。ｗ＝｛ｗ１，ｗ２，ｗ３，ｗ４，ｗ５，ｗ６，ｗ７，ｗ８｝＝｛０，１，１，０，０，０，０，０｝である場合、評価値算出部１４１は第２の見易さ要素に関する評価値と第３の見易さ要素に関する評価値とを算出する。
例えば、評価値算出部１４１は、寄与度データｗに基づいて見易さ要素を選択してもよい。ｗ＝｛ｗ１，ｗ２，ｗ３，ｗ４，ｗ５，ｗ６，ｗ７，ｗ８｝＝｛０，１，１，０，０，０，０，０｝である場合、評価値算出部１４１は第２の見易さ要素に関する評価値と第３の見易さ要素に関する評価値とを算出する。
評価値算出部１４１は、各見易さ要素の評価値を扱い易くするために、各見易さ要素の評価値を正規化しても構わない。例えば、評価値算出部１４１は、各見易さ要素の評価値を０から１０の範囲内の値に変換しても構わない。
評価値算出部１４１は、各見易さ要素の評価値として、見易いことを意味する値と見にくいことを意味する値とのいずれかを選択しても構わない。
例えば、評価値算出部１４１は、クラスタリングの技術分野で用いられている超平面を生成し、この超平面に基づいて見易いか否かを判定する。
例えば、評価値算出部１４１は、クラスタリングの技術分野で用いられている超平面を生成し、この超平面に基づいて見易いか否かを判定する。
図１３は、実施の形態１における画像表示装置１００のハードウェア構成の一例を示す図である。
実施の形態１における画像表示装置１００のハードウェア構成の一例について、図１３に基づいて説明する。但し、画像表示装置１００のハードウェア構成は図１３に示す構成と異なる構成であってもよい。
実施の形態１における画像表示装置１００のハードウェア構成の一例について、図１３に基づいて説明する。但し、画像表示装置１００のハードウェア構成は図１３に示す構成と異なる構成であってもよい。
画像表示装置１００は、演算装置９０１、補助記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５、撮影装置９０６、測位装置９０７および慣性計測装置９０８を備えるコンピュータである。これらの装置はバス９０９に接続している。
演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
補助記憶装置９０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリまたはハードディスク装置である。
主記憶装置９０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
通信装置９０４は、有線または無線でインターネット、ＬＡＮ（ローカルエリアネットワーク）、電話回線網またはその他のネットワークを介して通信を行う。
入出力装置９０５は、例えば、マウス、キーボード、ディスプレイ装置である。
例えば、撮影装置９０６はカメラであり、測位装置９０７はＧＰＳ受信機であり、慣性計測装置９０８はジャイロである。
補助記憶装置９０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリまたはハードディスク装置である。
主記憶装置９０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
通信装置９０４は、有線または無線でインターネット、ＬＡＮ（ローカルエリアネットワーク）、電話回線網またはその他のネットワークを介して通信を行う。
入出力装置９０５は、例えば、マウス、キーボード、ディスプレイ装置である。
例えば、撮影装置９０６はカメラであり、測位装置９０７はＧＰＳ受信機であり、慣性計測装置９０８はジャイロである。
プログラムは、通常は補助記憶装置９０２に記憶されており、主記憶装置９０３にロードされ、演算装置９０１に読み込まれ、演算装置９０１によって実行される。
例えば、オペレーティングシステム（ＯＳ）が補助記憶装置９０２に記憶される。また、「〜部」として説明している機能を実現するプログラムが補助記憶装置９０２に記憶される。そして、ＯＳおよび「〜部」として説明している機能を実現するプログラムは主記憶装置９０３にロードされ、演算装置９０１によって実行される。「〜部」は「〜処理」「〜工程」と読み替えることができる。
例えば、オペレーティングシステム（ＯＳ）が補助記憶装置９０２に記憶される。また、「〜部」として説明している機能を実現するプログラムが補助記憶装置９０２に記憶される。そして、ＯＳおよび「〜部」として説明している機能を実現するプログラムは主記憶装置９０３にロードされ、演算装置９０１によって実行される。「〜部」は「〜処理」「〜工程」と読み替えることができる。
「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検知」、「〜の設定」、「〜の登録」、「〜の選択」、「〜の生成」、「〜の入力」、「〜の出力」等の処理の結果を示す情報、データ、ファイル、信号値または変数値が主記憶装置９０３または補助記憶装置９０２に記憶される。また、画像表示装置１００が使用するその他のデータが主記憶装置９０３または補助記憶装置９０２に記憶される。
実施の形態１により、物体が映った撮影画像２１０に物体に関する付加情報を見易く重畳することができる。
実施の形態２．
撮影画像に映っている物体を撮影画像が撮影された位置に基づいて検出する形態について説明する。
以下、実施の形態１と異なる事項について主に説明する。説明を省略する事項については実施の形態１と同様である。
撮影画像に映っている物体を撮影画像が撮影された位置に基づいて検出する形態について説明する。
以下、実施の形態１と異なる事項について主に説明する。説明を省略する事項については実施の形態１と同様である。
図１４は、実施の形態２における画像表示装置１００の機能構成図である。
実施の形態２における画像表示装置１００の機能構成について、図１４に基づいて説明する。
実施の形態２における画像表示装置１００の機能構成について、図１４に基づいて説明する。
画像表示装置１００は、実施の形態１（図１参照）で説明した機能に加えて、位置方位取得部１６０を備える。
また、物体検出部１２０は、実施の形態１とは異なる方法によって、撮影画像２１０に映っている物体を検出する。
また、物体検出部１２０は、実施の形態１とは異なる方法によって、撮影画像２１０に映っている物体を検出する。
位置方位取得部１６０は、撮影画像２１０が撮影されたときの撮影位置を示す位置データ（三次元の座標値）と、撮影画像２１０が撮影されたときの撮影方位を示す方位データ（方位角、仰角、回転角）とを取得する。
例えば、位置方位取得部１６０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機から位置データを取得する。位置方位取得部１６０は、ＧＰＳ受信機から出力される情報に基づいてＧＰＳの単独測位を行うことによって、位置データを生成しても構わない。また、位置方位取得部１６０は、携帯基地局までの距離を示す距離情報を利用するＡ−ＧＰＳなど、ＧＰＳの単独測位以外の測位方法によって位置データを生成しても構わない。
例えば、位置方位取得部１６０はジャイロセンサから方位データを取得する。また、位置方位取得部１６０は、ジャイロセンサから出力される情報に基づいて方位を計測することによって、方位データを生成しても構わない。
以下、位置データと方位データとを含んだデータを位置方位データ１０４という。
例えば、位置方位取得部１６０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機から位置データを取得する。位置方位取得部１６０は、ＧＰＳ受信機から出力される情報に基づいてＧＰＳの単独測位を行うことによって、位置データを生成しても構わない。また、位置方位取得部１６０は、携帯基地局までの距離を示す距離情報を利用するＡ−ＧＰＳなど、ＧＰＳの単独測位以外の測位方法によって位置データを生成しても構わない。
例えば、位置方位取得部１６０はジャイロセンサから方位データを取得する。また、位置方位取得部１６０は、ジャイロセンサから出力される情報に基づいて方位を計測することによって、方位データを生成しても構わない。
以下、位置データと方位データとを含んだデータを位置方位データ１０４という。
物体検出部１２０は、位置方位データ１０４と物体データベース１９５とに基づいて、撮影画像２１０に映っている物体の物体名および物体領域を検出する。
物体データベース１９５は、物体名と物体名に対応付けられた物体位置データとを含む。物体位置データは物体が位置する現実（三次元）の領域を示すデータである。例えば、地図データベース、フロアマップ、設計図面およびＣＡＤ図面は、物体データベース１９５の一例である。
物体データベース１９５は、物体名と物体名に対応付けられた物体位置データとを含む。物体位置データは物体が位置する現実（三次元）の領域を示すデータである。例えば、地図データベース、フロアマップ、設計図面およびＣＡＤ図面は、物体データベース１９５の一例である。
例えば、物体検出部１２０は以下のように物体を検出する。以下の説明において図１５を参照する。
図１５は、実施の形態２におけるカメラＣと画像平面Ｐとの関係を示す図である。
物体検出部１２０は、位置方位データ１０４およびカメラＣの撮影パラメータ（例えば、焦点距離ｆ）に基づいて画像平面Ｐを算出する。画像平面Ｐに現実の領域（例えば、画像平面Ｐの外にある郵便マーク）を投影して得られる画像が撮影画像２１０である。
物体検出部１２０は、画像平面Ｐに投影される現実の領域（投影領域）を算出し、投影領域に位置する物体の物体名および物体位置データを物体データベース１９５から抽出する。
物体検出部１２０は、抽出した物体位置データが示す現実の領域が投影される画素領域（例えば、画像平面Ｐの中になる郵便マーク）を算出する。算出した画素領域が物体領域である。
図１５は、実施の形態２におけるカメラＣと画像平面Ｐとの関係を示す図である。
物体検出部１２０は、位置方位データ１０４およびカメラＣの撮影パラメータ（例えば、焦点距離ｆ）に基づいて画像平面Ｐを算出する。画像平面Ｐに現実の領域（例えば、画像平面Ｐの外にある郵便マーク）を投影して得られる画像が撮影画像２１０である。
物体検出部１２０は、画像平面Ｐに投影される現実の領域（投影領域）を算出し、投影領域に位置する物体の物体名および物体位置データを物体データベース１９５から抽出する。
物体検出部１２０は、抽出した物体位置データが示す現実の領域が投影される画素領域（例えば、画像平面Ｐの中になる郵便マーク）を算出する。算出した画素領域が物体領域である。
画像表示装置１００の他の機能は実施の形態１と同様である。
実施の形態２により、物体が映った撮影画像２１０に物体に関する付加情報を見易く重畳することができる。
実施の形態３．
各見易さ要素の寄与度を利用者に適した値に調整する形態について説明する。
以下、実施の形態１と異なる事項について主に説明する。説明を省略する事項については実施の形態１と同様である。
各見易さ要素の寄与度を利用者に適した値に調整する形態について説明する。
以下、実施の形態１と異なる事項について主に説明する。説明を省略する事項については実施の形態１と同様である。
図１６は、実施の形態３における画像表示装置１００の機能構成図である。
実施の形態３における画像表示装置１００の機能構成について、図１６に基づいて説明する。
実施の形態３における画像表示装置１００の機能構成について、図１６に基づいて説明する。
画像表示装置１００は、実施の形態１（図１参照）で説明した機能に加えて、寄与度算出部１７０を備える。
また、データ記憶部１９０は、複数の評価画像データ１９６および評価ファイル１９７を記憶する。
また、データ記憶部１９０は、複数の評価画像データ１９６および評価ファイル１９７を記憶する。
評価画像データ１９６は、利用者が見易さを評価する評価用の重畳画像（評価画像２４０）の画像データである。
図１７は、実施の形態３における評価画像２４０の一例を示す図である。
図１７の（ａ）は付加情報を囲んだ吹き出し２２１が空領域に重畳された評価画像２４０を示している。
図１７の（ｂ）は吹き出し２２１が建物に重畳された評価画像２４０を示している。
図１７の（ｃ）は２つの吹き出し２２１のそれぞれの吹き出し枠が重なっている評価画像２４０を示している。
図１７の（ｄ）は２つの吹き出し２２１のそれぞれの吹き出し線が重なっている評価画像２４０を示している。
図１７は、実施の形態３における評価画像２４０の一例を示す図である。
図１７の（ａ）は付加情報を囲んだ吹き出し２２１が空領域に重畳された評価画像２４０を示している。
図１７の（ｂ）は吹き出し２２１が建物に重畳された評価画像２４０を示している。
図１７の（ｃ）は２つの吹き出し２２１のそれぞれの吹き出し枠が重なっている評価画像２４０を示している。
図１７の（ｄ）は２つの吹き出し２２１のそれぞれの吹き出し線が重なっている評価画像２４０を示している。
評価ファイル１９７は、評価画像２４０毎に各見易さ要素の評価値と利用者の評価結果値とを含む。各見易さ要素の評価値は評価値算出部１４１の評価値算出処理（図７のＳ１４３）と同様に算出された値である。利用者の評価結果値は、利用者が評価画像２４０を確認して決定した評価値である。
図１８は、実施の形態３における評価ファイル１９７の一例を示す図である。
図１８に示す評価ファイル１９７は、第１から第Ｎの評価画像２４０の画像毎に、第１から第Ｅの見易さ要素のそれぞれの評価値ｃ＾と、利用者の評価結果値とを含んでいる。例えば、利用者の評価結果は０．２刻みで０から１の５段階の値である。
図１８は、実施の形態３における評価ファイル１９７の一例を示す図である。
図１８に示す評価ファイル１９７は、第１から第Ｎの評価画像２４０の画像毎に、第１から第Ｅの見易さ要素のそれぞれの評価値ｃ＾と、利用者の評価結果値とを含んでいる。例えば、利用者の評価結果は０．２刻みで０から１の５段階の値である。
寄与度算出部１７０は、以下のように各見易さ要素の寄与度を算出する。
寄与度算出部１７０は、複数の評価画像データ１９６を用いて、複数の評価画像２４０（図１７参照）を表示する。
利用者は、表示された複数の評価画像２４０を確認し、各評価画像２４０の付加情報の見易さを評価し、各評価画像２４０の評価結果値を画像表示装置１００に入力する。
寄与度算出部１７０は、入力された各評価画像２４０の評価結果値を取得し、取得した各評価結果値を評価ファイル１９７（図１８参照）に登録する。
寄与度算出部１７０は、評価ファイル１９７に基づいて各見易さ要素の寄与度を算出し、算出した各寄与度を寄与度データ１９４に登録する。
例えば、寄与度算出部１７０は、ロジスティック回帰分析によって各見易さ要素の寄与度を算出する。
寄与度算出部１７０は、複数の評価画像データ１９６を用いて、複数の評価画像２４０（図１７参照）を表示する。
利用者は、表示された複数の評価画像２４０を確認し、各評価画像２４０の付加情報の見易さを評価し、各評価画像２４０の評価結果値を画像表示装置１００に入力する。
寄与度算出部１７０は、入力された各評価画像２４０の評価結果値を取得し、取得した各評価結果値を評価ファイル１９７（図１８参照）に登録する。
寄与度算出部１７０は、評価ファイル１９７に基づいて各見易さ要素の寄与度を算出し、算出した各寄与度を寄与度データ１９４に登録する。
例えば、寄与度算出部１７０は、ロジスティック回帰分析によって各見易さ要素の寄与度を算出する。
画像表示装置１００は、市街地用の評価画像群および山間部用の評価画像群など、風景が異なる複数の評価画像群を記憶してもよい。
この場合、利用者は複数の風景のうちのいずれかの風景を選択し、寄与度算出部１７０は複数の評価画像群のうちの選択された風景用の評価画像群を使用する。
これにより、各見易さ要素の寄与度を使用地域（市街地または山間部など）に適した値に調整することができる。
この場合、利用者は複数の風景のうちのいずれかの風景を選択し、寄与度算出部１７０は複数の評価画像群のうちの選択された風景用の評価画像群を使用する。
これにより、各見易さ要素の寄与度を使用地域（市街地または山間部など）に適した値に調整することができる。
実施の形態３により、各見易さ要素の寄与度を利用者に適した値に調整することができる。さらに、管理者が各見易さ要素の寄与度を決定しなくてもよいため、管理者の負担を軽減することができる。
例えば、撮影画像２１０に重畳された付加情報の見易さは利用者の年齢によって異なる可能性がある。その場合、各見易さ要素の寄与度を利用者に適した値に調整することにより、利用者の年齢に関わらず、付加情報が見易い位置に重畳された撮影画像２１０を表示することができる。
例えば、撮影画像２１０に重畳された付加情報の見易さは利用者の年齢によって異なる可能性がある。その場合、各見易さ要素の寄与度を利用者に適した値に調整することにより、利用者の年齢に関わらず、付加情報が見易い位置に重畳された撮影画像２１０を表示することができる。
各実施の形態は、画像表示装置１００の形態の一例である。
つまり、画像表示装置１００は、各実施の形態で説明した構成要素の一部を備えなくても構わない。また、画像表示装置１００は、各実施の形態で説明していない構成要素を備えても構わない。さらに、画像表示装置１００は、各実施の形態の構成要素の一部または全てを組み合わせたものであっても構わない。
例えば、実施の形態３における画像表示装置１００の物体検出部１２０は、実施の形態２で説明した方法で物体を検出しても構わない。
つまり、画像表示装置１００は、各実施の形態で説明した構成要素の一部を備えなくても構わない。また、画像表示装置１００は、各実施の形態で説明していない構成要素を備えても構わない。さらに、画像表示装置１００は、各実施の形態の構成要素の一部または全てを組み合わせたものであっても構わない。
例えば、実施の形態３における画像表示装置１００の物体検出部１２０は、実施の形態２で説明した方法で物体を検出しても構わない。
各実施の形態においてフローチャート等を用いて説明した処理手順は、各実施の形態に係る方法およびプログラムの処理手順の一例である。つまり、各実施の形態に係る方法およびプログラムは、各実施の形態で説明した処理手順と一部異なる処理手順で実現されても構わない。
１００ 画像表示装置、１０１ 撮影画像データ、１０２ 付加画像データ、１０３ 重畳画像データ、１０４ 位置方位データ、１１０ 撮影画像取得部、１２０ 物体検出部、１３０ 付加情報取得部、１４０ 付加領域決定部、１４１ 評価値算出部、１４２ 起点画素選択部、１５０ 重畳画像表示部、１６０ 位置方位取得部、１７０ 寄与度算出部、１９０ データ記憶部、１９１ 物体特徴ファイル、１９２ 付加情報ファイル、１９３ 見易さ評価関数、１９４ 寄与度データ、１９５ 物体データベース、１９６ 評価画像データ、１９７ 評価ファイル、２０１ 付加情報、２０２ 候補画素、２０３ 画素領域、２０４ 物体領域、２１０ 撮影画像、２１１ 郵便局、２１２ 郵便マーク、２２０ 付加画像、２２１ 吹き出し、２２２ 吹き出し枠、２２３ 吹き出し線、２３０ 重畳画像、２４０ 評価画像、９０１ 演算装置、９０２ 補助記憶装置、９０３ 主記憶装置、９０４ 通信装置、９０５ 入出力装置、９０６ 撮影装置、９０７ 測位装置、９０８ 慣性計測装置、９０９ バス。
Claims (18)
- 物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択部と、
前記起点画素選択部によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示部とを備え、
前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域から特定領域を検出し、検出した前記特定領域が前記画素領域に占める割合に基づいて前記評価値を算出し、
前記特定領域は、空が映った空領域であり、
前記評価値は、前記空領域が前記画素領域に占める割合が高いほど前記付加情報が見易いことを意味する値である
ことを特徴とする付加情報表示装置。 - 物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択部と、
前記起点画素選択部によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示部とを備え、
前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域から特定領域を検出し、検出した前記特定領域が前記画素領域に占める割合に基づいて前記評価値を算出し、
前記特定領域は、道路が映った道路領域であり、
前記評価値は、前記道路領域が前記画素領域に占める割合が高いほど前記付加情報が見易いことを意味する値である
ことを特徴とする付加情報表示装置。 - 物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択部と、
前記起点画素選択部によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示部と、
前記付加情報の見易さを決定する複数の見易さ要素の各見易さ要素の寄与度を含む寄与度データを記憶するデータ記憶部と、
各見易さ要素の寄与度を算出する寄与度算出部とを備え、
前記評価値算出部は、前記複数の画素の画素毎に前記画素を起点とする前記画素領域の各画素値に基づいて各見易さ要素に関する評価値を算出し、各見易さ要素に関する評価値と前記寄与度データに含まれる各見易さ要素の寄与度とを用いて前記画素の前記評価値を算出し、
前記寄与度算出部は、付加情報が異なる位置に配置された複数の評価画像の評価画像毎に各見易さ要素に関する評価値を算出し、前記複数の評価画像を表示し、前記複数の評価画像の評価画像毎に前記付加情報の見易さを意味する評価結果値を取得し、前記複数の評価画像のそれぞれの評価結果値と各見易さ要素に関する評価値とに基づいて各見易さ要素の寄与度を算出する
ことを特徴とする付加情報表示装置。 - 前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域の平均の色値を算出し、前記付加情報に含まれる色情報に基づいて前記付加情報の平均の色値を算出し、前記付加情報の平均の色値と前記画素領域の平均の色値との差を前記複数の見易さ要素のうちの色要素に関する評価値として算出する
ことを特徴とする請求項３に記載の付加情報表示装置。 - 前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域に含まれるエッジの量を前記複数の見易さ要素のうちの複雑要素に関する評価値として算出する
ことを特徴とする請求項３に記載の付加情報表示装置。 - 前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域から空が映った空領域を検出し、検出した前記空領域が前記画素領域に占める割合を前記複数の見易さ要素のうちの空要素に関する評価値として算出する
ことを特徴とする請求項３に記載の付加情報表示装置。 - 前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域から道路が映った道路領域を検出し、検出した前記道路領域が前記画素領域に占める割合を前記複数の見易さ要素のうちの道路要素に関する評価値として算出する
ことを特徴とする請求項３に記載の付加情報表示装置。 - 物体が映った撮影画像から前記物体の少なくとも一部が映った物体領域を検出する物体領域検出部と、
前記撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域と前記物体領域検出部によって検出された前記物体領域とに基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択部と、
前記起点画素選択部によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示部と、
前記付加情報の見易さを決定する複数の見易さ要素の各見易さ要素の寄与度を含む寄与度データを記憶するデータ記憶部と、
各見易さ要素の寄与度を算出する寄与度算出部とを備え、
前記評価値算出部は、前記複数の画素の画素毎に前記画素を起点とする前記画素領域と前記物体領域とに基づいて各見易さ要素に関する評価値を算出し、各見易さ要素に関する評価値と前記寄与度データに含まれる各見易さ要素の寄与度とを用いて前記画素の前記評価値を算出し、
前記寄与度算出部は、付加情報が異なる位置に配置された複数の評価画像の評価画像毎に各見易さ要素に関する評価値を算出し、前記複数の評価画像を表示し、前記複数の評価画像の評価画像毎に前記付加情報の見易さを意味する評価結果値を取得し、前記複数の評価画像のそれぞれの評価結果値と各見易さ要素に関する評価値とに基づいて各見易さ要素の寄与度を算出する
ことを特徴とする付加情報表示装置。 - 前記評価値算出部は、前記画素領域が前記物体領域に重なる量を前記複数の見易さ要素のうちの物体領域重なり要素に関する評価値として算出する
ことを特徴とする請求項８に記載の付加情報表示装置。 - 前記評価値算出部は、前記画素領域と前記物体領域とに基づいて前記付加情報を囲む吹き出しの吹き出し線の長さを前記複数の見易さ要素のうちの吹き出し長さ要素に関する評価値として算出する
ことを特徴とする請求項８に記載の付加情報表示装置。 - 複数の物体が映った撮影画像のうちの前記複数の物体と同じ数の画素から成る複数の候補画素群の候補画素群毎に、前記候補画素群に含まれる複数の画素を起点とする複数の画素領域に前記複数の物体に関する複数の付加情報が重畳された場合の前記複数の付加情報の見易さを意味する評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各評価値に基づいて、前記複数の候補画素群からいずれかの候補画素群を複数の起点画素として選択する起点画素選択部と、
前記起点画素選択部によって選択された前記複数の起点画素を起点とする複数の画素領域に前記複数の付加情報を重畳する付加情報表示部と、
前記付加情報の見易さを決定する複数の見易さ要素の各見易さ要素の寄与度を含む寄与度データを記憶するデータ記憶部と、
各見易さ要素の寄与度を算出する寄与度算出部とを備え、
前記評価値算出部は、前記複数の候補画素群の候補画素群毎に前記候補画素群に含まれる複数の候補画素を起点とする複数の画素領域に基づいて各見易さ要素に関する評価値を算出し、各見易さ要素に関する評価値と前記寄与度データに含まれる各見易さ要素の寄与度とを用いて前記候補画素群の前記評価値を算出し、
前記寄与度算出部は、付加情報が異なる位置に配置された複数の評価画像の評価画像毎に各見易さ要素に関する評価値を算出し、前記複数の評価画像を表示し、前記複数の評価画像の評価画像毎に前記付加情報の見易さを意味する評価結果値を取得し、前記複数の評価画像のそれぞれの評価結果値と各見易さ要素に関する評価値とに基づいて各見易さ要素の寄与度を算出する
ことを特徴とする付加情報表示装置。 - 前記評価値算出部は、前記複数の画素領域が互いに重なる量を前記複数の見易さ要素のうちの付加領域重なり要素に関する評価値として算出する
ことを特徴とする請求項１１に記載の付加情報表示装置。 - 前記付加情報表示装置は、前記撮影画像から前記複数の物体の物体毎に前記物体の少なくとも一部が映った物体領域を検出する物体領域検出部を備え、
前記評価値算出部は、前記複数の画素領域と前記物体領域検出部によって検出された複数の物体領域とに基づいて前記複数の付加情報を囲む複数の吹き出しの各吹き出し線を算出し、各吹き出し線が交差する量を前記複数の見易さ要素のうちの吹き出し交差要素に関する評価値として算出する
ことを特徴とする請求項１１に記載の付加情報表示装置。 - 物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出処理と、
前記評価値算出処理によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択処理と、
前記起点画素選択処理によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示処理と
をコンピュータに実行させるための付加情報表示プログラムであって、
前記評価値算出処理は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域から特定領域を検出し、検出した前記特定領域が前記画素領域に占める割合に基づいて前記評価値を算出し、
前記特定領域は、空が映った空領域であり、
前記評価値は、前記空領域が前記画素領域に占める割合が高いほど前記付加情報が見易いことを意味する値である
ことを特徴とする付加情報表示プログラム。 - 物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出処理と、
前記評価値算出処理によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択処理と、
前記起点画素選択処理によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示処理と
をコンピュータに実行させるための付加情報表示プログラムであって、
前記評価値算出処理は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域から特定領域を検出し、検出した前記特定領域が前記画素領域に占める割合に基づいて前記評価値を算出し、
前記特定領域は、道路が映った道路領域であり、
前記評価値は、前記道路領域が前記画素領域に占める割合が高いほど前記付加情報が見易いことを意味する値である
ことを特徴とする付加情報表示プログラム。 - 物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出処理と、
前記評価値算出処理によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択処理と、
前記起点画素選択処理によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示処理と、
前記付加情報の見易さを決定する複数の見易さ要素の各見易さ要素の寄与度を算出する寄与度算出処理と
をコンピュータに実行させるための付加情報表示プログラムであって、
前記評価値算出処理は、前記複数の画素の画素毎に前記画素を起点とする前記画素領域の各画素値に基づいて各見易さ要素に関する評価値を算出し、各見易さ要素に関する評価値と寄与度データに含まれる各見易さ要素の寄与度とを用いて前記画素の前記評価値を算出し、
前記寄与度算出処理は、付加情報が異なる位置に配置された複数の評価画像の評価画像毎に各見易さ要素に関する評価値を算出し、前記複数の評価画像を表示し、前記複数の評価画像の評価画像毎に前記付加情報の見易さを意味する評価結果値を取得し、前記複数の評価画像のそれぞれの評価結果値と各見易さ要素に関する評価値とに基づいて各見易さ要素の寄与度を算出する
ことを特徴とする付加情報表示プログラム。 - 物体が映った撮影画像から前記物体の少なくとも一部が映った物体領域を検出する物体領域検出処理と、
前記撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域と前記物体領域検出処理によって検出された前記物体領域とに基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出処理と、
前記評価値算出処理によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択処理と、
前記起点画素選択処理によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示処理と、
各見易さ要素の寄与度を算出する寄与度算出処理と
をコンピュータに実行させるための付加情報表示プログラムであって、
前記評価値算出処理は、前記複数の画素の画素毎に前記画素を起点とする前記画素領域と前記物体領域とに基づいて各見易さ要素に関する評価値を算出し、各見易さ要素に関する評価値と寄与度データに含まれる各見易さ要素の寄与度とを用いて前記画素の前記評価値を算出し、
前記寄与度算出処理は、付加情報が異なる位置に配置された複数の評価画像の評価画像毎に各見易さ要素に関する評価値を算出し、前記複数の評価画像を表示し、前記複数の評価画像の評価画像毎に前記付加情報の見易さを意味する評価結果値を取得し、前記複数の評価画像のそれぞれの評価結果値と各見易さ要素に関する評価値とに基づいて各見易さ要素の寄与度を算出する
ことを特徴とする付加情報表示プログラム。 - 複数の物体が映った撮影画像のうちの前記複数の物体と同じ数の画素から成る複数の候補画素群の候補画素群毎に、前記候補画素群に含まれる複数の画素を起点とする複数の画素領域に前記複数の物体に関する複数の付加情報が重畳された場合の前記複数の付加情報の見易さを意味する評価値を算出する評価値算出処理と、
前記評価値算出処理によって算出された各評価値に基づいて、前記複数の候補画素群からいずれかの候補画素群を複数の起点画素として選択する起点画素選択処理と、
前記起点画素選択処理によって選択された前記複数の起点画素を起点とする複数の画素領域に前記複数の付加情報を重畳する付加情報表示処理と、
各見易さ要素の寄与度を算出する寄与度算出処理と
をコンピュータに実行させるための付加情報表示プログラムであって、
前記評価値算出処理は、前記複数の候補画素群の候補画素群毎に前記候補画素群に含まれる複数の候補画素を起点とする複数の画素領域に基づいて各見易さ要素に関する評価値を算出し、各見易さ要素に関する評価値と寄与度データに含まれる各見易さ要素の寄与度とを用いて前記候補画素群の前記評価値を算出し、
前記寄与度算出処理は、付加情報が異なる位置に配置された複数の評価画像の評価画像毎に各見易さ要素に関する評価値を算出し、前記複数の評価画像を表示し、前記複数の評価画像の評価画像毎に前記付加情報の見易さを意味する評価結果値を取得し、前記複数の評価画像のそれぞれの評価結果値と各見易さ要素に関する評価値とに基づいて各見易さ要素の寄与度を算出する
ことを特徴とする付加情報表示プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014010060A JP6334927B2 (ja) | 2014-01-23 | 2014-01-23 | 付加情報表示装置および付加情報表示プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014010060A JP6334927B2 (ja) | 2014-01-23 | 2014-01-23 | 付加情報表示装置および付加情報表示プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015138428A JP2015138428A (ja) | 2015-07-30 |
| JP6334927B2 true JP6334927B2 (ja) | 2018-05-30 |
Family
ID=53769370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014010060A Expired - Fee Related JP6334927B2 (ja) | 2014-01-23 | 2014-01-23 | 付加情報表示装置および付加情報表示プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6334927B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6468656B2 (ja) * | 2015-09-30 | 2019-02-13 | Kddi株式会社 | Ａｒ情報表示装置 |
| JP6673567B2 (ja) * | 2015-12-17 | 2020-03-25 | 株式会社デンソーテン | 情報表示装置、情報表示システム及び情報表示方法 |
| JP6175209B1 (ja) | 2016-03-08 | 2017-08-02 | 楽天株式会社 | 表示制御システム、表示制御方法及び表示制御プログラム |
| JP6601966B2 (ja) | 2016-09-16 | 2019-11-06 | 富士フイルム株式会社 | 背面画像候補決定装置、背面画像候補決定方法および背面画像候補決定プログラム |
| JP2018092299A (ja) * | 2016-12-01 | 2018-06-14 | Kddi株式会社 | 操作支援装置 |
| JP6696925B2 (ja) * | 2017-03-16 | 2020-05-20 | Kddi株式会社 | 操作支援装置 |
| KR102216697B1 (ko) * | 2020-02-28 | 2021-02-17 | 주식회사 루닛 | 의료 영상 장치 및 의료 영상 처리 방법 |
| JP7387545B2 (ja) * | 2020-07-01 | 2023-11-28 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報設定制御装置、方法およびプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4915020B2 (ja) * | 2008-07-30 | 2012-04-11 | ヤフー株式会社 | 地図の注記レイアウト装置、および地図の注記レイアウト装置の制御方法 |
| JP5343676B2 (ja) * | 2009-04-08 | 2013-11-13 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
| US9489361B2 (en) * | 2012-04-27 | 2016-11-08 | Rakuten, Inc. | Image processing device, image processing device control method, program, and information storage medium |
-
2014
- 2014-01-23 JP JP2014010060A patent/JP6334927B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015138428A (ja) | 2015-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6334927B2 (ja) | 付加情報表示装置および付加情報表示プログラム | |
| US11393173B2 (en) | Mobile augmented reality system | |
| CN109978755B (zh) | 全景图像合成方法、装置、设备与存储介质 | |
| JP5799521B2 (ja) | 情報処理装置、オーサリング方法及びプログラム | |
| CN109029444B (zh) | 一种基于图像匹配和空间定位的室内导航系统及导航方法 | |
| US20100171757A1 (en) | Referencing a map to the coordinate space of a positioning system | |
| JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
| JP5279875B2 (ja) | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム | |
| US8487926B2 (en) | Method and apparatus for generating 3D image using 2D photograph images | |
| JP6716996B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
| JP6491517B2 (ja) | 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置 | |
| JP6464938B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| JP2010510559A5 (ja) | ||
| US8170784B2 (en) | Method and apparatus for moving content to mobile devices | |
| JP6017343B2 (ja) | データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム | |
| JP4521568B2 (ja) | 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
| JP2011112364A (ja) | 地図情報処理装置、地図情報処理方法およびプログラム | |
| US9811889B2 (en) | Method, apparatus and computer program product for generating unobstructed object views | |
| Wang et al. | Positionit: an image-based remote target localization system on smartphones | |
| JP2008203991A (ja) | 画像処理装置 | |
| CN116363185B (zh) | 地理配准方法、装置、电子设备和可读存储介质 | |
| Jung et al. | Data driven alignment of 3D building models and digital aerial images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6334927 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |