JP5169928B2 - Exhibit information providing system, method, program, recording medium - Google Patents
Exhibit information providing system, method, program, recording medium Download PDFInfo
- Publication number
- JP5169928B2 JP5169928B2 JP2009068410A JP2009068410A JP5169928B2 JP 5169928 B2 JP5169928 B2 JP 5169928B2 JP 2009068410 A JP2009068410 A JP 2009068410A JP 2009068410 A JP2009068410 A JP 2009068410A JP 5169928 B2 JP5169928 B2 JP 5169928B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- exhibit
- laser
- graphic
- aiming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000007726 management method Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 3
- 230000001747 exhibiting effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、レーザーポインターを用いて展示物の情報を提供するシステム、方法、プログラム、記録媒体に関するものである。
本発明は特に、レーザーポインター利用者の属性に合わせて展示物の情報を提供する場合に有用である。
The present invention relates to a system, method, program, and recording medium for providing information on exhibits using a laser pointer.
The present invention is particularly useful when providing information on exhibits in accordance with the attributes of laser pointer users.
現代の企業活動においては、商品が氾濫する市場の中から、自社の商品を選択してもらうために、商品情報を、多様な顧客に対して適切に提供することが益々重要となっている。
たとえば、展示会やイベント会場・ショールームに集まった利用者に対して、展示された実物商品を使って、訴求力のあるプレゼンテーションが行なわれている。
このプレゼンテーションでは、説明者がレーザーポインターを使用する機会が多い。
そこで、レーザーポインターの使い方とその問題点を説明する。
《 A.レーザーポインターによるプレゼンテーション画面制御》
説明者がプレゼンテーション画面にレーザーポインターの光で照準を定めることで、顧客の注意を喚起して、説明する内容を明確に伝えることができる。
たとえば、特許文献1では、投影スクリーン上の画面に対して、レーザーポインターの光で指示することによって、画面の切り替えや、線の描画や、画面の部分拡大などのプレゼンテーション画面を操作する技術が開示されている。
《 B.レーザーポインターによる機器制御 》
あるいは、レーザーポインターの光で照準を定めたものをカメラ撮影して、画像認識することで、撮影した機器を制御することができる。
たとえば、特許文献2では、カメラ2を有するポインティング装置1(=レーザーポインター)を用いて、レーザー光で照準を定めた部屋の機器(たとえば、調光スイッチD1)をカメラ2で撮影して画像を生成して、画像分析ユニット6がこの撮影画像を分析して、調光スイッチD1を視認すると、制御信号生成ユニット7が調光スイッチD1に関連付けられた機器(たとえば、ランプB1)をON/OFFする技術が開示されている。
In modern corporate activities, it is becoming increasingly important to appropriately provide product information to a variety of customers in order to have their products selected from a market in which products are inundated.
For example, appealing presentations are given to users gathered at exhibitions, event venues and showrooms using the actual products displayed.
In this presentation, there are many opportunities for explainers to use laser pointers.
So, how to use the laser pointer and its problems are explained.
<< A. Controlling the presentation screen with a laser pointer >>
By explaining the aim of the presenter to the presentation screen with the laser pointer light, it is possible to call the customer's attention and clearly communicate the contents to be explained.
For example,
<< B. Device control with laser pointer》
Alternatively, the photographed device can be controlled by photographing a camera that is aimed at the laser pointer light and recognizing the image.
For example, in
しかしながら、特許文献1の技術では、説明者の代わりに利用者がレーザーポインターを操作して、情報を入手しようとすると、レーザーポインターの動かし方に習熟しなければならず、簡単ですくに利用できる技術ではない。
また、特許文献2の技術では、カメラを備えたレーザーポインターを使用しなければならず、高価なものとなる。
あるいは、特許文献1や特許文献2の技術では、複数のレーザーポインターが同時に使用された時に、それぞれのレーザー光を識別することができない。
However, in the technique of
In the technique of
Alternatively, in the techniques of
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、レーザーポインターを操作する複数の利用者に、それぞれの利用者の知りたい情報を容易に提供することができるシステム、方法、プログラム、記録媒体を提供することである。
The present invention has been made to solve the above-described problems, and an object of the present invention is to easily provide information desired by each user to a plurality of users operating the laser pointer. It is to provide a system, a method, a program, and a recording medium.
本発明は、以下の各発明に記載の手段により、前記課題を解決する。
すなわち、本願発明の第1の発明は、
レーザーポインターと、情報管理装置と、から構成される展示物情報提供システムにおいて、
前記レーザーポインターは、
展示物の部位に照準を定めて、レーザー図形を形成させるものであって
前記情報管理装置は、
撮影画像データを格納する撮影画像格納領域と、
レーザー図形を認識するために参照される図形認識用データを格納する図形認識用データ格納領域と、
図形属性情報と、展示物の部位を説明した情報と、照準エリア情報とを関連付けた展示物情報を格納する展示物情報格納領域と、
を備える記憶手段と、
撮影画像や展示物の部位を説明した情報を表示する表示手段と、
レーザー図形が形成された展示物を撮影して撮影画像データを生成する撮像手段と、
撮像手段が生成した撮影画像データを展示物画像として撮影画像格納領域に格納する画像取得手段と、
撮影画像データを、図形認識用データと照合して、レーザー図形を認識して、そのレーザー図形の属性情報を作成する図形認識手段と、
レーザー図形の撮影画像上の照準座標を算出する図形座標算出手段と、
照準座標と図形属性情報とを手掛りにして、展示物情報から、レーザー図形に関連付けられる展示物部位の説明情報を読み取る提供情報取得手段と、
展示物の部位を説明した情報を展示物画像に重畳させて表示手段に表示させる提供情報表示手段と、
を備える管理装置である、
ことを特徴とする展示物情報提供システム
である。
The present invention solves the above problems by means described in the following inventions.
That is, the first invention of the present invention is:
In the exhibit information provision system consisting of a laser pointer and an information management device,
The laser pointer is
Aiming at the part of the exhibit and forming a laser figure, the information management device
A captured image storage area for storing captured image data;
A graphic recognition data storage area for storing graphic recognition data referred to for recognizing a laser graphic;
An exhibit information storage area for storing exhibit information that associates graphic attribute information, information that describes the part of the exhibit, and aiming area information;
Storage means comprising:
Display means for displaying information describing the imaged image and the part of the exhibit;
Imaging means for photographing the exhibit on which the laser figure is formed and generating photographed image data;
Image acquisition means for storing captured image data generated by the imaging means as an exhibit image in a captured image storage area;
A figure recognition unit that compares captured image data with data for figure recognition, recognizes a laser figure, and creates attribute information of the laser figure;
Graphic coordinate calculation means for calculating the aiming coordinates on the captured image of the laser graphic;
Provided information acquisition means for reading the explanation information of the exhibit part associated with the laser graphic from the exhibit information, using the aiming coordinates and the graphic attribute information as clues,
Provided information display means for superimposing information describing the part of the exhibit on the display image and displaying it on the display means;
A management device comprising:
This is an exhibit information providing system characterized by this.
このように、レーザーポインターのレーザー図形を用いて、展示物の所望の部位に照準を定めると、展示物の部位を説明した情報の中から、レーザー図形の属性情報に対応付けられた展示物の部位を説明した情報を読み取って表示することが可能である。
なお、図形属性情報を利用者属性(たとえば、20代・女性・会社員など)に関連付けることで、利用者属性に応じた展示物の部位を説明した情報を表示することが可能である。
In this way, when aiming at a desired part of the exhibit using the laser figure of the laser pointer, the information on the exhibit associated with the attribute information of the laser figure is extracted from the information describing the part of the exhibit. It is possible to read and display information describing the part.
In addition, it is possible to display the information explaining the part of the exhibit according to the user attribute by associating the graphic attribute information with the user attribute (for example, 20's, female, office worker, etc.).
本願発明の第2の発明は、
第1の発明の展示物情報提供システムであって、
請求項1に記載の展示物情報提供システムであって、
前記情報管理装置において、
前記図形属性情報は、認識したレーザー図形の色と形状の情報とを含む属性情報である、
ことを特徴とする展示物情報提供システムである。
The second invention of the present invention is:
The exhibit information providing system of the first invention,
The exhibit information providing system according to
In the information management apparatus,
The graphic attribute information is attribute information including color and shape information of the recognized laser graphic,
This is an exhibit information providing system characterized by this.
本願発明の第3の発明は、
レーザー図形を認識する図形認識用データと、
図形属性情報と、展示物の部位を説明した情報と、照準エリア情報に関連付けた展示物情報と、
を用いる展示物情報提供方法において、
利用者がレーザーポインターを展示物の部位に照準を定めて、レーザー図形を形成させる照準ステップと、
レーザー図形が形成された展示物を撮影して撮影画像データを生成して展示物画像する撮影画像生成ステップと、
撮影画像データを、図形認識用データと照合して、レーザー図形を認識して、そのレーザー図形の属性情報を作成する図形認識ステップと、
認識したレーザー図形の撮影画像上の照準座標を算出する図形座標算出ステップと、
照準座標と図形属性情報とを手掛りにして、展示物情報から、レーザー図形に関連付けられる展示物の部位を説明した情報を読み取る提供情報取得ステップと、
展示物の部位を説明した情報を展示物画像に重畳させて表示させる提供情報表示ステップと、
を含んだ手順でなされることを特徴とする展示物情報提供方法である。
The third invention of the present invention is:
Figure recognition data for recognizing laser figures,
Graphic attribute information, information describing the part of the exhibit, exhibit information associated with the aiming area information,
In the exhibit information providing method using
An aiming step in which the user aims the laser pointer at the part of the exhibit and forms a laser figure;
A photographed image generation step of photographing an exhibit on which a laser figure is formed to generate photographed image data and exhibiting the exhibit,
A figure recognition step for collating photographed image data with figure recognition data, recognizing a laser figure, and creating attribute information of the laser figure,
A figure coordinate calculation step for calculating the aiming coordinates on the captured image of the recognized laser figure,
A provision information acquisition step of reading information describing the part of the exhibit associated with the laser graphic from the exhibit information, using the aiming coordinates and the graphic attribute information as a clue,
A provided information display step for displaying information describing the part of the exhibit superimposed on the exhibit image;
This is an exhibit information providing method characterized in that it is performed by a procedure including
本願発明の第4の発明は、
第3の発明の展示物情報提供方法であって、
前記図形属性情報は、認識したレーザー図形の色と形状の情報とを含む属性情報である、
ことを特徴とする展示物情報提供方法である。
The fourth invention of the present invention is:
A method for providing exhibit information according to a third invention,
The graphic attribute information is attribute information including color and shape information of the recognized laser graphic,
This is a method for providing exhibit information.
本願発明の第5の発明は、コンピュータに組込むことによって、コンピュータを第1の発明または第2の発明の展示物情報提供システムとして動作させるコンピュータプログラムである。 A fifth invention of the present invention is a computer program that, when incorporated in a computer, causes the computer to operate as the exhibit information providing system of the first invention or the second invention.
本願発明の第6の発明は、第5の発明のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
A sixth invention of the present invention is a computer-readable recording medium on which the computer program of the fifth invention is recorded.
本願発明によれば、
(1)レーザーポインターの利用者がレーザー図形で照準を定めた展示物の部位の説明情報を、容易に提供することが可能である。
(2)レーザー図形の相違を認識することによって、複数のレーザーポインターを区別することが可能である。
従って、本発明によれば、レーザーポインターを利用して展示物の情報を入手したい複数の利用者に対して、それぞれの利用者にかなった展示物の情報を、容易に提供できるという効果がある。
According to the present invention,
(1) It is possible to easily provide the explanation information of the part of the exhibit that the laser pointer user aimed at with the laser graphic.
(2) It is possible to distinguish a plurality of laser pointers by recognizing the difference between laser figures.
Therefore, according to the present invention, there is an effect that it is possible to easily provide information on an exhibit suitable for each user to a plurality of users who want to obtain information on the exhibit using a laser pointer. .
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。 Hereinafter, embodiments of the present invention will be described in more detail with reference to the drawings.
図1は、本発明の実施の形態による展示物情報提供システム1の概要を説明する図である。
展示物情報提供システム1は、情報管理装置100と、レーザーポインター300と、から構成される。
FIG. 1 is a diagram illustrating an overview of an exhibit
The exhibit
情報管理装置100は、電子カメラ200と情報表示装置500とを備える。
情報管理装置100は、既存の画像認識プログラムを備えたパーソナルコンピューターに、後述する専用プログラムを搭載したものである。
電子カメラ200は、撮影により、色情報(たとえば、RGB値)を有するカラーの撮影画像を生成する。
The
The
The
レーザーポインター300は、赤色、緑色などの2,3種類の色の中のいずれか1つの色のレーザー光を照射する。レーザーポインター300は、レーザー光により描画形成されるレーザー図形を展示物900に照射することで、展示物900の特定したい箇所に照準を定めることが可能である。
The
図2は展示物情報提供システム1の大まかな作業手順を説明する。
《 A.レーザー光による照準 》
ショールームの案内者は、ショールームの利用者(=顧客)に、利用者属性に対応したレーザー図形を照射するレーザーポインター300を渡す(図2(1))。
利用者は、レーザーポインター300を用いて、展示物900の説明情報が欲しい箇所(=部位)にレーザー図形を照射して、照準を定める(同(2))。
情報管理装置100のカメラ200は、レーザー図形が照射された展示物900を撮影して、展示物の撮影画像を生成する(同(3))。
FIG. 2 explains a rough work procedure of the exhibit
<< A. Sighting with laser light
The showroom guide gives the
The user uses the
The
《 B.利用者にかなった説明情報の表示 》
情報管理装置100は、展示物の撮影画像からレーザー図形を図形認識して、レーザー図形の属性(たとえば、図形の色や図形の形状など)と、レーザー図形が照準を定める位置の座標(=照準座標)を算出する(同(4))。
情報管理装置100は、レーザー図形の属性と照準座標の情報を用いて、展示物情報の中から、レーザー図形により照準された展示物の部位を説明した情報のうち、レーザー図形に対応した説明情報(すなわち、利用者属性に対応した説明情報)を抽出して表示装置500に表示する(同(5))。
<< B. Displaying explanatory information that suits the user
The
The
ここで、図11を用いて、レーザー図形と利用者属性の対応付けを説明する。
図11の(a)は、レーザー図形と利用者属性を対応付ける情報193の形式を説明する図である。レーザー図形と利用者属性を対応付ける情報193は、レーザー図形の属性情報1931と、利用者属性情報1932とを対応付ける。
レーザー図形属性情報1931は、レーザー図形の色や形状などを表す文字列情報である。(詳細は後述する)
利用者属性情報1932は、レーザーポインターを利用する利用者の職業や年代や性別などを表す文字列である。
Here, the correspondence between the laser figure and the user attribute will be described with reference to FIG.
(A) of FIG. 11 is a figure explaining the format of the
The laser graphic attribute information 1931 is character string information representing the color and shape of the laser graphic. (Details will be described later)
The user attribute information 1932 is a character string representing the occupation, age, gender, etc. of the user who uses the laser pointer.
図11の(b)には、レーザー図形と利用者属性の対応付けが例示されている。
たとえば、レーザー図形と利用者属性の対応付けとして、「((赤、矢印)、(会社員、20代、女性)」の例が示されている。
この例の意味は、レーザー図形の色が「赤」で、形状が「矢印」であれば、利用者属性は、職業が「会社員」で、年代が「20代」で性別が「女性」であるということである。
FIG. 11B illustrates the correspondence between laser graphics and user attributes.
For example, an example of “((red, arrow), (company employee, twenties, woman)” is shown as a correspondence between a laser figure and a user attribute.
The meaning of this example is that if the color of the laser figure is “red” and the shape is “arrow”, the user attributes are “company employee”, age “20s” and gender “female”. It is that.
また、レーザー図形と利用者属性の対応付けとして、「(緑、円)、(会社員、40代、男性)」の例が示されている。
この例の意味は、レーザー図形の色が「緑」で、形状が「円」であれば、利用者属性は、職業が「会社員」で、年代が「40代」で性別が「男性」であるということである。
In addition, examples of “(green, circle), (company employee, 40s, male)” are shown as the correspondence between the laser figure and the user attribute.
In this example, if the color of the laser figure is “green” and the shape is “circle”, the user attribute is “company employee”, the age is “40s”, and the gender is “male”. It is that.
図3は、撮影画像291を説明する図である。
図3には、撮影画像291が例示されている。例示されている撮影画像291は、展示物900と、展示物に照射されたレーザー図形293が撮影されている。
なお、撮影画像の原点2911は、たとえば、左上隅である。
FIG. 3 is a diagram for explaining the captured
FIG. 3 illustrates a captured
Note that the
図4は、レーザー図形の属性情報191を説明する図である。
図4の(a)は、図形属性情報191の形式を説明する図である。
図形属性情報191は、色と形状とから構成される。
色は、レーザー図形を描画形成するレーザー光の色を表現する文字列である。
形状は、レーザー図形の形状などを表現する文字列である。
FIG. 4 is a diagram for explaining the attribute information 191 of the laser graphic.
FIG. 4A is a diagram for explaining the format of the graphic attribute information 191.
The graphic attribute information 191 includes a color and a shape.
The color is a character string that represents the color of the laser beam that draws and forms a laser figure.
The shape is a character string that represents the shape of a laser figure.
図4の(b)には、図形属性情報191が例示されている。
たとえば、図形属性情報191として、「(赤、矢印)」の例が示されている。この例の意味は、レーザー図形を描画形成するレーザー光の色が「赤」で、レーザー図形の形状が「矢印」であるということである。
FIG. 4B illustrates graphic attribute information 191.
For example, as the graphic attribute information 191, an example of “(red, arrow)” is shown. The meaning of this example is that the color of the laser beam for drawing and forming the laser figure is “red” and the shape of the laser figure is “arrow”.
また、図形属性情報191として、「(緑、円)」の例が示されている。この例の意味は、レーザー図形を描画形成するレーザー光の色が「緑」で、レーザー図形の形状が「円」であるということである。 In addition, as the graphic attribute information 191, an example of “(green, circle)” is shown. The meaning of this example is that the color of the laser beam for drawing and forming the laser figure is “green” and the shape of the laser figure is “circle”.
図5は、展示物の部位を説明した情報を表示する画面の例である。
説明情報の表示画面には、レーザー図形593が展示物591に照射された撮影画像291に、説明情報595が重畳されて表示された例が示されている。
説明情報595は、展示物の部位を説明した情報であるので、説明情報595と展示物の部位との関連が目視して判るように、噴出し図形を用いる。
説明情報595「人気の色は、オレンジです。」は、噴出し図形によって、展示物に照射して照準を定めたレーザー図形593「(矢印の図形)」と関連が判るように、表示されている。
なお、この説明情報595は、利用者属性に対応した説明情報である。
FIG. 5 is an example of a screen that displays information describing the part of the exhibit.
On the display screen of the explanation information, an example is shown in which the explanation information 595 is superimposed on the captured
Since the explanation information 595 is information explaining the part of the exhibit, an ejection figure is used so that the relation between the explanation information 595 and the part of the exhibit can be visually confirmed.
The explanation information 595 “Popular color is orange” is displayed in an ejected figure so that it can be related to the laser figure 593 “(arrow figure)” that illuminates the exhibition and aimed. Yes.
The explanation information 595 is explanation information corresponding to the user attribute.
図6は、情報管理装置100の詳細な構成図である。
情報管理装置100は、CPU101と、カメラ接続部103と、電子カメラ200と、表示装置接続部104と、情報表示装置500と、記憶部109と、専用プログラムとを備える。
CPU101と、カメラ接続部103と、表示装置接続部104と、記憶部109とは、BUS199で接続される。
FIG. 6 is a detailed configuration diagram of the
The
The CPU 101, the
CPU101は、中央演算装置である。
カメラ接続部103は、USB(Universal Serial Bus)やLANアダプターである。カメラ接続部103は、電子カメラ200を接続する。
表示装置接続部104は、ディスプレーアダプターである。表示装置接続部104は、情報表示装置500(たとえば、液晶表示装置や有機EL表示装置など)を接続する。
The CPU 101 is a central processing unit.
The
The display
記憶部109は、半導体メモリーや磁気メモリーである。
記憶部109(記憶手段)は、撮影画像格納領域091と、辞書格納領域092と、展示物情報格納領域093と、を備えて、専用プログラムとを記憶する。
The
The storage unit 109 (storage means) includes a captured
撮影画像格納領域091は、撮影画像データ291を格納する。
図形認識用データ格納領域092は、レーザー図形の色を認識するために参照される色データ193と、レーザー図形の形状を認識するために参照される形状データ194とを含んで構成される図形認識用データを格納する。
色データ193は、RGB値の比率を含む標準色データと色情報とを対応付けたデータである。形状データ194は、標準形状データと形状情報とを対応付けたデータである。
展示物情報格納領域093は、図形属性情報と展示物の部位を説明した情報とを対応付けた対応情報を、照準エリア情報に関連付けた展示物情報を格納する。
なお、図形属性情報は、図形の色と形状とを含む情報である。
The captured
The graphic recognition
The
The exhibit
The graphic attribute information is information including the color and shape of the graphic.
このほかに、画像取得手段110と、図形認識手段120と、図形座標算出手段130と、提供情報取得手段140と、提供情報表示手段150と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがCPU101に解釈・実行されることによって機能する。 In addition, the image acquisition means 110, the figure recognition means 120, the figure coordinate calculation means 130, the provision information acquisition means 140, and the provision information display means 150 are provided. Each of these means is realized by each dedicated program and functions by the CPU 101 interpreting and executing the dedicated program.
電子カメラ200(撮像手段)は、レーザーポインターによってレーザー図形が形成された展示物を撮影して、色情報(=RGB値)を有する撮影画像データ291を生成する。
画像取得手段110は、電子カメラ200が生成した撮影画像データ291を撮影画像格納領域に格納する。
The electronic camera 200 (imaging means) captures an exhibit on which a laser figure is formed by a laser pointer, and generates captured
The
図形認識手段120は、撮影画像データ291を用いて、色データ193と形状データ194を参照して、レーザー図形を認識して、認識したレーザー図形の色情報と形状情報とを含む図形属性情報を作成する。
The figure recognizing means 120 recognizes the laser figure by using the photographed
図形認識手段120は、レーザー図形抽出機能と、形状認識機能と、色認識機能と、を含んで構成される。
レーザー図形抽出機能は、撮影画像データ291のRGBの各最高値の相加平均の二分の一の値を所定の閾値に設定して、所定の閾値を用いて撮影画像データを2値化して、2値化した図形画像を外接矩形で切出して、レーザー図形データとする。
形状認識機能は、レーザー図形データを図形ベクトルデータに変換(詳細は後述する)して、この図形ベクトルデータから方向コード列(チェーンコード)を算出して、方向コード列と形状データ194の標準形状データとを公知のDP(Dynamic Programming)マッチング法により比較して類似度を算出して、類似度が最も高い標準形状データに対応付けられた形状情報(たとえば、形状を表現する文字列)を読み取る。
The figure recognizing means 120 includes a laser figure extraction function, a shape recognition function, and a color recognition function.
The laser figure extraction function sets a half value of the arithmetic mean of the RGB maximum values of the photographed
The shape recognition function converts laser graphic data into graphic vector data (details will be described later), calculates a direction code string (chain code) from the graphic vector data, and generates a standard shape of the direction code string and the
ここで、レーザー図形データを図形ベクトルデータに変換するアルゴリズム(=ラスターベクター変換アルゴリズム)について説明する。ラスターベクター変換アルゴリズムは、ラスター画像を所定の閾値を用いて2値化処理した後に、2値化画像の境界領域を切断しないように削除して細らせて細線化処理し、細線化された画像から端点などの特徴点と、鋭く曲がる角点を抽出して、この特徴点と角点を接続した線分を作成して、ベクトルデータとする。
ラスターベクター変換アルゴリズムの詳細は、たとえば、非特許文献1−酒井幸市著、「画像処理とパターン認識入門」、森北出版株式会社、2006年12月20日第1版、p.191−204(11.2 ラスタベクトル変換による図形認識)−に記載されている。
Here, an algorithm for converting laser graphic data into graphic vector data (= raster vector conversion algorithm) will be described. In the raster vector conversion algorithm, a raster image is binarized using a predetermined threshold, and then the boundary region of the binarized image is deleted and thinned so as not to cut, and the thinned image is thinned. Feature points such as end points and corner points that turn sharply are extracted from the image, and a line segment connecting the feature points and the corner points is created and used as vector data.
Details of the raster vector conversion algorithm are described in, for example, Non-Patent Document 1-Yukiichi Sakai, “Introduction to Image Processing and Pattern Recognition”, Morikita Publishing Co., Ltd., December 20, 2006, first edition, p. 191-204 (11.2 Graphic Recognition by Raster Vector Conversion).
色認識機能は、形状を認識したレーザー図形画像の色情報(RGB値)を用いてRGB値の比率を算出して、色データ193の標準色データと比較して、算出した比率に最も近い比率を有する標準色データを抽出して、この標準色データに対応する色情報(たとえば、色を表現する文字列)を読み出す。
The color recognition function calculates a ratio of RGB values using color information (RGB values) of a laser figure image whose shape has been recognized, and compares it with the standard color data of the
図形座標算出手段130は、図形認識手段120が認識したレーザー図形の撮影画像上の位置座標を照準座標として算出する。
提供情報取得手段140は、照準座標と、図形属性情報と、を手掛りにして、展示物情報を参照して、照準座標を包含する照準エリア情報に関連付けられた対応情報の中から、一致する図形属性情報に対応付けられた展示物の部位を説明した情報を読み取る。
提供情報表示手段150は、展示物の部位を説明した情報を、撮影画像により形成された展示物画像の照準座標の位置に関連付けて重畳させて情報表示装置500(表示手段)に表示させる。
The figure coordinate calculation means 130 calculates the position coordinates on the captured image of the laser figure recognized by the figure recognition means 120 as the aiming coordinates.
The provided information acquisition means 140 uses the aiming coordinates and the figure attribute information as a clue, refers to the exhibit information, and matches the corresponding figure from the correspondence information associated with the aiming area information including the aiming coordinates. Read information describing the part of the exhibit associated with the attribute information.
The provided information display means 150 superimposes the information describing the part of the exhibit in association with the position of the aiming coordinates of the exhibit image formed by the photographed image and displays the information on the information display device 500 (display means).
図7は、撮影画像の照準エリアを説明する図である。
照準エリア295は、撮影された展示物の部位の範囲を定める領域である。照準エリア295は、たとえば、矩形であり、互いに重なることはない。なお、照準エリア295の形は、矩形に限定されず、円形や三角形などの幾何学図形である。
FIG. 7 is a diagram for explaining the aiming area of the captured image.
The aiming
図8は、展示物情報195を説明する図である。
図8の(a)は、展示物情報195の形式を説明する図である。
展示物情報195は、照準エリア情報1951と、図形属性情報1952と、展示物の部位を説明した情報1953とから構成される。
照準エリア情報1951は、座標値の範囲を表す情報である。
図形属性情報1952は、レーザー図形の色や形状などを表現する文字列である。
展示物の部位を説明した情報1953は、部位を説明した文字列である。
FIG. 8 is a diagram for explaining the
(A) of FIG. 8 is a figure explaining the format of the
The
The aiming
The
図8の(b)には、展示物情報195が例示されている。
たとえば、展示物情報195として、「(X1、Y1 ) 〜(X2、Y2 )、赤、矢印、人気の色は、オレンジです。」の例が示されている。
この例の意味は、レーザー図形の照準座標が、照準エリア情報1951「(X1、Y1 ) 〜(X2、Y2 )」に含まれる時に、レーザー図形の属性情報1952が、レーザー光の色が「赤」で、形状が「矢印」であれば、展示物の部位を説明した情報1953は、「人気の色は、オレンジです。」であるということである。
For example, as the
In this example, when the aiming coordinates of the laser figure are included in the aiming
次に、図9を用いて、レーザー図形を認識する処理とレーザー図形の照準座標を算出する処理の詳細な流れを説明する。
《B−1.レーザー図形の形状を認識する処理》
図形認識手段120のレーザー図形抽出機能は、撮影画像291を所定の閾値で2値化して、図形画像を外接する矩形で切出して、レーザー図形画像データ293a/293bとする(図9(4−1))。
図形認識手段120は、レーザー図形画像データ293a/293bを用いて、色情報と形状情報とを含む図形属性情報を作成する(同(4−2))。
詳細には、図形認識手段120の形状認識機能は、切出したレーザー図形画像データ293a/293bに対して、形状データ194を適用して、レーザー図形の形状を認識して、形状情報(たとえば、形状を表現する文字列)を読み出す。
次に、図形認識手段120の色認識機能は、形状を認識したレーザー図形画像の色情報に対して、図形認識用データの色データ193を適用して、レーザー図形の色を認識して、色情報(たとえば、色を表現する文字列)を読み出す。
なお、図形属性の形状情報と色情報を読み出すときに、形状認識機能と色認識機能とを実行する順序は、どちらを最初に実行しても良い。
Next, a detailed flow of the process of recognizing a laser graphic and the process of calculating the aiming coordinates of the laser graphic will be described with reference to FIG.
<< B-1. Processing to recognize the shape of a laser figure >>
The laser figure extraction function of the figure recognition means 120 binarizes the photographed
The graphic recognition means 120 creates graphic attribute information including color information and shape information using the laser
Specifically, the shape recognition function of the figure recognition means 120 applies
Next, the color recognition function of the figure recognizing means 120 recognizes the color of the laser figure by applying the
Note that when reading the shape information and color information of the graphic attribute, whichever of the order of executing the shape recognition function and the color recognition function may be executed first.
《B−2.レーザー図形の照準座標を算出する処理》
図形座標算出手段130は、図形認識手段120が認識したレーザー図形の撮影画像上の座標を照準座標として算出する(同(4−3))。
<< B-2. Processing to calculate the aiming coordinates of the laser figure >>
The figure coordinate calculation means 130 calculates the coordinates on the captured image of the laser figure recognized by the figure recognition means 120 as the aiming coordinates ((4-3)).
図10は、展示物900と、レーザーポインター300との距離を説明する図である。
レーザーポインターで使用されるレーザー光は、目に入った時の安全性への配慮から、明るさに制限が設けられていて、電子カメラ200が画像認識できるレーザー図形としての到達距離は、概ね5mである。
FIG. 10 is a diagram for explaining the distance between the
The laser light used in the laser pointer is limited in brightness from the viewpoint of safety when entering the eyes, and the reach as a laser figure that can be recognized by the
説明情報の表示画面500における展示物画像として、撮影画像291の代わりにCG画像を用いる例を説明する。
CG画像は、展示物をデジタルペイントにて描いて作成したビットマップデータや、CADデータなどからレンダリング生成した二次元画像や3次元画像である。このCG画像は、情報管理装置100の記憶部109に記憶させる。このとき、情報管理装置100の提供情報表示手段150は、展示物のCG画像により形成された展示物画像に対して、展示物の部位を説明した情報を、照準座標の位置に重畳させて、表示手段500に表示する。
An example in which a CG image is used instead of the photographed
The CG image is a two-dimensional image or a three-dimensional image generated by rendering from bitmap data created by drawing an exhibit with digital paint, CAD data, or the like. This CG image is stored in the
1 展示物情報提供システム
100 情報管理装置
110 画像取得手段
120 図形認識手段
130 図形座標算出手段
140 提供情報取得手段
150 提供情報表示手段
190 記憶部、記憶手段
191 レーザー図形の属性情報、図形属性情報
193 レーザー図形と利用者属性を対応付ける情報
195 展示物情報
200 電子カメラ、撮像手段
291 撮影画像
300 レーザーポインター
500 情報表示装置、表示手段
591 表示画面の展示物
593 表示画面のレーザー図形
595 表示画面の説明情報
900 展示物
DESCRIPTION OF
Claims (6)
前記レーザーポインターは、
展示物の部位に照準を定めて、レーザー図形を形成させるものであって
前記情報管理装置は、
撮影画像データを格納する撮影画像格納領域と、
レーザー図形を認識するために参照される図形認識用データを格納する図形認識用データ格納領域と、
図形属性情報と、展示物の部位を説明した情報と、照準エリア情報とを関連付けた展示物情報を格納する展示物情報格納領域と、
を備える記憶手段と、
撮影画像や展示物の部位を説明した情報を表示する表示手段と、
レーザー図形が形成された展示物を撮影して撮影画像データを生成する撮像手段と、
撮像手段が生成した撮影画像データを展示物画像として撮影画像格納領域に格納する画像取得手段と、
撮影画像データを、図形認識用データと照合して、レーザー図形を認識して、そのレーザー図形の属性情報を作成する図形認識手段と、
レーザー図形の撮影画像上の照準座標を算出する図形座標算出手段と、
照準座標と図形属性情報とを手掛りにして、展示物情報から、レーザー図形に関連付けられる展示物部位の説明情報を読み取る提供情報取得手段と、
展示物部位の説明情報を展示物画像に重畳させて表示手段に表示させる提供情報表示手段と、
を備える管理装置である、
ことを特徴とする展示物情報提供システム。 In the exhibit information provision system consisting of a laser pointer and an information management device,
The laser pointer is
Aiming at the part of the exhibit and forming a laser figure, the information management device
A captured image storage area for storing captured image data;
A graphic recognition data storage area for storing graphic recognition data referred to for recognizing a laser graphic;
An exhibit information storage area for storing exhibit information that associates graphic attribute information, information that describes the part of the exhibit, and aiming area information;
Storage means comprising:
Display means for displaying information describing the imaged image and the part of the exhibit;
Imaging means for photographing the exhibit on which the laser figure is formed and generating photographed image data;
Image acquisition means for storing captured image data generated by the imaging means as an exhibit image in a captured image storage area;
A figure recognition unit that compares captured image data with data for figure recognition, recognizes a laser figure, and creates attribute information of the laser figure;
Graphic coordinate calculation means for calculating the aiming coordinates on the captured image of the laser graphic;
Provided information acquisition means for reading the explanation information of the exhibit part associated with the laser graphic from the exhibit information, using the aiming coordinates and the graphic attribute information as clues,
Provided information display means for displaying the explanation information of the exhibit part on the display means by superimposing it on the exhibit image,
A management device comprising:
Exhibit information providing system characterized by that.
前記情報管理装置において、
前記図形属性情報は、認識したレーザー図形の色と形状の情報とを含む属性情報である、
ことを特徴とする展示物情報提供システム。 The exhibit information providing system according to claim 1,
In the information management apparatus,
The graphic attribute information is attribute information including color and shape information of the recognized laser graphic,
Exhibit information providing system characterized by that.
図形属性情報と、展示物の部位を説明した情報と、照準エリア情報に関連付けた展示物情報と、
を用いる展示物情報提供方法において、
利用者がレーザーポインターを展示物の部位に照準を定めて、レーザー図形を形成させる照準ステップと、
レーザー図形が形成された展示物を撮影して撮影画像データを生成して展示物画像する撮影画像生成ステップと、
撮影画像データを、図形認識用データと照合して、レーザー図形を認識して、そのレーザー図形の属性情報を作成する図形認識ステップと、
認識したレーザー図形の撮影画像上の照準座標を算出する図形座標算出ステップと、
照準座標と図形属性情報とを手掛りにして、展示物情報から、レーザー図形に関連付けられる展示物の部位を説明した情報を読み取る提供情報取得ステップと、
展示物の部位を説明した情報を展示物画像に重畳させて表示させる提供情報表示ステップと、
を含んだ手順でなされることを特徴とする展示物情報提供方法。 Figure recognition data for recognizing laser figures,
Graphic attribute information, information describing the part of the exhibit, exhibit information associated with the aiming area information,
In the exhibit information providing method using
An aiming step in which the user aims the laser pointer at the part of the exhibit and forms a laser figure;
A photographed image generation step of photographing an exhibit on which a laser figure is formed to generate photographed image data and exhibiting the exhibit,
A figure recognition step for collating photographed image data with figure recognition data, recognizing a laser figure, and creating attribute information of the laser figure,
A figure coordinate calculation step for calculating the aiming coordinates on the captured image of the recognized laser figure,
A provision information acquisition step of reading information describing the part of the exhibit associated with the laser graphic from the exhibit information, using the aiming coordinates and the graphic attribute information as a clue,
A provided information display step for displaying information describing the part of the exhibit superimposed on the exhibit image;
Exhibit information providing method characterized in that it is performed by a procedure including
前記図形属性情報は、認識したレーザー図形の色と形状の情報とを含む属性情報である、
ことを特徴とする展示物情報提供方法。 The exhibit information providing method according to claim 3,
The graphic attribute information is attribute information including color and shape information of the recognized laser graphic,
Exhibit information provision method characterized by this.
The computer-readable recording medium which recorded the computer program of Claim 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009068410A JP5169928B2 (en) | 2009-03-19 | 2009-03-19 | Exhibit information providing system, method, program, recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009068410A JP5169928B2 (en) | 2009-03-19 | 2009-03-19 | Exhibit information providing system, method, program, recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010224646A JP2010224646A (en) | 2010-10-07 |
JP5169928B2 true JP5169928B2 (en) | 2013-03-27 |
Family
ID=43041797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009068410A Expired - Fee Related JP5169928B2 (en) | 2009-03-19 | 2009-03-19 | Exhibit information providing system, method, program, recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5169928B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6117470B2 (en) * | 2011-12-20 | 2017-04-19 | セイコーエプソン株式会社 | Display device, projector, image display method, and display system |
CN108076140A (en) * | 2017-11-20 | 2018-05-25 | 维沃移动通信有限公司 | Recognition methods, identification device, server and mobile terminal |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003084229A (en) * | 2001-09-14 | 2003-03-19 | Takenaka Komuten Co Ltd | Device and method for displaying pointed position |
JP2004078682A (en) * | 2002-08-20 | 2004-03-11 | Casio Comput Co Ltd | Display controlling device, information terminal device, and display controlling program |
JP2006338146A (en) * | 2005-05-31 | 2006-12-14 | Fuji Xerox Co Ltd | Information presentation system |
-
2009
- 2009-03-19 JP JP2009068410A patent/JP5169928B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010224646A (en) | 2010-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10740963B2 (en) | 3D virtual environment generating method and device | |
CN107735816B (en) | Enhancing color fill in a display environment | |
US8698796B2 (en) | Image processing apparatus, image processing method, and program | |
JP6323040B2 (en) | Image processing apparatus, image processing method, and program | |
US11308347B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
US20180114363A1 (en) | Augmented scanning of 3d models | |
US20190130648A1 (en) | Systems and methods for enabling display of virtual information during mixed reality experiences | |
US20220108470A1 (en) | Method and system for monocular depth estimation of persons | |
US10810776B2 (en) | Image processing device and image processing method | |
EP3300025A1 (en) | Image processing device and image processing method | |
US20140055445A1 (en) | System, method, and computer program product for extruding a model through a two-dimensional scene | |
JP5169928B2 (en) | Exhibit information providing system, method, program, recording medium | |
JP6362401B2 (en) | Image processing apparatus and image processing apparatus control method | |
CN109461203B (en) | Gesture three-dimensional image generation method and device, computer equipment and storage medium | |
JP4340135B2 (en) | Image display method and image display apparatus | |
CN109313506B (en) | Information processing apparatus, information processing method, and program | |
JPH0981737A (en) | Three-dimensional object model generating method | |
KR101314756B1 (en) | Augmented Reality Providing Apparatus And Method Using Control Marker | |
Arano et al. | Dynamic Projection Mapping for Silkworms | |
US20240257440A1 (en) | Information processing apparatus, information processing method, and program | |
JP6762544B2 (en) | Image processing equipment, image processing method, and image processing program | |
WO2021129213A1 (en) | Theme icon generation method and apparatus therefor, and computer device | |
Haseeb et al. | Smart Projector with Wireless Mouse | |
JP2021149166A (en) | Image processing device and program | |
JP5937745B1 (en) | Image display device, image display method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121217 |
|
LAPS | Cancellation because of no payment of annual fees |