JP6558006B2 - 画像管理装置、画像管理方法、画像管理プログラムおよび表示システム - Google Patents

画像管理装置、画像管理方法、画像管理プログラムおよび表示システム Download PDF

Info

Publication number
JP6558006B2
JP6558006B2 JP2015057887A JP2015057887A JP6558006B2 JP 6558006 B2 JP6558006 B2 JP 6558006B2 JP 2015057887 A JP2015057887 A JP 2015057887A JP 2015057887 A JP2015057887 A JP 2015057887A JP 6558006 B2 JP6558006 B2 JP 6558006B2
Authority
JP
Japan
Prior art keywords
image
user
identification information
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015057887A
Other languages
English (en)
Other versions
JP2016177595A (ja
Inventor
篤司 舟波
篤司 舟波
宣之 岸
宣之 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015057887A priority Critical patent/JP6558006B2/ja
Priority to EP16767979.4A priority patent/EP3271838B1/en
Priority to CN201680016723.8A priority patent/CN107408133B/zh
Priority to US15/556,811 priority patent/US10762706B2/en
Priority to SG11201707433XA priority patent/SG11201707433XA/en
Priority to PCT/JP2016/001398 priority patent/WO2016152070A1/en
Publication of JP2016177595A publication Critical patent/JP2016177595A/ja
Application granted granted Critical
Publication of JP6558006B2 publication Critical patent/JP6558006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs

Description

本発明は、画像管理装置、画像管理方法、画像管理プログラムおよび表示システムに関する。
近年では、コンピュータ装置の性能向上により、３次元の座標を用いたコンピュータ・グラフィクス（以下、３ＤＣＧと略称する）による画像を容易に表示可能となっている。また、３ＤＣＧでは、３次元の座標空間内に表示される各オブジェクトに対してそれぞれ規則的またはランダムな動きを設定し、動画像として表示させることも広く行われている。このような動画像では、３次元の座標空間内で、各オブジェクトが恰もそれぞれ独立して動いているかのような表現が可能である。
また、特許文献１には、３ＤＣＧによる画面に対して、アニメ製作者が手書きにより作成した画像に動きを与え、予め用意された背景画像と合成して表示させるようにした技術が開示されている。
ところで、一般のユーザが手書きなどにより作成したユーザ画像を３ＤＣＧによる画面内に容易に表示させる技術が求められている。また、ユーザ画像を３ＤＣＧによる画面内に表示させる場合において、一般ユーザが自身の作成したユーザ画像を容易に管理可能とする技術が求められている。例えば、一般ユーザが、自身が作成したユーザ画像を一々データベースに登録することで、ユーザ画像の管理を行う方法が考えられる。しかしながら、この方法は、コンピュータの操作に対するある程度の熟練が必要であり、利用可能なユーザが限定されてしまうおそれがある。
本発明は、上記に鑑みてなされたものであって、ユーザにより提示されたユーザ画像をより簡易に管理可能とすることを目的とする。
上述した課題を解決するために、本発明は、識別情報を含む識別画像が表示される媒体を載置可能な用紙であって、ユーザにより提示されたユーザ画像を含む用紙の画像を取得する画像取得部と、画像取得部で取得された画像から識別情報を取得する第１の識別情報取得部と、画像取得部で取得された画像からユーザ画像を抽出する画像抽出部と、単体の媒体から識別情報を取得する第２の識別情報取得部と、ユーザ画像を識別情報と関連付けて第１の格納部に格納し、第１の格納部に格納されるユーザ画像のうち、関連付けられた識別情報が第２の識別情報取得部が取得した識別情報と一致するユーザ画像を第１の格納部から取得する管理部とを備え、前記用紙は、前記ユーザ画像の属性を示す属性情報に対応する属性情報画像をさらに含み、前記画像抽出部は、前記画像取得部で取得された画像から前記属性情報画像をさらに抽出し、前記管理部は、前記画像抽出部で抽出された前記属性情報画像から前記属性情報を取得し、該属性情報および前記ユーザ画像の組と、前記識別情報とを関連付けて前記第１の格納部に格納する。
本発明によれば、ユーザにより提示されたユーザ画像をより簡易に管理することが可能となるという効果を奏する。
図１は、第１の実施形態に係る表示システムの一例の構成を示す図である。 図２は、第１の実施形態に適用可能な用紙の例を示す図である。 図３は、第１の実施形態に係る媒体の表示例を示す図である。 図４は、画像取得装置にセットされる用紙の例を示す図である。 図５は、第１の実施形態に係る、被投射媒体に投射される画像の例を示す図である。 図６は、第１の実施形態に係る、さらにユーザオブジェクトが追加された画像の例を示す図である。 図７は、第１の実施形態に係る、アイコン画像が表示された画像の例を示す図である。 図８は、第１の実施形態に係る、画像に対してアイコン画像を表示させるモーションを行った場合の例を示す図である。 図９は、第１の実施形態に係る、強調表示の別の例を示す図である。 図１０は、第１の実施形態に係る、モーション座標の位置にスクリーンショットを示すアイコン画像を表示させた例を示す図である。 図１１Ａは、第１の実施形態に係る画像の構成の例について説明するための図である。 図１１Ｂは、第１の実施形態に係る画像の構成の例について説明するための図である。 図１２は、第１の実施形態に適用可能なＰＣの一例の構成を示すブロック図である。 図１３は、第１の実施形態に適用可能なＰＣの機能を示す一例の機能ブロック図である。 図１４は、第１の実施形態に係る画像解析部の機能を示す一例の機能ブロック図である。 図１５は、第１の実施形態に係る表示制御部の機能を示す一例の機能ブロック図である。 図１６は、第１の実施形態に係る、画像取得装置により取得した画像を表示させる場合の処理を概略的に示す一例のフローチャートである。 図１７は、第１の実施形態に係る、識別画像読取装置により識別画像を取得した場合の処理を概略的に示す一例のフローチャートである。 図１８は、第１の実施形態に係る、モーション検知に応じたアイコン画像の表示処理を示す一例のフローチャートである。 図１９は、第１の実施形態に係る画像解析部の動作を示す一例のフローチャートである。 図２０は、第１の実施形態に係る、用紙から各画像を抽出する処理を説明するための図である。 図２１は、第１の実施形態に係る、識別情報、属性情報およびユーザ画像のユーザ画像ＤＢへの登録処理を示す一例のフローチャートである。 図２２は、属性情報およびユーザ画像を識別情報に関連付けて管理情報を生成することを説明するための図である。 図２３は、第１の実施形態に係る、ユーザ画像ＤＢのフォルダ構造を表示した表示画面の例を示す図である。 図２４は、第１の実施形態に係る、属性情報が格納されるファイルの構成の例を示す図である。 図２５は、第１の実施形態に係るログ情報の一例を示す図である。 図２６は、第１の実施形態に係るログ情報を用いたユーザ画像の検索処理を示す一例のフローチャートである。 図２７は、第１の実施形態の第１の変形例に係る表示システムの動作を制御するためのＰＣの機能を示す一例の機能ブロック図である。 図２８は、第１の実施形態の第１の変形例に係る、画像取得装置により取得した画像を表示させる場合の処理を概略的に示す一例のフローチャートである。 図２９は、第１の実施形態の第２の変形例に係る、識別画像と共にロゴ画像が表示された媒体の例を示す図である。 図３０は、第１の実施形態の第２の変形例に係る表示システムの動作を制御するためのＰＣの機能を示す一例の機能ブロック図である。 図３１は、第１の実施形態の第２の変形例に係る、画像取得装置により取得した画像を表示させる場合の処理を概略的に示す一例のフローチャートである。 図３２は、第１の実施形態の第２の変形例に係る、識別画像読取装置により媒体の画像を取得した場合の処理を概略的に示す一例のフローチャートである。 図３３は、第２の実施形態に係る表示システムの一例の構成を示す図である。 図３４は、第２の実施形態に係る、マイクロホンの位置に対応してユーザオブジェクトの移動が制御されることを説明するための図である。 図３５は、第２の実施形態に係るＰＣの機能を示す一例の機能ブロック図である。 図３６は、第２の実施形態に係る表示制御部の機能を示す一例の機能ブロック図である。 図３７は、第２の実施形態に係る、ユーザが音パターンを指定するための一例のフォーマットを示す図である。 図３８は、第２の実施形態に係る、画像取得装置により取得した画像を表示させる場合の処理を概略的に示す一例のフローチャートである。 図３９は、第２の実施形態に係る、音パターンに基づくユーザ画像の表示処理を概略的に示す一例のフローチャートである。 図４０は、第２の実施形態に係る、音パターンが関連付けられたユーザ画像によるユーザオブジェクトが既に画像内に表示されている場合の表示処理を示す一例のフローチャートである。 図４１は、第２の実施形態の第１の変形例による表示システムの一例の構成を示す図である。 図４２は、第２の実施形態の第１の変形例による処理を概略的に示す一例のフローチャートである。 図４３は、第２の実施形態の第２の変形例に係る、操作ガイドのＰＣが設けられた表示システムの一例の構成を示す図である。
以下に添付図面を参照して、画像管理装置、画像管理方法、画像管理プログラムおよび表示システムの実施形態を詳細に説明する。
（第１の実施形態に係る構成の概略）
図１は、第１の実施形態に係る表示システムの一例の構成を示す。図１において、表示システム１ａは、コンピュータ（ＰＣ）１０ａと、プロジェクタ（ＰＪ）１１と、データベース（ＤＢ）１２ａと、センサ１３と、画像取得装置２０と、識別画像読取装置２１とを含む。ＰＣ１０ａは、第１の実施形態に係る画像管理プログラムが搭載され、この画像管理プログラムに従い表示システム１ａの動作を制御する。ＰＪ１１は、ＰＣ１０ａから出力された画像信号に従い、被投射媒体１４に画像１００を投射する。
センサ１３は、物体の位置を検知する。例えば、センサ１３は、カメラが内蔵され、カメラで取得した撮像画像に含まれる対象物体の画像に基づき、対象物体までの距離や、対象物体の位置を検知することができる。センサ１３は、被投射媒体１４の被投写面側に設置される。センサ１３は、被投射媒体１４の被投写面側であれば、被投射媒体１４の上部および下部の何れに設置してもよいし、上下左右の何れかに設置してもよい。センサ１３の検知結果は、ＰＣ１０ａに供給される。
センサ１３としては、例えば、米国マイクロソフト社によるＫｉｎｅｃｔ（登録商標）を用いることができる。センサ１３は、この例に限定されず、対象となる動体の位置を、撮像ユニットと画像処理部とを組み合わせ、撮像画像を画像処理部により解析して検知してもよいし、赤外線や超音波などを利用して検知してもよい。
ＤＢ１２ａは、複数のデータベースを含み、例えば、ＰＣ１０ａがＰＪ１１により被投射媒体１４に投射するための画像（画像データ）が格納される。
画像取得装置２０は、例えばカメラを含み、所定にセットされる用紙５０をカメラにより撮像し、当該用紙５０の画像を取得する。より具体的な例として、画像取得装置２０は、カメラと、用紙５０を載置する撮像台と、撮像台に対してカメラを所定の距離および位置に固定するための治具とを含む。例えば、撮像台に用紙５０を載置して、画像取得装置２０に対して所定の操作を行うことで、カメラにより用紙５０の画像が撮像され、撮像された画像がカメラから出力される。画像取得装置２０は、取得した画像をＰＣ１０ａに供給する。画像取得装置２０は、カメラに限られず、イメージセンサにより画像を走査して画像を取得するスキャナ装置でもよい。
識別画像読取装置２１は、媒体４０の画像を取得し、取得した画像から、媒体４０に表示される識別画像４１を読み取ってＰＣ１０ａに供給する。
ここで、媒体４０は、紙や樹脂フィルムといった印刷可能な印刷媒体を用いることができる。例えば、表示システム１ａを用いたサービスを提供するサービス提供者が、ＰＣ３０により、所定のフォーマットに従い設定した識別情報に基づき識別画像を生成し、生成した識別画像をプリンタ３１により媒体４０に印刷する。この場合、それぞれ異なる識別画像４１が印刷された複数の媒体４０、４０、…を作成することができる。
なお、媒体４０は、印刷媒体に限定されない。例えば、ＣＰＵ(Central Processing Unit)やデータ通信機能を備え、筐体と一体的に構成された薄型のディスプレイに画像を表示可能な、所謂タブレット装置を媒体４０として用いることができる。この場合、例えば外部から送信された識別画像をデータ通信機能により受信して、受信した識別画像に従い識別画像をディスプレイに表示させる。
識別画像４１は、例えば文字列からなる識別情報を画像に符号化したものを利用できる。例えば、識別画像４１として、ＱＲコード（登録商標）といった２次元コードを用いることができる。これに限らず、識別情報を示す文字列をそのまま印刷して識別画像４１として用いてもよいし、識別情報をＱＲコード（登録商標）とは異なる方式で画像化したコードを用いることもできる。
識別画像４１に用いる識別情報は、例えば下記の式（１）により生成することができる。なお、式（１）において、加算記号「＋」は、文字列の結合を示す。
識別情報＝固定コード＋識別情報を生成した時間を示す時間情報 …（１）
これらのうち、固定コードは、例えばサービス提供者毎に定められたコードとする。これに限らず、固定コードを、第１の固定コードと第２の固定コードとを組み合わせて構成することもできる。この場合、例えば、第１の固定コードを、表示システム１ａの提供者を示すコードとし、第２の固定コードを、サービス提供者毎に定められたコードとすることが考えられる。この場合、第２の固定コードは、ＰＣ３０からＰＣ１０ａに対して予め通知しておくことが考えられる。
また、時間情報は、識別画像４１を生成する環境における時間（例えばＰＣ３０で計測された時間）を用いることができる。一例として、識別画像４１が媒体４０に印刷されて形成される場合、ＰＣ３０が、媒体４０に識別画像４１を印刷する処理毎に、その時間を示す時間情報を取得することが考えられる。この場合、時間情報は、少なくとも時、分、秒を含む６桁の情報として取得される。時間情報は、さらに細かい単位を含んでもよいし、日、月などの単位を含んでもよい。
なお、識別情報は、式（１）の例に限定されない。例えば、識別情報を生成した時間を示す時間情報のみを用いて、識別情報を構成してもよい。
用紙５０は、この例では、ユーザ２が絵を手描きするための手描き領域４３と、手描き領域４３に描画された絵に対する属性を設定するための属性設定領域４２とが表示される。また、用紙５０は、これら属性設定領域４２および手描き領域４３と重なること無く媒体４０を載置可能な領域が設けられる。
図２は、第１の実施形態に適用可能な用紙５０の例を示す。図２に示される用紙５０において、絵を手書き描画する描画領域４３と、描画領域４３に描画された絵に対する属性を設定するための属性設定領域４２と、媒体４０を載置するための載置領域４４とが配される。図２の例では、載置領域４４は、ユーザによる認識が容易なように、枠線が表示されている。また、図２の例では、属性設定領域４２は、「あるく」、「すすむ」、「とぶ」、「しょくぶつ」、「たてもの」および「およぐ」の６つの属性を設定可能とされている。
また、用紙５０の四隅のうち３の隅に、マーカ５１1、５１2および５１3が配される。用紙５０の画像を画像取得装置２０で取得した原稿画像から、これらマーカ５１1、５１2および５１3を検出することで、用紙５０の向きおよび大きさを知ることができる。
図３は、第１の実施形態に係る媒体４０の表示例を示す。このように、媒体４０に対して識別画像４１が表示される。図３の例では、識別画像４１が媒体４０の略中央に表示されているが、これはこの例に限定されず、識別画像４１は、媒体４０上の任意の位置に表示させることができる。また、第１の実施形態においては、媒体４０には、識別画像４１のみが表示されていればよいが、媒体４０に対して識別画像４１と共に他の情報（ロゴ画像など）を表示させてもよい。
（第１の実施形態に係る表示システムによる動作の概略）
次に、第１の実施形態に係る表示システム１ａの動作について、図１を参照しながら概略的に説明する。ここでは、説明のため、表示システム１ａは、サービス提供者が主催するイベントの会場に設置されるものとする。サービス提供者は、予め、あるいは、会場にて、ＰＣ３０およびプリンタ３１を用いて、互いに異なる識別情報に基づく識別画像４１が印刷された媒体４０、４０、…を用意する。また、サービス提供者は、用紙５０、５０、…も用意する。
会場に来場したユーザ２は、サービス提供者から媒体４０および用紙５０を受け取る。ユーザ２は、用紙５０の手描き領域４３に絵を描画し、属性設定領域４２において描画した絵に対する属性を設定する。そして、用紙５０を画像取得装置２０にセットし、媒体４０を、識別画像４１が表面側に表示されるように、用紙５０の載置領域４４に載置する。
図４は、画像取得装置２０にセットされる用紙５０の例を示す。図４において、用紙５０の手描き領域４３は、絵４５が描画されている。なお、絵４５は、用紙５０に直接手描をするのに限らず、予め絵４５が描画されたシールなどを貼付または載置してもよいし、他のＰＣなどで作成された画像を用紙５０の手描き領域４３に印刷してもよい。
また、図４の例では、属性設定領域４２において上段２番目の属性「すすむ」の枠が塗り潰され、絵４５に対して当該属性「すすむ」が設定されていることが分かる。さらに、載置領域４４に媒体４０が載置される。
このように、画像取得装置２０に対して用紙５０がセットされた状態で、例えばユーザ２が画像取得装置２０に対して用紙５０の画像の取得を指示する操作を行う。画像取得装置２０は、この操作に応じて用紙５０を撮像し、撮像により取得した用紙５０の画像を出力する。画像取得装置２０から出力された画像は、ＰＣ１０ａに供給される。
ＰＣ１０ａは、画像取得装置２０から供給された画像を解析して、画像に含まれる識別画像４１、属性設定領域４２の画像および手描き領域４３の画像をそれぞれ取得する。ＰＣ１０ａは、取得した識別画像４１を解析して、識別画像４１から識別情報を抽出する。また、ＰＣ１０ａは、属性設定領域４２の画像を解析して、設定された属性を取得する。さらに、ＰＣ１０ａは、手描き領域４３から絵４５の画像を抽出する。以下、絵４５の画像を、ユーザ画像と呼ぶ。
ＰＣ１０ａは、用紙５０の画像から取得したユーザ画像と属性とを、当該用紙５０の画像から抽出した識別情報に関連付けて、ＤＢ１２ａに格納する。それと共に、ＰＣ１０ａは、ユーザ画像をプロジェクタ１１に送信し、被投射媒体１４に投射させる。このとき、ＰＣ１０ａは、ユーザ画像に対して、属性に基づき動きや座標のパラメータを与える。また、ＰＣ１０ａは、ユーザ画像そのものに基づき、ユーザ画像に対してさらに動きや座標のパラメータを与える。
複数の用紙５０に対してそれぞれ異なる絵４５を描画して、各用紙５０に対して上述した画像取得装置２０による用紙５０の画像取得以下の処理を繰り返すことで、ユーザ２は、被投射媒体１４に対して複数のユーザ画像を表示させることができる。このとき、識別画像４１は、用紙５０上に載置された媒体４０から取得されるため、異なる各用紙５０で共通の識別画像４１を取得することができる。したがって、複数のユーザ画像に、共通の識別情報を関連付けることが可能である。
（ユーザ画像の表示例）
次に、各実施形態に共通して適用可能なユーザ画像の表示の例について説明する。図５は、第１の実施形態に係る、被投射媒体１４に投射される画像の例を示す。図５において、画像１００が被投射媒体１４に投射される。この例では、画像１００は、背景画像１１０および固定オブジェクトによる画像（固定オブジェクト）１１１とを含む。
また、図５の例では、背景画像１１０は、空領域１１０ａと、陸領域１１０ｂとを含み、陸領域１１０ｂは、画像１００の下端から陸領域１１０ｂおよび空領域１１０ａの境界に向けて奥行きを持つ画像となっている。すなわち、画像１００は、水平方向および垂直方向の位置をそれぞれ示す座標軸（ｘ軸,ｙ軸）と、奥行方向の位置を示す座標軸であるｚ軸とを有する。したがって、画像１００内に表示される各画像の位置は、これら３つの座標軸（ｘ軸，ｙ軸，ｚ軸）による座標(ｘ,ｙ,ｚ)により表される。
なお、図５において、画像１００の左上隅に表示されるアイコン画像１１２は、この画像１００のスクリーンショットを取得するために配されている。
画像１００は、さらに、ユーザ画像に基づく画像１２０1〜１２０4を表示することができる。以下では、画像１００内に表示された、ユーザ画像に基づく画像を、ユーザオブジェクトと呼ぶ。この例では、これらユーザオブジェクト１２０1〜１２０4は、共通の識別情報に関連付けられているものとする。また、ユーザオブジェクト１２０2および１２０3は、属性設定領域４２から取得された属性に基づき位置が固定的とされて画像１００内に表示されている。一方、ユーザオブジェクト１２０1および１２０4は、属性に基づき陸領域１１０ｂを所定の速度で移動しながら、画像１００内に表示されている。
上述のように画像１００にユーザオブジェクト１２０1〜１２０4が表示されている状態に対し、図６で示されるように、さらにユーザオブジェクトを追加させることができる。図６において、画像１００は、図５の画像１００に対してユーザオブジェクト１２０10〜１２０13が追加されている。
例えば、上述のユーザオブジェクト１２０1〜１２０4を表示させたユーザ（第１のユーザとする）とは異なるユーザ（第２のユーザとする）が、第１のユーザが持つ媒体４０に表示される識別情報４１とは異なる識別情報４１が表示される媒体４０を用いて、それぞれ絵４５が描画された用紙５０、５０、…の画像を画像取得装置２０により取得させる。これにより、各ユーザ画像に基づくユーザオブジェクト１２０10〜１２０13が画像１００内に表示されると共に、各ユーザ画像と、属性とが、識別情報４１に関連付けられてＤＢ１２ａに追加して格納される。
図６の例では、ユーザオブジェクト１２０10は、用紙５０の属性設定領域４２から取得された属性に基づき、空領域１１０ａを所定の速度で移動しながら画像１００内に表示されている。また、ユーザオブジェクト１２０12および１２０13は、属性に基づき陸領域１１０ｂを所定の速度で移動しながら、画像１００内に表示されている。さらに、ユーザオブジェクト１２０11は、属性に基づき位置を固定的とされて、画像１００内に表示されている。また、図６において、ユーザオブジェクト１２０1および１２０4は、図５の状態に対して位置が移動して画像１００内に表示されている。
なお、上述では、画像取得装置２０により用紙５０の画像を取得することで、用紙５０に含まれるユーザ画像に基づく画像を画像１００内に表示している。第１の実施形態では、さらに、ＤＢ１２ａに格納された、ユーザ画像に基づく画像を、画像１００内に表示させることができる。
一例として、上述の第２のユーザにより、識別情報と、ユーザオブジェクト１２０10〜１２０13に対応する各ユーザ画像および各属性とが関連付けられて、予めＤＢ１２ａに格納されているものとする。また、図５に例示されるように、第１のユーザによるユーザオブジェクト１２０1〜１２０4が既に画像１００内に表示されているものとする。
この状態において、第２のユーザが、ユーザオブジェクト１２０10〜１２０13に対応する各画像を用紙５０から取得した際に用いた媒体４０を識別画像読取装置２１に載置して、識別画像読取装置２１に対して識別画像４１の読み取りを指示する。識別画像読取装置２１は、この指示に従い媒体４０上の識別画像４１を読み取って、ＰＣ１０ａに送信する。
ＰＣ１０ａは、識別画像読取装置２１から送信された識別画像４１を解析して識別情報を取得する。ＰＣ１０ａは、取得した識別情報に基づきＤＢ１２ａを検索し、取得した識別情報に関連付けられたユーザ画像および属性を取得する。ＰＣ１０ａは、このようにしてＤＢ１２ａから取得したユーザ画像を、属性に従い画像１００内に表示させる。これにより、画像１００は、図６と同様に、第１のユーザによるユーザオブジェクト１２０1〜１２０4に対して、第２のユーザによるユーザオブジェクト１２０10〜１２０13が追加される。
このように、第２のユーザは、ユーザ画像をＤＢ１２ａに格納した際に用いた識別画像４１を保持しておくことで、過去に作成したユーザ画像をＤＢ１２ａから読み出して画像１００内に表示させることができる。
すなわち、第１の実施形態に係る表示システム１ａによれば、識別画像４１が表示された媒体４０の画像を用紙５０上に載置して、媒体４０を含む用紙５０の画像を取得することで、ユーザが提供する絵に基づくユーザ画像を、識別画像４１が示す識別情報に関連付けて管理することができる。また、識別画像４１は、用紙５０とは別体である媒体４０上に表示されるため、ユーザは、この媒体４０を複数枚の用紙５０に順次適用して、何枚もの絵を、ユーザ画像として、識別情報を用いてグループ管理することが可能となる。
（ユーザのモーションに応じた動作例）
次に、各実施形態に共通して適用可能な、ユーザのモーションに応じた表示の変化について説明する。第１の実施形態では、画像１００の表示中に、ユーザが何らかのモーションをセンサ１３に検知させることで、画像１００および画像１００内の各ユーザオブジェクトの状態に変化を与えることができる。
例えば、ユーザが画像１００を表示中の被投射媒体１４の前で腕を前に突き出す、腕を振る、などの、物体の位置をセンサ１３の検知範囲内で移動させる動作を行う。この動作をモーションと呼ぶ。センサ１３は、このモーションを検知し、すなわち、検知範囲内の物体を検知し、モーションを検知した位置を示す位置情報を出力する。位置情報は、ＰＣ１０ａに供給される。ＰＣ１０ａは、センサ１３から供給された位置情報に基づき、画像１００における座標を生成する。以下では、この座標をモーション座標と呼ぶ。なお、ＰＣ１０ａは、センサ１３の検知結果に基づき、モーションを複数種類のアクションに分類することができる。
一方、ＤＢ１２ａには、ユーザのモーションに応じて画像１００に表示させるための画像が予め格納される。以下、特に記載の無い限り、この画像をアイコン画像と呼ぶ。アイコン画像は、例えば、画像１００における各領域に関連付けられて、ＤＢ１２ａに格納される。画像１００における各領域は、例えば、図５を用いて説明した空領域１１０ａおよび陸領域１１０ｂを適用することができる。領域は、空領域１１０ａおよび陸領域１１０ｂに限られず、水辺に対応する水領域など他の領域をさらに加えてもよい。アイコン画像は、複数の領域に関連付けることができる。
ＰＣ１０ａは、生成したモーション座標が、画像１００における各領域のうち何れの領域に含まれるかを判定する。ＰＣ１０ａは、判定結果に基づき、ＤＢ１２ａから、モーション座標が含まれる領域に関連付けられたアイコン画像を読み出す。そして、ＰＣ１０ａは、ＤＢ１２ａから読み出したアイコン画像を、画像１００内のモーション座標が示す位置に表示する。
図７は、このようにしてアイコン画像が表示された画像１００の例を示す。図７の例では、画像１００の左上隅および中央付近にそれぞれアイコン画像１３０1および１３０2が表示されている。すなわち、ユーザの画像１００の左上隅におけるモーションに応じて、空領域１１０ａに関連付けられたアイコン画像１３０1が表示される。同様に、ユーザの画像１００の中央付近におけるモーションに応じて、陸領域１１０ｂに関連付けられたアイコン画像１３０2が表示される。
なお、アイコン画像１３０1および１３０2は、背景画像１１０、固定オブジェクト１１１、ならびに、各ユーザオブジェクト１２０1〜１２０4および１２０10〜１２０13に対して優先して表示される。
また、モーション座標が含まれる領域に複数のアイコン画像が関連付けられている場合、ＰＣ１０ａは、ユーザの所定のモーションに応じて、この複数のアイコン画像からランダムに１つのアイコン画像を選択して、画像１００に表示する。ユーザは、表示されたアイコン画像を別のアイコン画像に切り替えたい場合には、同じ位置で再びモーションを行う。ＰＣ１０ａは、領域に関連付けられたアイコン画像からランダムに１つのアイコン画像を選択し、現在表示されているアイコン画像を消去して選択したアイコン画像を表示する。ここで、同じ位置で所定のモーションを行った回数を計測し、所定回毎にアイコンを消去する動作のみを行ってもよい。また、モーションが一定時間以上継続して行われた場合に、アイコン画像を移動させるようにもできる。
画像１００に対するアイコン画像の表示に応じて、画像１００に既に表示されているユーザオブジェクトの状態を変化させることができる。アイコン画像の表示に応じたユーザオブジェクトの状態の変化について、図８と、上述した図６とを用いて説明する。
図６の状態の画像１００に対して、ユーザが、画像１００の所望の位置に対してアイコン画像を表示させるようなモーションを行ったものとする。このモーションは、センサ１３に検知される。ＰＣ１０ａは、センサ１３の検知結果に基づきモーション座標を生成し、生成したモーション座標の位置に、当該モーション座標が含まれる領域に応じたアイコン画像を表示させる。
ここで、ＰＣ１０ａは、モーション座標の近傍にユーザオブジェクトが存在する場合、アイコン画像の表示に応じて、当該ユーザオブジェクトがモーション座標に向けて移動するように、当該ユーザオブジェクトの表示を制御する。図６の状態で、画像１００の中央左寄りの位置に対してアイコン画像を表示させるモーションを行った場合の例を、図８に示す。図８の例では、アイコン画像１３０3が画像１００の中央左寄りの位置に表示され、図６の状態で当該アイコン画像１３０3の位置の近傍に表示されるユーザオブジェクト１２０1、１２０4および１２０13が、アイコン画像１３０3の位置に向けて移動しているのが分かる。
モーションに応じたユーザオブジェクトの状態の変化は、ユーザオブジェクトの表示位置の移動に限られない。例えば、ＰＣ１０ａは、モーション座標がユーザオブジェクトの画像範囲に含まれる場合に、当該ユーザオブジェクトを強調表示することができる。ユーザオブジェクトの画像範囲は、例えば、ユーザオブジェクトの上下端のｙ座標と、左右端のｘ座標とで定義することができる。例えば、ＰＣ１０ａは、モーション座標に基づき、モーションのユーザオブジェクトに対する当たり判定を行い、モーションがユーザオブジェクトに当たったと判定した場合に、当該ユーザオブジェクトの強調表示を行う。ユーザオブジェクトの強調表示としては、当該ユーザオブジェクトを拡大表示させたり、振動させることが考えられる。
また、強調表示の別の例として、図９に例示されるように、ＰＣ１０ａは、例えばユーザオブジェクト１２０1の画像範囲がモーション座標を含む場合に、当該モーション座標の位置にアイコン画像１３０4を表示させると共に、当該アイコン画像１３０4の近傍に、効果画像１３２1を表示させることができる。図９の例では、効果画像１３２1は、アイコン画像１３０4の周囲に星画像が飛散する様子を表現した画像が用いられている。この効果画像１３２1は、例えば、ＤＢ１２ａに予め格納される。
ＰＣ１０ａは、ユーザのモーションに応じて、画像１００のスクリーンショットを記憶することができる。例えば、ＰＣ１０ａは、ユーザのモーションに応じたモーション座標が、画像１００の左上隅の位置に表示される、スクリーンショット用のアイコン画像１１２の画像範囲に含まれか否かを判定する。ＰＣ１０ａは、モーション座標が当該アイコン画像１１２の画像範囲に含まれると判定した場合、図１０に例示されるように、モーション座標の位置にスクリーンショットを示すアイコン画像１３１を表示させる。そして、ＰＣ１０ａは、モーション座標がアイコン画像１１２の画像範囲に含まれると判定した時点での各ユーザオブジェクトやアイコン画像を反映した画像１００を、スクリーンショット画像としてメモリなどに記憶する。
上述したように、ＰＣ１０ａは、被投射媒体１４に投射する画像１００の情報を、奥行方向のｚ軸に関する座標情報として持つ。すなわち、画像１００は、ｘ軸、ｙ軸およびｚ軸で表現される３次元空間の情報を、ｘ軸およびｙ軸で表される２次元空間（平面）に対して投影した画像である。
図１１Ａおよび図１１Ｂを用いて、ＰＣ１０ａにおける画像１００の構成の例について説明する。例えば、被投射媒体１４に対して、図１１Ａに示されるように画像１００が表示されているものとする。図１１Ａの例では、画像１００は、空領域１１０ａおよび陸領域１１０ｂを含む背景画像１１０と、固定オブジェクト１１１と、各ユーザオブジェクト１２０20、１２０21、１２０22、１２０23、１２０24、１２０25、１２０26、１２０27、…と、アイコン画像１３０5と、効果画像１３２2とを含んでいる。
ここで、図１１Ａ示される画像１００は、ｘ軸、ｙ軸およびｚ軸のうちｘ軸およびｙ軸のみを用いて表され、ｚ軸が無視されている。
図１１Ａにおいて、陸領域１１０ｂに含まれる、例えばユーザオブジェクト１２０20、１２０21および１２０22は、それぞれの重なり具合から、ユーザオブジェクト１２０20が最も手前に表示され、ユーザオブジェクト１２０22が最も奥に表示されているように見える。同様に、陸領域１１０ｂに含まれる、ユーザオブジェクト１２０23および１２０24は、ユーザオブジェクト１２０23が手前に、ユーザオブジェクト１２０24が奥に表示されているように見える。
また、ユーザオブジェクト１２０20、１２０21および１２０22による第１の組と、ユーザオブジェクト１２０23および１２０24による第２の組については、陸領域１１０ｂ内での位置に基づき、第２の組が第１の組に対して奥側に表示されているように見える。
一方、空領域１１０ａに含まれる、ユーザオブジェクト１２０26およびユーザオブジェクト１２０27と、陸領域１１０ｂに含まれるユーザオブジェクト１２０25とについては、図１１Ａの状態では、互いに重なり合う部分が無いため、画像１００の表示から遠近を判定することが難しい。
図１１Ｂは、図１１Ａの画像１００に対してｚ軸の情報を加えた３次元空間を、画像１００の右上手前の仮想的な視点から俯瞰して示す。図１１Ｂにおいて、垂直方向がｙ軸、左上から右下に向かう方向がｘ軸、左から右にやや右上がりに向かう方向がｚ軸にそれぞれ対応する。ここで、空領域１１０ａは、座標ｚ＝０のｘｙ平面として表され、陸領域１１０ｂは、座標ｙ＝０のｘｚ平面として表されている。また、図１１Ｂにおいて空領域１１０ａと陸領域１１０ｂとの交線の左端が座標ｘ＝０とする。
さらに、図１１Ａの画像１００は、図中の矢印Ａで示されるように、ｚ軸に沿った方向に視線を定めてこの３次元空間を眺めた画像に相当する。さらに、ＰＣ１０ａは、このｘ軸、ｙ軸およびｚ軸で表される３次元空間に対して、表示可能な領域を予め定めている。この表現可能な領域として定められた領域を、定義領域と呼ぶ。
なお、陸領域１１０ｂに含まれる各ユーザオブジェクト１２０20〜１２０25は、例えば、画像範囲の下端の座標ｚの値が０に固定される。一方、空領域１１０ａに含まれる各ユーザオブジェクト１２０26および１２０27は、ｘｙｚの各座標値を、定義領域内で任意とすることができる。
ここで、図１１Ｂにおいて、座標ｚは、図の左から右に向けて大きくなるものとする。図１１Ｂに示されるように、ユーザオブジェクト１２０20、１２０21および１２０22において、座標ｚの値は、ユーザオブジェクト１２０20が最も小さく、ユーザオブジェクト１２０22が最も大きい。したがって、これらユーザオブジェクト１２０20、１２０21および１２０22が、ｘｙ平面において一部が重なり合っている場合には、画像１００に対して、ユーザオブジェクト１２０22、ユーザオブジェクト１２０21、ユーザオブジェクト１２０20の順に重ねて表示されることになる。
また、ユーザオブジェクト１２０23および１２０24の組（第２の組）は、ユーザオブジェクト１２０20〜１２０22の組（第１の組）と比較して座標ｚの値が大きく、ｘｚ平面においてより奥に表示されている。そのため、この３次元空間を、定義領域におけるｘｚ平面に対して矢印Ａで示される方向に眺めた場合に、画像１００においてより上側（空領域１１０ａと陸領域１１０ｂとの境界側）に表示される。
さらに、ユーザオブジェクト１２０25〜１２０27については、座標ｚの値は、ユーザオブジェクト１２０26が最も小さく手前側に表示され、ユーザオブジェクト１２０27が最も大きく奥側に表示される。また、同じ大きさのユーザオブジェクトであれば、座標ｚの値が小さいほど、大きく表示される（例えばユーザオブジェクト１２０23および１２０24）。
なお、陸領域１１０ｂに含まれる各ユーザオブジェクト１２０20〜１２０25は、ｘｚ平面上を、定義領域内で任意に移動することができる。一方、空領域１１０ａに含まれる各ユーザオブジェクト１２０26および１２０27は、ｘｙｚ空間内を、定義領域内で任意に移動することができる。このとき、空領域１１０ａに含まれる各ユーザオブジェクト１２０26および１２０27に対して、座標ｙの値を一定値以上の値に制限することができる。
（第１の実施形態に適用可能な構成）
図１２は、第１の実施形態に適用可能なＰＣ１０ａの一例の構成を示す。図１２のＰＣ１０ａにおいて、バス１０００に対してＣＰＵ(Central Processing Unit)１００１、ＲＯＭ(Read Only Memory)１００２、ＲＡＭ(Random Access Memory)１００３および表示信号生成部１００４が接続される。ＰＣ１０ａにおいて、さらに、バス１０００に対してストレージ１００６、データＩ／Ｆ１００７および通信Ｉ／Ｆ１００８が接続される。
ＣＰＵ１００１は、ＲＯＭ１００２およびストレージ１００６に予め記憶されるプログラムに従い、ＲＡＭ１００３をワークメモリとして用いて、このＰＣ１０ａの全体を制御する。表示信号生成部１００４は、モニタ１００５が接続され、ＣＰＵ１００１により生成された表示制御信号を、モニタ１００５が表示可能な信号に変換して出力する。また、表示信号生成部１００４は、表示制御信号を、プロジェクタ装置（ＰＪ）１１が表示可能な信号に変換してそれぞれ出力することができる。
ストレージ１００６は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクドライブが用いられる。これに限らず、ストレージ１００６として、例えばフラッシュメモリなどの不揮発性の半導体メモリを用いてもよい。ストレージ１００６は、上述のＣＰＵ１００１が実行するためのプログラムや各種のデータが格納される。
データＩ／Ｆ１００７は、外部の機器との間でのデータの入出力を制御する。例えば、データＩ／Ｆ１００７は、画像取得装置２０に対するインタフェースとして用いられる。また、データＩ／Ｆ１００７は、マウスなどのポインティングデバイスや図示されないキーボード（ＫＢＤ）からの信号が入力される。さらに、ＣＰＵ１００１で生成された表示制御信号を、このデータＩ／Ｆ１００７から出力して、例えばプロジェクタ１１に供給してもよい。このようなデータＩ／Ｆ１００７としては、ＵＳＢ(Universal Serial Bus)やＢｌｕｅｔｏｏｔｈ（登録商標）といったインタフェースを適用することができる。
通信Ｉ／Ｆ１００８は、インターネットやＬＡＮ(Local Area Network)といったネットワークを介した通信を制御する。
図１３は、第１の実施形態に適用可能なＰＣ１０ａの機能を示す一例の機能ブロック図である。図１３において、ＰＣ１０ａは、画像解析部２００ａと、登録部２０１と、表示制御部２１０ａと、モーション解析部２２０とを含む。これら画像解析部２００ａ、登録部２０１、表示制御部２１０ａおよびモーション解析部２２０は、ＣＰＵ１００１上で動作するプログラムにより実現される。これに限らず、これら画像解析部２００ａ、登録部２０１、表示制御部２１０ａおよびモーション解析部２２０の一部または全部を、互いに独立したハードウェアにて構成してもよい。
また、ＰＣ１０ａに対して、ユーザ画像ＤＢ２３０と、表示画像ＤＢ２３１とが接続される。これらユーザ画像ＤＢ２３０および表示画像ＤＢ２３１は、上述したＤＢ１２ａに含まれる。ユーザ画像ＤＢ２３０および表示画像ＤＢ２３１は、ＰＣ１０ａに外部接続される記憶媒体や、ＰＣ１０ａ内のストレージ１００６の所定領域を用いて構成される。
画像解析部２００ａは、画像取得装置２０で取得された画像が供給される。画像解析部２００ａは、画像取得装置２０から供給された画像を解析し、当該画像から識別情報と、ユーザ画像と、属性を示す情報とを取得する。登録部２０１は、画像解析部２００ａで取得された識別情報、ユーザ画像および属性情報とを、互いに関連付けてユーザ画像ＤＢ２３０に格納する。なお、ユーザ画像ＤＢ２３０は、例えば、ユーザ画像の他に、アイコン画像や効果画像を格納することができる。
モーション解析部２２０は、センサ１３から出力された検知結果が供給される。モーション解析部２２０は、供給された検知結果に基づきモーション情報を出力する。モーション情報は、例えばセンサ１３の検知結果に基づく座標情報を含む。モーション解析部２２０は、モーション情報に対して、座標情報が検知されたタイミングに対応する時間を示す時間情報をさらに含めてもよい。
表示制御部２１０ａは、識別画像読取装置２１から識別画像４１が供給される。表示制御部２１０ａは、供給された識別画像４１から識別情報を取得する。また、表示制御部２１０ａは、ユーザ画像ＤＢ２３０からユーザ画像を取得して背景画像１１０と合成し、画像１００を生成して出力する。表示制御部２１０ａから出力された画像１００は、例えばプロジェクタ（ＰＪ）１１に供給され、被投射媒体１４に投射される。
このとき、表示制御部２１０ａは、登録部２０１によりユーザ画像ＤＢ２３０に格納されたユーザ画像を順次、取得する。また、表示制御部２１０ａは、識別画像読取装置２１から供給された識別画像４１に基づく識別情報に関連付けられたユーザ画像を、ユーザ画像ＤＢ２３０から取得する。表示制御部２１０ａは、取得したユーザ画像を、識別情報と関連付けて表示画像ＤＢ２３１に格納する。表示制御部２１０ａは、表示画像ＤＢ２３１に格納される各ユーザ画像を、背景画像１１０と合成して出力する。
表示制御部２１０ａは、モーション解析部２２０から供給されたモーション情報に基づき、画像１００に所定のアイコン画像や効果画像をさらに合成することができる。また、表示制御部２１０ａは、モーション解析部２２０から供給されたモーション情報に基づき、画像１００に含まれる各ユーザ画像を変化させることができる。
なお、上述したＰＣ１０ａに含まれる画像解析部２００ａ、登録部２０１、表示制御部２１０ａおよびモーション解析部２２０は、例えばストレージ１００６に記憶され、ＣＰＵ１００１上で動作するプログラムによって実現される。このプログラムは、インストール可能な形式また実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、第１の実施形態のＰＣ１０ａで実行されるプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供するように構成してもよい。また、第１の実施形態のＰＣ１０ａで実行されるプログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。さらに、第１の実施形態のプログラムを、ＲＯＭ１００２などに予め組み込んで提供するように構成してもよい。
第１の実施形態のＰＣ１０ａで実行されるプログラムは、上述した各部（画像解析部２００ａ、登録部２０１、表示制御部２１０ａおよびモーション解析部２２０）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１００１がストレージ１００６やＲＯＭ１００２などの記憶媒体からプログラムを読み出して実行することにより、上述した各部がＲＡＭ１００３などの主記憶装置上にロードされ、画像解析部２００ａ、登録部２０１、表示制御部２１０ａおよびモーション解析部２２０が主記憶装置上に生成されるようになっている。
図１４は、第１の実施形態に係る画像解析部２００ａの機能を示す一例の機能ブロック図である。図１４において、画像解析部２００ａは、画像取得部２００１と、ユーザ画像抽出部２００２と、識別情報取得部２００３と、属性情報取得部２００４とを含む。
画像取得部２００１は、画像取得装置２０から供給された画像を取得する。ユーザ画像抽出部２００２は、画像取得部２００１に取得された画像から手描き領域４３を検出し、検出した手描き領域４３の画像からユーザ画像を抽出する。識別情報取得部２００３は、画像取得部２００１に取得された画像から識別画像４１を抽出し、抽出した識別画像４１を復号して識別情報を取得する。また、属性情報取得部２００４は、画像取得部２００１に取得された画像から属性設定領域４２を検出し、検出した属性設定領域４２から属性情報を取得する。
図１５は、第１の実施形態に係る表示制御部２１０ａの機能を示す一例の機能ブロック図である。図１５において、表示制御部２１０ａは、画像管理部２１０１と、識別情報取得部２１０２と、画像制御部２１０３ａと、モーション情報取得部２１０４と、３Ｄ空間生成部２１０５と、領域設定部２１０６と、合成部２１０７と、表示画像取得部２１２０とを含む。
識別情報取得部２１０２は、識別画像読取装置２１から供給された識別画像４１を復号して識別情報を取得する。画像管理部２１０１は、ユーザ画像ＤＢ２３０から、識別情報に関連付けられたユーザ画像と属性情報とを取得して、識別情報、ユーザ画像および属性情報を画像制御部２１０３ａに供給すると共に、表示画像ＤＢ２３１に格納する。また、画像管理部２１０１は、登録部２０１によるユーザ画像ＤＢ２３０に対するユーザ画像の格納に応じて、ユーザ画像ＤＢ２３０から、当該ユーザ画像と、当該ユーザ画像に関連付けられた識別情報と属性情報とを取得し、画像制御部２１０３ａに供給する。
モーション情報取得部２１０４は、モーション解析部２２０から出力されたモーション情報を取得して画像制御部２１０３ａに供給する。
画像制御部２１０３ａは、画像管理部２１０１により取得されたユーザ画像、属性情報および識別情報が供給される。画像制御部２１０３ａは、例えば、ユーザ画像および属性情報に基づき、当該ユーザ画像の表示を制御するためのパラメータを生成し、生成したパラメータを当該ユーザ画像に適用する。パラメータが適用されたユーザ画像は、合成部２１０７に供給される。
画像制御部２１０３ａは、例えばモーション情報取得部２１０４からモーション情報が供給されると、このモーション情報に応じてユーザ画像に適用されるパラメータを変更する。また、画像制御部２１０３ａは、モーション情報取得部２１０４からモーション情報が供給されると、例えばユーザ画像ＤＢ２３０からアイコン画像を取得して、取得したアイコン画像を当該モーション情報に含まれる座標情報と関連付けて、合成部２１０７に供給する。
３Ｄ空間生成部２１０５は、図１１Ａおよび図１１Ｂを用いて説明した、ｘ軸、ｙ軸およびｚ軸で表される３次元による画像データ空間を生成する。３Ｄ空間生成部２１０５は、例えば、ＲＡＭ１００３上のアドレス空間としてこの３次元の画像データ空間を生成する。領域設定部２１０６は、この３次元の画像データ空間に対して、ｘ軸、ｙ軸およびｚ軸それぞれに対して予め定められた値に従い、定義領域を設定する。この定義領域内の画像が、画像１００として表示される。ユーザ画像やアイコン画像は、座標がこの定義領域内にある場合に、画像１００内に表示されることになる。領域設定部２１０６は、定義領域を示す情報を合成部２１０７に供給する。
合成部２１０７は、定義領域に基づき、予め用意された背景画像１１０および固定オブジェクト１１１と、画像制御部２１０３ａから供給されたユーザ画像やアイコン画像とを、ｚ軸に沿った方向を視線として定義領域を眺めた場合の２次元画像に合成して、画像１００として出力する（図１１Ａおよび図１１Ｂ参照）。
なお、背景画像１１０および固定オブジェクト１１１は、ＤＢ１２ａの所定の領域に予め格納しておくことができる。また、ストレージ１００６の所定の領域に格納しておいてもよい。
表示画像取得部２１２０は、画像制御部２１０３ａの制御に従い、合成部２１０７から出力される画像１００を取得する。例えば、画像制御部２１０３ａは、所定のモーション情報に応じて表示画像取得部２１２０に対して画像１００の取得を指示する。表示画像取得部２１２０は、この指示に応じて画像１００を取得し、例えばストレージ１００６に格納する。
図１６は、第１の実施形態に係る、画像取得装置２０により取得した画像を表示させる場合の処理を概略的に示す一例のフローチャートである。図１６のフローチャートによる処理に先立って、ユーザは、識別画像４１が表示される媒体４０と、用紙５０とを用意する。そして、ユーザは、用紙５０に対して手描き領域４３への絵４５の描画と、属性設定領域４２への所望の属性のチェックとを行って画像取得装置２０にセットし、媒体４０を載置領域４４に載置して、画像取得装置２０による画像の取得処理を開始させる。画像取得装置２０は、取得した画像をＰＣ１０ａに送信する。
画像取得装置２０からＰＣ１０ａに送信された画像は、ＰＣ１０ａに受信されて画像解析部２００ａに供給される。画像解析部２００ａは、供給された画像を取得する（ステップＳ１０）。次のステップＳ１１で、画像解析部２００ａは、供給された画像から手描き領域４３および属性設定領域４２をそれぞれ検出し、検出された各領域からユーザ画像および属性情報を抽出する。また、画像解析部２００ａは、供給された画像から識別画像を抽出し、抽出した識別画像を復号して識別情報を取得する。
次のステップＳ１２で、登録部２０１は、ステップＳ１１で抽出されたユーサ画像および属性情報を、識別情報に関連付けてユーザ画像ＤＢ２３０に格納し、ユーザ画像の登録を行う。処理はステップＳ１３に移行され、ステップＳ１３で、表示制御部２１０ａは、ユーザ画像に対して、表示を制御するためのパラメータｐを設定する。
ここで、第１の実施形態に適用可能なパラメータｐについて説明する。表示制御部２１０ａは、ユーザ画像毎すなわちユーザオブジェクト毎に、例えば下記の８種類のパラメータｐ0〜ｐ7を決定する。
（１）ｐ0：進行方向の最大速度ｖmax
（２）ｐ1：進行方向の加速度ａ
（３）ｐ2：水平方向の角加速度の最大値αhmax
（４）ｐ3：垂直方向の角加速度の最大値αvmax
（５）ｐ4：上方向角度の乱数幅の最大値（最大乱数幅）ｄＲumax
（６）ｐ5：下方向角度の最大乱数幅ｄＲdmax
（７）ｐ6：右方向角度の最大乱数幅ｄＲrmax
（８）ｐ7：左方向角度の最大乱数幅ｄＲlmax
これらのうち、パラメータｐ0およびｐ1の進行方向の最大速度ｖmaxおよび進行方向の加速度ａは、ユーザオブジェクトの定義空間内における進行方向の速度を制御するためのパラメータである。また、パラメータｐ2、ｐ3の水平方向の角加速度の最大値αhmaxおよび垂直方向の角加速度の最大値αvmaxは、ユーザオブジェクトに対して水平方向および垂直方向の回転を与えるためのパラメータである。
パタメータｐ4およびｐ5の、上下方向の最大乱数幅ｄＲumaxおよびｄＲdmaxは、ユーザオブジェクトの垂直方向すなわち進行方向に対して上下方向の回転動作に対する角加速度の範囲を与えるためのパラメータである。パタメータｐ4およびｐ5で与えられる角加速度は、パラメータｐ3の、垂直方向の角加速度の最大値αvmaxにより制限される。
パタメータｐ6およびｐ7の、右方向および左方向の最大乱数幅ｄＲrmaxおよびｄＲlmaxは、ユーザオブジェクトの水平方向すなわち進行方向に対して左右方向の回転動作に対する角加速度の範囲を与えるためのパラメータである。
例えば、表示制御部２１０ａは、ユーザ画像と属性情報とに基づき、当該ユーザ画像によるユーザオブジェクトの動きに関する性能を決めるパラメータｐ0〜ｐ7を生成する。例えば、表示制御部２１０ａは、ユーザ画像に対応する属性情報に従い各パラメータｐ0〜ｐ7の値を決定し、さらに、ユーザ画像に用いられている色、ユーザ画像の形状や大きさなどに基づき、決定された各パラメータｐ0〜ｐ7に対して変化可能な範囲を設定する。
次のステップＳ１４で、表示制御部２１０ａは、パラメータｐが設定されたユーザ画像に対して定義領域内の座標を設定し、背景画像１１０と合成して画像１００を生成する。これにより、ユーザ画像が、定義領域として定義される３Ｄ空間内に、ユーザオブジェクトとして表示されることになる。なお、ユーザオブジェクトの初期位置の座標は、固定的としてもよいし、属性情報に基づきランダムに決定してもよい。
図１７は、第１の実施形態に係る、識別画像読取装置２１により識別画像４１を取得した場合の処理を概略的に示す一例のフローチャートである。図１７のフローチャートによる処理に先立って、ユーザは、例えば上述の図１６のフローチャートに従い、ユーザ画像を識別情報に関連付けてユーザ画像ＤＢ２３０に登録しておく。
ユーザが識別画像４１が表示された媒体４０を識別画像読取装置２１にセットし、識別画像読取装置２１に対するユーザ操作などにより識別画像４１の読み取りを指示する。識別画像読取装置２１は、この指示に応じて、識別画像４１を読み取ってＰＣ１０ａに送信する。なお、識別画像読取装置２１は、識別画像４１を自動的に認識し読み取るようにすることも可能である。
識別画像読取装置２１からＰＣ１０ａに送信された識別画像４１は、ＰＣ１０ａに受信されて表示制御部２１０ａに供給される。表示制御部２１０ａは、供給された識別画像４１を取得する（ステップＳ２０）。次のステップＳ２１で、表示制御部２１０ａは、識別画像４１を復号して識別情報を取得し、取得した識別情報に関連付けられたユーザ画像をユーザ画像ＤＢ２３０から検索する。
次のステップＳ２２で、表示制御部２１０ａは、ユーザ画像ＤＢ２３０から検索された各ユーザ画像に基づき、上述のステップＳ１３の処理と同様にして各パラメータｐ0〜ｐ7を決定し、各ユーザ画像に設定する。
次のステップＳ２３で、表示制御部２１０ａは、パラメータｐが設定されたユーザ画像に対して定義領域内の座標を設定し、背景画像１１０と合成して画像１００を生成する。これにより、ユーザ画像ＤＢ２３０に、識別画像４１に基づく識別情報に関連付けられた各ユーザ画像が、定義領域として定義される３Ｄ空間内に、ユーザオブジェクトとして表示されることになる。
図１８は、第１の実施形態に係る、モーション検知に応じたアイコン画像の表示処理を示す一例のフローチャートである。なお、図１８のフローチャートによる処理に先立って、上述の図１６や図１７のフローチャートに従い、画像１００内にユーザオブジェクトが既に表示されているものとする。
表示制御部２１０ａは、センサ１３からの検知結果に応じてモーション解析部２２０から出力されたモーション情報に基づき、物体を検知したか否かを判定する（ステップＳ３０）。表示制御部２１０ａは、物体を検知していないと判定した場合、処理をステップＳ３０に戻す。一方、表示制御部２１０ａは、物体を検知したと判定した場合、処理をステップＳ３１に移行させる。
ステップＳ３１で、表示制御部２１０ａは、モーション情報に基づき、検知された物体の位置に対応する、画像１００内での座標を取得する。次のステップＳ３２で、表示制御部２１０ａは、ステップＳ３１で取得された座標に基づき物体の所定の動きを検知したか否かを判定する。表示制御部２１０ａは、物体の所定の動きを検知してないと判定した場合、処理をステップＳ３０に戻す。一方、表示制御部２１０ａは、物体の所定の動きを検知したと判定した場合、処理をステップＳ３３に移行させる。
例えば、表示制御部２１０ａは、ステップＳ３１で取得した座標を記憶しておき、ステップＳ３０〜ステップＳ３２のループが繰り返される毎に、新規に取得した座標と記憶した座標とを比較する。そして、表示制御部２１０ａは、比較の結果、座標に一定以上の差分が検出された場合に、所定の動きを検知したと判定することができる。
ステップＳ３３で、表示制御部２１０ａは、ステップＳ３２で所定の動きが検知された際の座標情報に基づき、動きが検出された座標が含まれる画像１００内の領域を判定する。例えば、図５の例を参照し、表示制御部２１０ａは、動きが検出された座標が、空領域１１０ａおよび陸領域１１０ｂの何れに含まれるかを判定する。
次のステップＳ３４で、表示制御部２１０ａは、ステップＳ３３で判定された領域に応じたアイコン画像を、例えばＤＢ１２ａから取得する。このとき、ステップＳ３３で判定された領域に複数種類のアイコン画像が関連付けられている場合、表示制御部２１０ａは、これら複数種類のアイコン画像をランダムあるいは所定の順序で選択して取得することができる。表示制御部２１０ａは、取得したアイコン画像を、動きが検出された座標に従い、画像１００内に表示させる（ステップＳ３５）。
次のステップＳ３６で、表示制御部２１０ａは、ステップＳ３５で表示されたアイコン画像について、画像１００内に表示される各ユーザオブジェクトに対する当たり判定を行う。
表示制御部２１０ａは、例えば、ステップＳ３５で表示されたアイコン画像の座標および大きさに基づき、当該アイコン画像の画像１００内での範囲を示す座標を取得する。また、表示制御部２１０ａは、画像１００内に既に表示されている各ユーザオブジェクトの位置および大きさに基づき、各ユーザオブジェクトの画像１００内での範囲を示す各座標を取得する。
そして、表示制御部２１０ａは、取得したアイコン画像およびユーザオブジェクトの範囲を示す座標に基づき、アイコン画像の範囲がユーザオブジェクトの範囲に掛かるか否かを判定する。表示制御部２１０ａは、この判定結果がアイコン画像の範囲がユーザオブジェクトの範囲に掛かると判定した場合に、当該アイコン画像が当該ユーザオブジェクトに当っている（当たり有り）と判定する。表示制御部２１０ａは、当たり無しと判定した場合、処理をステップＳ３８に移行させる。
一方、表示制御部２１０ａは、ステップＳ３６で当たり有りと判定した場合、処理をステップＳ３７に移行させる。ステップＳ３７で、表示制御部２１０ａは、例えばＤＢ１２ａから効果画像を取得して、当たり有りと判定されたアイコン画像の座標に基づき、取得した効果画像（エフェクト）を画像１００内に表示させる。表示制御部２１０ａは、エフェクト表示を行うと、処理をステップＳ３８に移行させる。
ステップＳ３８で、表示制御部２１０ａは、アイコン画像の座標と、当該アイコン画像とに基づき、画像１００内に表示されるユーザオブジェクトの動きを制御する。例えば、表示制御部２１０ａは、ステップＳ３６で当たり無しと判定した場合、画像１００内で当該アイコン画像の近傍に表示されるユーザオブジェクトを、当該アイコン画像に向けて所定の速度で移動させることができる。また例えば、表示制御部２１０ａは、ステップＳ３６で当たり有りと判定した場合、当該アイコン画像に当たっているユーザオブジェクトを強調表示することができる。
図１９および図２０を用いて、用紙５０からユーザ画像および各情報を取得する処理について、より詳細に説明する。図１９は、第１の実施形態に係る画像解析部２００ａの動作を示す一例のフローチャートである。また、図２０は、第１の実施形態に係る、用紙５０から各画像を抽出する処理を説明するための図である。なお、図２０において、上述した図２および図４と共通する部分には同一の符号を付して、詳細な説明を省略する。
図１９のフローチャートにおいて、ステップＳ４０で、画像解析部２００ａは、画像取得装置２０から供給された、用紙５０の画像を画像取得部２００１により取得する。画像取得部２００１は、取得した画像をユーザ画像抽出部２００２、識別情報取得部２００３および属性情報取得部２００４にそれぞれ供給する。なお、このとき、画像取得部２００１は、用紙５０の３隅に配置されるマーカ５１1〜５１3（図２０の左図参照）を認識することで、取得した用紙５０の画像の向きなどを修正することができる。
ステップＳ４１で、識別情報取得部２００３は、用紙５０の画像に識別画像４１が含まれるか否かを判定する。識別情報取得部２００３は、当該画像に識別画像４１が含まれると判定した場合、処理をステップＳ４２に移行させて当該画像から識別画像４１を抽出し、次のステップＳ４３で、抽出した識別画像４１を復号して識別情報を取得する。そして、処理がステップＳ４５に移行される。
一方、識別情報取得部２００３は、ステップＳ４１で識別画像４１が含まれないと判定した場合、処理をステップＳ４４に移行させる。ステップＳ４４で、識別情報取得部２００３は、例えば予め定められたデフォルトの識別情報を、取得した識別情報とする。そして、処理がステップＳ４５に移行される。
ステップＳ４５で、属性情報取得部２００４は、用紙５０の画像から属性設定領域４２の画像を抽出し、抽出した属性設定領域４２の画像に基づき属性が指定されているか否かを判定する。
例えば、図２０の左図に示されるように、属性設定領域４２に、６個の属性設定部４２1〜４２6が配置されているものとする。これら属性設定部４２1〜４２6は、内部を塗り潰すなどによりチェックして、所望の属性を指定する。図２０の例では、属性設定部４２1〜４２6は、それぞれ属性「あるく」、属性「すすむ」、属性「とぶ」、属性「しょくぶつ」、属性「たてもの」および属性「およぐ」を設定する。なお、これら属性設定部４２1〜４２6に設定される各属性を、それぞれ属性Ｔｙｐｅ＃１、属性Ｔｙｐｅ＃２、属性Ｔｙｐｅ＃３、属性Ｔｙｐｅ＃４、属性Ｔｙｐｅ＃５および属性Ｔｙｐｅ＃６とする。
属性情報取得部２００４は、これら属性設定部４２1〜４２6を、所定の順序で１つずつ、チェックがなされているか否かを確認する。そして、チェックされている属性設定部が確認されると、その属性設定部に対応する属性を示す属性情報を取得する（ステップＳ４６）。図２０の例では、属性設定部４２２にチェックがなされ、属性Ｔｙｐｅ＃２を示す属性情報が取得されている。属性情報が取得されると、処理がステップＳ４８に移行される。
一方、属性情報取得部２００４は、各属性設定部４２1〜４２6の全てにチェックがなされていないことが確認された場合、処理をステップＳ４７に移行させ、属性情報を例えば予め定められたデフォルト値に設定する。そして、処理がステップＳ４８に移行される。
なお、属性情報取得部２００４は、各属性設定部４２1〜４２6から最初にチェックが確認された時点で、属性設定部のチェックの有無の確認を中止する。そのため、各属性設定部４２1〜４２6に対して複数の属性設定部がチェックされている場合であっても、取得される属性情報は、１つのみとなる。
ステップＳ４８で、ユーザ画像抽出部２００２は、用紙５０の画像から手描き領域４３を検出し、手描き領域４３内のユーザ画像を抽出する。ここで、ユーザ画像抽出部２００２は、手描き領域４３の画像に対して、ユーザオブジェクトの抽出処理を行う。例えば、ユーザ画像抽出部２００２は、手描き領域４３の画像に対して、画素毎に白色（用紙５０の地の色）か、白色以外かの２値判定を行い、ユーザオブジェクトとして絵４５の部分を抽出する。ユーザ画像抽出部２００２は、抽出した絵４５の部分を含み、底辺の方向が手描き領域４３の底辺の方向と平行な最小の矩形領域４６の画像を、ユーザ画像とする。
ステップＳ４８でユーザ画像が抽出されると、画像解析部２００ａは、ステップＳ４０〜ステップＳ４８の処理で取得または抽出された識別情報、属性情報およびユーザ画像のユーザ画像ＤＢ２３０への登録を、登録部２０１に依頼する（ステップＳ４９）。
なお、上述では、ユーザ画像抽出部２００２、識別情報取得部２００３および属性情報取得部２００４の処理を、直列的に実行するように説明したが、これはこの例に限定されない。すなわち、ユーザ画像抽出部２００２、識別情報取得部２００３および属性情報取得部２００４は、並列的に実行してもよい。
図２１は、第１の実施形態に係る、登録部２０１による識別情報、属性情報およびユーザ画像のユーザ画像ＤＢ２３０への登録処理を示す一例のフローチャートである。ステップＳ６０で、登録部２０１は、画像解析部２００ａから、識別情報、属性情報およびユーザ画像のユーザ画像ＤＢ２３０への登録指示の有無を判定する。登録部２０１は、登録依頼が無いと判定した場合、処理をステップＳ６０に戻す。
一方、登録部２０１は、識別情報、属性情報およびユーザ画像のユーザ画像ＤＢ２３０への登録依頼が有ったと判定した場合、処理をステップＳ６１に移行する。ステップＳ６１で、登録部２０１は、画像解析部２００ａから、登録を依頼された識別情報、属性情報およびユーザ画像を受け取る。
次のステップＳ６２で、登録部２０１は、ステップＳ６１で受け取った識別情報、属性情報およびユーザ画像を管理するための管理情報を生成する。登録部２０１は、例えば識別情報に基づき管理情報を生成する。ここで、登録部２０１は、図２２に例示されるように、属性情報およびユーザ画像を識別情報に関連付けて管理情報を生成する。図２２に例示されるように、ユーザ画像と属性情報とは、１対１の関係で関連付けられる。これに対して、識別情報は、ユーザ画像および属性情報の組に対して１対多の関係となる。すなわち、１つの識別情報は、複数のユーサ画像および属性情報の組と関連付けることが可能である。
次のステップＳ６３で、登録部２０１は、ユーザ画像ＤＢ２３０に対して、ステップＳ６１で受け取った識別情報、属性情報およびユーザ画像を格納するための管理領域を生成する。登録部２０１は、上述のステップＳ６２で生成した管理情報に基づき管理領域を生成する。
この例では、登録部２０１は、コンピュータのファイルシステムにおける階層構造を用いて管理領域を生成している。図２３を用いて、登録部２０１により生成される、ファイルシステムにおけるフォルダ構造を用いて管理領域を生成する例について説明する。図２３は、第１の実施形態に係る、ユーザ画像ＤＢ２３０のフォルダ構造を表示した表示画面の例を示す。図２３において、表示画面３００は、表示領域３０１および３０２を含む。表示領域３０１は、フォルダ構造を表示し、表示領域３０２は、表示領域３０１で指定されたフォルダの内容を示している。
フォルダ構造では、ある階層のフォルダは１つ下の階層のフォルダを含むことができ、上位の階層のフォルダから下位の階層のフォルダに向けて、フォルダによる階層が順次構成される。図２３の表示領域３０１において、第１階層のフォルダ３２０（フォルダ「DataBase」）は、複数の第２階層のフォルダ３２１1、３２１2、３２１3、…、３２１m、３２１m+1、３２１m+2、…を含む（第１の領域）。ここで、第２階層の各フォルダ３２１1、３２１2、…は、それぞれ識別情報に対応し、フォルダ名として識別情報の文字列が用いられている。
第２階層のフォルダは、さらに第３階層のフォルダを含む（第２の領域）。例えば、図２３において、第２階層のフォルダ３２１mは、複数の第３階層のフォルダ３２２1〜３２２5を含んでいる。これら第３階層のフォルダ３２２1〜３２２5は、ユーザ画像および属性情報の組が格納される。また、第３階層のフォルダは、当該フォルダに格納されるユーザ画像および属性情報が画像解析部２００ａにより取得された時間を示す時間情報が、フォルダ名として用いられている。
このように、第３階層のフォルダ名を時間情報に基づき決めることで、同一の識別情報に関連付けられる複数のユーザ画像および属性情報の組の一意性が保証される。また、第２階層のフォルダのフォルダ名を、識別情報を用いて決めているため、ある第２階層のフォルダと同一の識別情報が関連付けられたユーザ画像および属性情報の組は、当該フォルダに追加して格納される。
管理領域をこのような構成とすることで、ＰＣ１０ａに搭載されるＯＳ(Operating System)のファイルシステムを用いて識別情報、ユーザ画像および属性情報の管理が可能であり、指定した識別画像に関連付けられた複数のユーザ画像および属性情報の組を容易に取得することができる。
図２３において、表示領域３０２は、第３階層のフォルダ３２２1の内容が表示されている。この例では、表示領域３０２は、第３階層のフォルダ３２２1に対して、ユーザ画像が格納されるファイル３１０と、属性情報が格納されるファイル３１１とが格納されていることを表示している。
図２４は、第１の実施形態に係る、属性情報が格納されるファイル３１１の構成の例を示す。この例では、ファイル３１１は、属性情報３１２と、当該属性情報３１２に関連付けられた識別情報３１３とが格納される。
説明は図２１に戻り、登録部２０１は、ステップＳ６３でユーザ画像ＤＢ２３０内に上述のようにして管理領域を生成すると、次のステップＳ６４で、生成した管理領域に、ステップＳ６１で画像解析部２００ａから受け取ったユーザ画像、属性情報および識別情報を格納する。
ここで、ステップＳ６４で管理領域に格納されたユーザ画像、属性情報および識別情報は、表示のために表示制御部２１０ａに読み出される。表示制御部２１０ａは、ユーザ画像ＤＢ２３０から、新規に登録されたユーザ画像、属性情報および識別情報を読み出す。また、表示制御部２１０ａは、表示画像ＤＢ２３１に表示キュー領域を生成する（ステップＳ６５）。なお、表示キュー領域は、ステップＳ６３で生成される管理領域と同一の構成を適用できるので、ここでの説明を省略する。
表示制御部２１０ａは、ユーザ画像ＤＢ２３０から読み出したユーザ画像、属性情報および識別情報を、生成した表示キュー領域２３１に格納する（ステップＳ６６）。表示制御部２１０ａは、この表示キュー領域に格納されたユーザ画像を用いて、ユーザオブジェクトを画像１００内に表示させる。
次のステップＳ６７で、表示制御部２１０ａは、表示キュー領域に格納されるユーザ画像数を計数する。例えば、表示制御部２１０ａは、表示キュー領域において、ユーザ画像および属性情報の組が格納される第３階層のフォルダの数を、それぞれ識別情報に対応する第２階層の各フォルダについて合計した値を、表示キュー領域に格納されるユーザ画像数として計数する。次にステップＳ６８で、表示制御部２１０ａは、ステップＳ６７で計数したユーザ画像数が所定数を超えたか否かを判定する。表示制御部２１０ａは、超えていないと判定した場合、処理をステップＳ６０に戻す。
一方、表示制御部２１０ａは、計数したユーザ画像数が所定数を超えたと判定した場合、処理をステップＳ６９に移行させ、表示キュー領域内のユーザ画像を１つ削除する。例えば、表示制御部２１０ａは、表示キュー領域内の第３階層のフォルダのうち、最も古い時間に生成されたフォルダを削除する。これにより、画像１００内に表示されるユーザオブジェクトの数を一定数に制限できる。なお、ステップＳ６９で削除するユーザ画像の数は、１つに限られず、２以上を削除してもよい。
また、表示キュー領域に格納されるユーザ画像のうち、指定したユーザ画像の削除を禁止することができる。例えば、表示キュー領域において、予め定められたフォルダ名の第２階層のフォルダを作成し、そのフォルダ内に作成する第３階層のフォルダに、削除を禁止したいユーザ画像と、そのユーザ画像に対応する属性情報とを格納する。例えば、このフォルダに、サービス提供者のロゴマーク画像などをユーザ画像として格納しておくことで、表示キュー領域に次々にユーザ画像が格納される場合でも、ロゴマーク画像は削除されずに、画像１００内に表示され続ける。
次に、ログの記録について説明する。第１の実施形態に係る表示システム１ａは、システムの利用情報をログ情報に記憶させることができる。より具体的には、ＰＣ１０ａは、画像解析部２００ａおよび表示制御部２１０ａにおいて識別画像４１を取得した際に、少なくとも識別画像４１を取得した時間と、当該識別画像４１を復号した識別情報とを関連付けた利用情報を、ログ情報として記憶する。
図２５は、第１の実施形態に係るログ情報の一例を示す。なお、図２５において、説明のため、各行の先頭に、ログ情報の本体とコロン（：）で区切って行番号を付している。図２５において、ログ情報３３０は、例えば第１行目および第１０行目に、第１の実施形態に係るプログラムの開始および終了時間がそれぞれ記憶される。この開始間および終了時間の間に、ユーザ画像毎に利用情報が記憶される（例えば第２行目〜第９行目）。
図２５の例では、利用情報は、「利用日時」（Ｄａｔｅ）と、「イベント」（Ｅｖｅｎt）と、第３階層すなわちユーザ画像および属性情報が格納される「フォルダ名」（ＤａｓｅＮａｍｅ）と、「識別情報」（ＩＤ）と、「属性種類」（Ｔｙｐｅ）の各項目を含む。なお、項目「イベント」は、例えば「追加」および「検索」の何れかの値を取るものとする。この場合、項目「イベント」の値が値「追加」であれば、その利用情報が、新規追加したユーザ画像に関する利用情報であることを示し、値「検索」であれば、その利用情報がユーザ画像ＤＢ２３０から検索して取得したユーザ画像に関するものであることを示す。また、利用情報に含まれる項目「フォルダ名」の情報と項目「識別情報」の情報とを用いることで、ユーザ画像ＤＢ２３０または表示画像ＤＢ２３１におけるフォルダを特定することができる。
このログ情報３３０の各利用情報を集計することで、システムの利用率などを分析することができる。なお、ログ情報３３０は、例えばストレージ１００６に記憶される。これに限らず、ログ情報３３０は、ユーザ画像ＤＢ２３０または表示画像ＤＢ２３１の所定の領域に記憶しておいてもよい。
第１の実施形態では、ログ情報３３０をユーザ画像の検索に利用することができる。図２６は、第１の実施形態に係るログ情報３３０を用いたユーザ画像の検索処理を示す一例のフローチャートである。ステップＳ８０で、表示制御部２１０ａにおいて、識別情報取得部２１０２は、識別画像読取装置２１から供給された識別画像４１を復号して識別情報を取得する。次のステップＳ８１で、表示制御部２１０ａにおいて、画像管理部２１０１は、ログ情報３３０から、項目「識別情報」の値が取得した識別情報と一致する利用情報を検索する。
次のステップＳ８２で、画像管理部２１０１は、ステップＳ８１で検索された各利用情報に対して、例えば当日の日付で絞り込みを行う。そして、次のステップＳ８３で、画像管理部２１０１は、絞り込んだ利用情報の数を取得する。一例として、画像管理部２１０１は、利用情報の項目「イベント」を参照し、項目「イベント」の値が「検索」である利用情報を抽出し、項目「利用日時」の値に基づき、抽出した利用情報のうち当日の日付で時間が異なる利用情報の数を取得する。
次のステップＳ８４で、画像管理部２１０１は、取得した利用情報の数が閾値を超えたか否かを判定する。画像管理部２１０１は、利用情報の数が閾値を超えたと判定した場合、エラーであるとして処理をステップＳ８６に移行させ、エラーを示す表示を行うよう、例えば画像制御部２１０３ａに依頼する。
一方、画像管理部２１０１は、ステップＳ８４で利用情報の数が閾値以下であると判定した場合、処理をステップＳ８５に移行させる。ステップＳ８５で、画像管理部２１０１は、ステップＳ８２で絞り込んだ各利用情報の項目「識別情報」および項目「フォルダ名」の情報に基づきユーザ画像ＤＢ２３０を検索し、次のステップＳ８７で、検索結果のユーザ画像を特定する。
次のステップＳ８８で、画像管理部２１０１は、特定されたユーザ画像のうち表示キュー領域に含まれるユーザ画像が存在するか否かを判定する。例えば、画像管理部２１０１は、ステップＳ８２で絞り込んだ各利用情報の項目「識別情報」および項目「フォルダ名」に基づき表示画像ＤＢ２３１を検索して、これらの項目に一致するフォルダが存在するか否かを確認する。
画像管理部２１０１は、特定されたユーザ画像が表示キュー領域に含まれないと判定した場合、処理をステップＳ８９に移行させる。ステップＳ８９で、画像管理部２１０１は、ステップＳ８７で特定されたユーザ画像をユーザ画像ＤＢ２３０から取得して、取得した各ユーザ画像を画像１００内に表示させるように、画像制御部２１０３ａに指示する。画像管理部２１０１は、ステップＳ８９でユーザ画像の画像１００内への表示を指示すると、処理をステップＳ９２に移行させる。
一方、画像管理部２１０１は、ステップＳ８８で、特定されたユーザ画像に表示キュー領域に含まれるユーザ画像が存在すると判定した場合、処理をステップＳ９０に移行させる。ステップＳ９０で、画像管理部２１０１は、特定されたユーザ画像のうち、表示キュー領域に含まれる、すなわち、既に画像１００内にユーザオブジェクトとして表示されているユーザ画像を抽出する。そして、画像管理部２１０１は、画像制御部２１０３ａに対して、抽出した各ユーザ画像によるユーザオブジェクトを強調表示させるように指示する。
次にステップＳ９１で、画像管理部２１０１は、ステップＳ８７で特定されたユーザ画像のうち、表示キュー領域に含まれるユーザ画像に対する差分のユーザ画像、すなわち、ステップＳ８７で特定されたユーザ画像であって、且つ、表示キュー領域に含まれないユーザ画像を特定する。そして、画像管理部２１０１は、特定したユーザ画像をユーザ画像ＤＢ２３０から取得して、取得したユーザ画像を画像１００内に表示させるように、画像制御部２１０３ａに指示する。
処理はステップＳ９２に移行され、画像管理部２１０１は、ステップＳ９１またはステップＳ８９で画像１００内に表示されたユーザ画像を、識別情報および属性情報と関連付けて表示キュー領域に格納する。このとき、画像管理部２１０１は、上述のステップＳ９０で表示キュー領域に含まれると判定したユーザ画像についても、改めて、表示キュー領域に格納する。これは、画像１００内に既に表示されているユーザオブジェクトが、表示数制限のために削除されないようにするためである。
そして、次のステップＳ９３で、画像管理部２１０１は、項目「イベント」が値「検索」である利用情報、すなわち、識別情報によるユーザ画像の検索が行われたことを示す利用情報を、ログ情報３３０に記憶する。
なお、上述では、ステップＳ８４で、取得した利用情報の数が閾値が超えたと判定した場合に、エラーであるとして処理しているが、これはこの例に限定されない。例えば、この利用情報数の閾値判定を行わなくてもよい。また、利用情報数の閾値判定の判定結果は、検索の利用回数の制限を用途とするのに限られず、例えば、所定の効果画像の表示など、利用回数が多いことに関して、ユーザに対して何らかのメッセージを提示することも考えられる。
また、ステップＳ８４の利用情報数の閾値判定を行わない場合、ステップＳ８２の検索により絞り込まれた利用情報の数が多くなり過ぎ、画像１００内に表示されるユーザオブジェクトが、この検索により取得されたユーザ画像によるユーザオブジェクトで独占状態になってしまう可能性がある。そのため、この図２６のフローチャートの処理においても、上述の図２１のフローチャートの処理と同様に、表示キュー領域内のユーザ画像数を制限することが考えられる。
（第１の実施形態の第１の変形例）
次に、第１の実施形態の第１の変形例について説明する。第１の実施形態の第１の変形例は、上述した第１の実施形態によるユーザオブジェクトの表示処理に対して付加処理を追加可能としたものである。付加処理は、例えば、用紙５０にユーザが描画した絵４５に基づくユーザ画像に対して、メーカのロゴ画像やマスコットキャラクタの画像を付加して表示させる処理が考えられる。
第１の実施形態の第１の変形例では、付加処理の追加を実現するために、例えば、付加処理を示す情報を識別情報に含ませた付加処理用識別情報を生成し、この付加処理用識別情報を画像に符号化して識別画像４１を生成し、媒体４０上に表示させる。
第１の実施形態の第１の変形例では、上述した式（１）で示した識別情報を、管理用識別情報として、下記の式（２）のように変更する。また、第１の実施形態の第１の変形例に係る、付加処理用識別情報は、例えば下記の式（３）のような構成を適用できる。
管理用識別情報＝固定コード＋管理用コード＋時間情報 …（２）
付加処理用識別情報＝固定コード＋処理用コード＋所定の値 …（３）
式（２）において、「管理用コード」は、この識別情報が、ユーザ画像ＤＢ２３０内に格納されるユーザ画像毎の識別に用いる管理用識別情報であることを示す。「固定コード」および「時間情報」は、上述の式（１）と同様である。
一方、式（３）において、「処理用コード」は、この識別情報が、ユーザオブジェクトの表示処理に対して付加処理を追加するための付加処理用識別情報であることを示す。また、「所定の値」は、例えば追加する付加処理を選択または指定するために利用可能である。
管理用識別情報は、識別画像４１を生成した時間を示す時間情報が含まれているため、ユーザ画像毎に異なる値となる。すなわち、管理用識別情報を用いた場合、媒体４０毎にユニークな識別画像４１が表示される。これに対して、付加処理用識別情報は、例えば同一の付加処理に対して共通の値が用いられる。この場合、複数の媒体４０に同一の識別画像４１が表示されることになる。
図２７は、第１の実施形態の第１の変形例に係る表示システムの動作を制御するためのＰＣの機能を示す一例の機能ブロック図である。なお、図２７において、上述した図１３と共通する部分には同一の符号を付して、詳細な説明を省略する。また、表示システムは、図１で示した第１の実施形態に係る表示システム１ａの構成をそのまま適用できるので、ここでの説明を省略する。
図２７において、ＰＣ１０ｂは、図１３で示したＰＣ１０ａに対して付加処理用ＤＢ２３２が追加して接続される。付加処理用ＤＢ２３２は、例えば図１のＤＢ１２ａに含むことができる。付加処理用ＤＢ２３２は、付加処理として追加するための情報が、例えば付加処理用識別情報に含まれる「所定の値」に関連付けられて格納される。付加処理として追加するための情報（付加処理情報）は、特に限定されないが、例えば所定の画像（付加画像）を適用することができる。
また、ＰＣ１０ｂに含まれる画像解析部２００ｂおよび表示制御部２１０ｂは、図１３の画像解析部２００ａおよび表示制御部２１０ａに対して、付加処理を実行するための機能が追加されている。
図２８は、第１の実施形態の第１の変形例に係る、画像取得装置２０により取得した画像を表示させる場合の処理を概略的に示す一例のフローチャートである。なお、図２８において、上述した図１６と共通する処理には同一の符号を付して、詳細な説明を省略する。図２８の処理に先立って、ユーザは、処理用識別情報に基づく識別画像４１が表示された媒体４０と用紙５０とを用意し、用紙５０に所定に描画などを行って画像読取装置２０にセットし、当該媒体４０を用紙５０上の載置領域４４に載置して、画像取得装置２０による画像の取得処理を開始させる。画像取得装置２０は、取得した画像をＰＣ１０ｂに送信する。
ＰＣ１０ｂは、画像取得装置２０から送信された画像を受信して画像解析部２００ｂに供給する。画像解析部２００ｂは、供給された画像を取得し（ステップＳ１０）。次のステップＳ１１で、画像解析部２００ｂは、供給された画像から手描き領域４３および属性設定領域４２をそれぞれ検出し、検出された各領域からユーザ画像および属性情報を抽出する。また、画像解析部２００ｂは、供給された画像から識別画像を抽出し、抽出した識別画像を復号して識別情報を取得する。
次のステップＳ１２で、登録部２０１は、ステップＳ１１で抽出されたユーサ画像および属性情報を、識別情報に関連付けてユーザ画像ＤＢ２３０に格納し、ユーザ画像の登録を行う。次のステップＳ１３で、表示制御部２１０ｂは、ユーザ画像に対して、既に説明したようにして、表示を制御するためのパラメータｐ0〜ｐ7を設定する。
次のステップＳ１００で、表示制御部２１０ｂは、識別情報が付加処理用か否かを判定する。すなわち、表示制御部２１０ｂは、識別情報に付加処理用コードが含まれている場合、当該識別情報が付加処理用識別情報であると判定する。表示制御部２１０ｂは、当該識別情報が付加処理用識別情報ではないと判定すると、処理をステップＳ１２に移行させ、ステップＳ１１で抽出されたユーサ画像および属性情報を、識別情報に関連付けてユーザ画像ＤＢ２３０に格納し、ユーザ画像の登録を行う。そして、処理がステップＳ１４に移行される。
一方、表示制御部２１０ｂは、当該識別情報が付加処理用識別情報であると判定した場合、処理をステップＳ１０１に移行させる。ステップＳ１０１で、表示制御部２１０ｂは、付加処理用識別情報に基づき付加処理用ＤＢ２３２から付加情報を検索し、検索された付加処理情報に従った処理を実行する。一例として、付加処理情報が付加画像である場合、表示制御部２１０ｂは、ユーザ画像と付加画像とを合成したユーザオブジェクトを画像１００内に表示させる。そして、処理がステップＳ１４に移行される。
ステップＳ１４で、表示制御部２１０ｂは、パラメータｐが設定されたユーザ画像に対して定義領域内の座標を設定し、背景画像１１０と合成して画像１００を生成する。これにより、ユーザ画像が、定義領域として定義される３Ｄ空間内に、ユーザオブジェクトとして表示されることになる。
このように、第１の実施形態の第１の変形例では、付加処理用の付加処理情報を含む識別情報に基づく識別画像４１を、複数の媒体４０に共通に表示させているため、複数の媒体４０に共通の付加処理を実行することができる。そのため、例えば、サービス提供者は、サービス提供者独自の付加処理を複数のユーザに共通して提供することができる。これにより、例えば、サービス提供者は、自身のブランドなどを活用したイベントを容易に展開することができる。
（第１の実施形態に第２の変形例）
次に、第１の実施形態の第２の変形例について説明する。上述した第１の実施形態の第１の変形例では、識別情報が複数の媒体４０間で共通とされているので、付加処理を複数の媒体４０間で共通可能である一方、ユーザ画像を識別情報に基づき管理する用途には適していない。これに対して、第１の実施形態の第２の変形例では、付加処理を複数の媒体４０で共通して提供可能とすると共に、ユーザ画像の識別情報に基づく管理も可能とする。
より具体的には、第１の実施形態の第２の変形例では、識別情報として、上述の式（１）または式（２）に示される、媒体４０毎に異なる値を用いる。そして、媒体４０に対して、識別画像４１と共に、例えばサービス提供者が指定する画像（ロゴ画像とする）を表示させる。このとき、複数の媒体４０に対して共通のロゴ画像を表示させる。また、ロゴ画像は、付加処理情報と関連付けてデータベースなどに予め格納しておく。媒体４０から識別画像４１を取得すると共に、ロゴ画像を取得し、取得したロゴ画像に基づき、当該ロゴ画像に関連付けられた付加処理情報を検索する。これにより、サービス提供者独自の付加処理を複数のユーザに共通して提供可能であると共に、ユーザ画像を識別情報に基づき管理することが可能となる。
図２９は、第１の実施形態の第２の変形例に係る、識別画像と共にロゴ画像が表示された媒体４０’の例を示す。媒体４０’において、識別画像４１と共にロゴ画像６０が表示されている。識別画像４１とロゴ画像６０の位置関係および大きさは、特に限定されない。
図３０は、第１の実施形態の第２の変形例に係る表示システムの動作を制御するためのＰＣの機能を示す一例の機能ブロック図である。なお、図３０において、上述した図２７と共通する部分には同一の符号を付して、詳細な説明を省略する。また、表示システムは、図１で示した第１の実施形態に係る表示システム１ａの構成をそのまま適用できるので、ここでの説明を省略する。
図３０において、ＰＣ１０ｃは、図２７で示したＰＣ１０ｂに対してロゴ画像ＤＢ２３３が追加して接続される。ロゴ画像ＤＢ２３３は、例えば図１のＤＢ１２ａに含むことができる。ロゴ画像ＤＢ２３３は、ロゴ画像６０を示す情報（例えばロゴ画像６０の特徴を示す特徴情報）と付加処理情報とが関連付けられて格納される。ロゴ画像６０そのものを付加処理情報と関連付けてロゴ画像ＤＢ２３３に格納してもよい。
また、ＰＣ１０ｃに含まれる画像解析部２００ｃおよび表示制御部２１０ｃは、図２７の画像解析部２００ｂおよび表示制御部２１０ｂに対して、ロゴ画像に対する処理を実行するための機能が追加されている。例えば、画像解析部２００ｃは、画像取得装置２０から供給された画像の、媒体４０の領域から、識別画像４１を取得すると共に、ロゴ画像６０をさらに取得する機能を有する。
また、第１の実施形態の第２の変形例では、識別画像読取装置２１は、媒体４０の画像そのものをＰＣ１０ｃに送信するものとする。表示制御部２１０ｃは、識別画像読取装置２１から供給された画像から識別画像４１およびロゴ画像６０を取得することができる。さらに、表示制御部２１０ｃは、取得したロゴ画像６０に基づきロゴ画像ＤＢ２３３を検索し、対応する付加処理情報を取得することができる。例えば、表示制御部２１０ｃは、取得したロゴ画像６０を解析して特徴情報を抽出し、ロゴ画像２３３に、抽出した特徴情報と対応する特徴情報を検索する。そして、表示制御部２１０ｃは、検索の結果得られた特徴情報に関連付けられた付加処理情報を、ロゴ画像ＤＢ２３３から取得する。
図３１は、第１の実施形態の第２の変形例に係る、画像取得装置２０により取得した画像を表示させる場合の処理を概略的に示す一例のフローチャートである。なお、図３１において、上述した図２８と共通する処理には同一の符号を付して、詳細な説明を省略する。
図３１の処理に先立って、ユーザは、管理用識別情報に基づく識別画像４１が表示された媒体４０と用紙５０とを用意し、用紙５０に所定に描画などを行って画像読取装置２０にセットし、当該媒体４０を用紙５０上の載置領域４４に載置して、画像取得装置２０による画像の取得処理を開始させる。画像取得装置２０は、取得した画像をＰＣ１０ｃに送信する。
ＰＣ１０ｃは、画像取得装置２０から送信された画像を受信して画像解析部２００ｃに供給する。画像解析部２００ｃは、供給された画像を取得し（ステップＳ１０）。次のステップＳ１１で、画像解析部２００ｂは、供給された画像から手描き領域４３および属性設定領域４２をそれぞれ検出し、検出された各領域からユーザ画像および属性情報を抽出する。また、画像解析部２００ｃは、供給された画像から識別画像を抽出し、抽出した識別画像を復号して識別情報を取得する。
次のステップＳ１２で、登録部２０１は、ステップＳ１１で抽出されたユーサ画像および属性情報を、識別情報に関連付けてユーザ画像ＤＢ２３０に格納し、ユーザ画像の登録を行う。次のステップＳ１３で、表示制御部２１０ｃは、ユーザ画像に対して、既に説明したようにして、表示を制御するためのパラメータｐ0〜ｐ7を設定する。
次のステップＳ１２０で、表示制御部２１０ｃは、ステップＳ１１の処理結果に基づき、画像取得装置２０から送信された画像の媒体４０の領域から、識別画像４１以外の画像が検出されたか否かを判定する。表示制御部２１０ｃは、検出されないと判定した場合、処理をステップＳ１４に移行させる。
一方、表示制御部２１０ｃは、ステップＳ１２０で、媒体４０の領域から、識別画像４１以外の画像が検出されたと判定した場合、処理をステップＳ１２１に移行させ、当該画像を取得する。次のステップＳ１２２で、表示制御部２１０ｃは、当該画像に基づきロゴ画像ＤＢ２３３を検索する。
次のステップＳ１２３で、表示制御部２１０ｃは、ステップＳ１２２の検索結果に基づき、ステップＳ１２１で取得された画像と一致するロゴ画像がロゴ画像ＤＢ２３３に登録されているか否かを判定する。表示制御部２１０ｃは、登録されていないと判定した場合、処理をステップＳ１４に移行させる。
一方、表示制御部２１０ｃは、ステップＳ１２３で、ステップＳ１２１で取得された画像と一致するロゴ画像がロゴ画像ＤＢ２３３に登録されていると判定した場合、処理をステップＳ１２４に移行させる。ステップＳ１２４で、表示制御部２１０ｃは、ロゴ画像ＤＢ２３３から、検索されたロゴ画像に関連付けられた付加処理情報を取得する。そして、次のステップＳ１２５で、表示制御部２１０ｃは、取得した付加処理情報に従った処理を実行する。そして、処理をステップＳ１４に移行させる。
ステップＳ１４で、表示制御部２１０ｃは、パラメータｐが設定されたユーザ画像に対して定義領域内の座標を設定し、背景画像１１０と合成して画像１００を生成する。これにより、ユーザ画像が、定義領域として定義される３Ｄ空間内に、ユーザオブジェクトとして表示される。
図３２は、第１の実施形態の第２の変形例に係る、識別画像読取装置２１により媒体４０’の画像を取得した場合の処理を概略的に示す一例のフローチャートである。なお、図３２において、上述した図１７および図３１と共通する処理には同一の符号を付して、詳細な説明を省略する。図３２のフローチャートによる処理に先立って、ユーザは、例えば上述の図１６のフローチャートに従い、ユーザ画像を識別情報に関連付けてユーザ画像ＤＢ２３０に登録しておく。
ユーザが識別画像４１およびロゴ画像６０が表示された媒体４０’を識別画像読取装置２１にセットし、識別画像読取装置２１に対するユーザ操作などにより、媒体４０’の画像の読み取りを指示する。識別画像読取装置２１は、この指示に応じて、媒体４０’の画像を読み取ってＰＣ１０ｃに送信する。
ＰＣ１０ｃは、識別画像読取装置２１から送信された画像を受信して、表示制御部２１０ｃに供給する。表示制御部２１０ｃは、供給された画像から識別画像４１を取得する（ステップＳ２０）。次のステップＳ２１で、表示制御部２１０ａは、識別画像４１を復号して識別情報を取得し、取得した識別情報に関連付けられたユーザ画像をユーザ画像ＤＢ２３０から検索する。次のステップＳ２２で、表示制御部２１０ｃは、ユーザ画像ＤＢ２３０から検索された各ユーザ画像に基づき、図１６のステップＳ１３の処理と同様にして各パラメータｐ0〜ｐ7を決定し、各ユーザ画像に設定する。
以下、ステップＳ１２０〜ステップＳ１２５の処理は、図３１と同様である。すなわち、ステップＳ１２０で、表示制御部２１０ｃは、ステップＳ２１の処理結果に基づき、識別画像読取装置２１から送信された画像の媒体４０’の領域から、識別画像４１以外の画像が検出されたか否かを判定する。表示制御部２１０ｃは、検出されないと判定した場合、処理をステップＳ２３に移行させる。
一方、表示制御部２１０ｃは、ステップＳ１２０で、媒体４０’の領域から、識別画像４１以外の画像が検出されたと判定した場合、処理をステップＳ１２１に移行させ、当該画像を取得し、取得した画像に基づきロゴ画像ＤＢ２３３を検索する（ステップＳ１２２）。次のステップＳ１２３で、表示制御部２１０ｃは、ステップＳ１２２の検索結果に基づき、ステップＳ１２１で取得された画像と一致するロゴ画像がロゴ画像ＤＢ２３３に登録されているか否かを判定する。表示制御部２１０ｃは、登録されていないと判定した場合、処理をステップＳ２３に移行させる。
一方、表示制御部２１０ｃは、ステップＳ１２３で、ステップＳ１２１で取得された画像と一致するロゴ画像がロゴ画像ＤＢ２３３に登録されていると判定した場合、処理をステップＳ１２４に移行させる。ステップＳ１２４で、表示制御部２１０ｃは、ロゴ画像ＤＢ２３３から、検索されたロゴ画像に関連付けられた付加処理情報を取得し、次のステップＳ１２５で、表示制御部２１０ｃは、取得した付加処理情報に従った処理を実行する。そして、処理をステップＳ２３に移行させる。
次のステップＳ２３で、表示制御部２１０ｃは、パラメータｐが設定されたユーザ画像に対して定義領域内の座標を設定し、背景画像１１０と合成して画像１００を生成する。これにより、ユーザ画像ＤＢ２３０において識別画像４１に基づく識別情報に関連付けられた各ユーザ画像が、定義領域として定義される３Ｄ空間内に、ユーザオブジェクトとして表示される。
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、音情報を取得し、取得した音情報に基づき画像１００内に表示されるユーザオブジェクトに変化を与える。図３３は、第２の実施形態に係る表示システムの一例の構成を示す。なお、図３３において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。
また、図３３において、図１に示した画像取得装置２０および識別画像読取装置２１は、省略されている。さらに、図３３に示されるＰＣ１０ｄは、図１２を用いて説明した構成をそのまま適用できる。
図３３において、表示システム１ｄは、被投射媒体１４の近傍に、収音を行うためのマイクロホン１５が設置され、マイクロホン１５から出力された音信号がＰＣ１０ｄに供給される。なお、マイクロホン１５からアナログ形式で出力された音信号は、Ａ／Ｄ変換器によりディジタル形式の音信号に変換されてＰＣ１０ｄに供給される。このディジタル形式の音信号は、例えば、ＰＣ１０ｄが有するデータＩ／Ｆ１００７に入力される。
ＤＢ１２ｄは、上述したＤＢ１２ａに対し、さらに、音に関する情報が格納される。例えば、ＤＢ１２ｄは、音パターンとユーザ画像とを関連付けて格納することができる。
このような構成において、ユーザは、ユーザ画像および属性情報を、識別情報と関連付けてＤＢ１２ｄに格納しておく。また、ユーザは、音パターンを指定し、指定した音パーンを当該識別情報と関連付けてＤＢ１２ｄに格納しておく。この状態で、ユーザは、登録した音パターンに従った音を、例えばマイクロホン１５による収音が可能な位置で発生させる。音パターンは、例えば一定のリズムパターンであり、手拍子などにより表現することができる。
音パターンに従った音は、マイクロホン１５で収音され音信号に変換されてＰＣ１０ｄに供給される。ＰＣ１０ｄは、供給された音信号を解析して音パターンを抽出し、抽出した音パターンと一致する音パターンをＤＢ１２ｄから検索する。ＰＣ１０ｄは、この結果、抽出した音パターンに一致する音パターンがＤＢ１２ｄから検索されると、検索された音パターンに関連付けられた識別情報を取得する。
取得した識別情報に関連付けられたユーザ画像によるユーザオブジェクトが既に画像１００内に表示されている場合は、音が発生した位置、すなわち、マイクロホン１５の位置に向けて、各ユーザオブジェクトが移動する。このとき、例えば図３４に例示されるように、マイクロホン１５の位置に対応する画像１００の位置１６に対して、画像１００内において所定の範囲１７内に存在するユーザオブジェクトが選択的に、位置１８に向けて移動するように制御される。
また、取得した識別情報に関連付けられたユーザ画像によるユーザオブジェクトが画像１００内に表示されていない場合は、ＰＣ１０ｄは、ＤＢ１２ｄから当該識別情報に関連付けられたユーザ画像を取得して、画像１００内にユーザオブジェクトとして表示させる。このとき、ユーザオブジェクトの出現位置を予め決めておくことができる。例えば、この出現位置を、画像１００内の左右何れかの端部とすることが考えられる。
図３５は、第２の実施形態に係るＰＣ１０ｄの機能を示す一例の機能ブロック図である。なお、図３５において、上述した図１３と共通する部分には同一の符号を付して、詳細な説明を省略する。図３５において、ＰＣ１０ｄは、図１３に示したＰＣ１０ａの構成に対して音声処理部２４０が追加されている。画像解析部２００ｄ、登録部２０１ｄおよび表示制御部２１０ｄは、図１３に示す画像解析部２００、登録部２０１および表示制御部２１０ａに対して、音情報の処理に関する機能が追加されている。また、ユーザ画像ＤＢ２３０は、識別情報またはユーザ画像に対して、音情報をさらに関連付けて格納することができる。
図３６は、第２の実施形態に係る表示制御部２１０ｄの機能を示す一例の機能ブロック図である。なお、図３６において、上述した図１５と共通する部分には同一の符号を付して、詳細な説明を省略する。図３６において、表示制御部２１０ｄは、図１５に示した表示制御部２１０ａに対して音パターン検出部２１０８が追加されている。また、画像管理部２１０１ｄおよび画像制御部２１０３ｃは、上述の画像管理部２１０１および画像制御部２１０３ａに対して、それぞれ音情報に基づく処理を行う機能が追加されている。
マイクロホン１５から出力されディジタル方式の信号に変換された音信号は、音声処理部２４０に供給される。音声処理部２４０は、供給された音信号に対して所定の信号処理を施して、音情報として表示制御部２１０ｄに供給する。この音情報は、表示制御部２１０ｄにおいて音パターン検出部２１０８に供給される。音パターン検出部２１０８は、供給された音情報に基づき音パターン検出する。検出された音パターンは、画像管理部２１０１ｄに供給される。画像管理部２１０１ｄは、供給された音パターンに基づきユーザ画像ＤＢ２３０を検索し、検索の結果得られた識別情報、あるいは、ユーザ画像を示す情報を画像制御部２１０３ｄに供給する。
図３７は、第２の実施形態に係る、ユーザが音パターンを指定するための一例のフォーマットを示す。図３７（ａ）に示されるように、音パターン指定領域４２０に対して、音パターンを指定するためのパターン指定部４２１が設けられる。この例では、パターン指定部４２１は、８個のチェックボックスが並べられて形成される。これら８個のチェックボックスは、８拍の拍子に対応付けることでき、空白のチェックボックスが休符、塗り潰されてチェックされたチェックボックスが音符と考えることができる。図３７（ｂ）は、一部のチェックボックスが塗り潰されたパターン指定部４２１’の例を示す。例えば、このパターン指定部４２１’に示される音符および休符に従い一定の速度で音を発生させることで、パターン指定部４２１’に指定される音パターンを発生させることができる。
この図３７（ａ）に例示される音パターン指定領域４２０は、例えば用紙５０に対して、属性設定領域４２、手描き領域４３および載置領域４４に対して追加して配置される。この場合、音パターン指定領域４２０に指定される音パターンは、ユーザ画像に関連付けられることになる。これに限らず、音パターン指定領域４２０を、属性設定領域４２、手描き領域４３および載置領域４４が配置される用紙５０とは別の用紙に配置してもよい。この場合は、音パターン指定領域４２０に指定される音パターンを、例えば識別情報に関連付けることができる。
以下では、説明のため、音パターン指定領域４２０が、属性設定領域４２、手描き領域４３および載置領域４４と共に用紙５０に配置されるものとする。すなわち、音パターンは、ユーザ画像と関連付けられる。
なお、この場合であっても、例えば音パターン指定領域４２０を含む用紙を用紙５０とは別途用意して、媒体４０と同様に用紙５０上に載置することで、複数のユーザ画像に対して同一の音パターンを関連付けることが可能となる。
また、上述では、音パターン指定領域４２０により音パターンを直接的に指定するように説明したが、これはこの例に限定されない。例えば、予め用意された複数の音パターンから所望の音パターンを選択するようにもできる。
さらに、上述では、音パターン指定領域４２０にチェックすることで、音パターンを登録したが、これはこの例に限定されない。例えば、ユーザが実際に発生させた音パターンに基づき音パターンの登録を行うこともできる。例えば、ユーザが例えば手拍子などにより発生された音パターンを、マイクロホン１５により収音し、音信号としてＰＣ１０ｄに供給する。ＰＣ１０ｄは、供給された音信号を解析して音パターンを検出し、媒体４０に表示された識別画像４１から取得した識別情報に関連付けて、ユーザ画像ＤＢ２３０に登録する。
この場合、ＰＣ１０ｄなどにより、音パターン登録を促すメッセージと、登録開始（録音開始）を指示するユーザインタフェースを表示させるとよい。さらに、一定間隔で発音するクリック音などを発生させると、音パターンの登録をより容易に実行することができる。
図３８は、第２の実施形態に係る、画像取得装置２０により取得した画像を表示させる場合の処理を概略的に示す一例のフローチャートである。なお、図３８において、上述した図１６と共通する処理には同一の符号を付して、詳細な説明を省略する。
図３８の処理に先立って、ユーザは、処理用識別情報に基づく識別画像４１が表示された媒体４０と用紙５０とを用意し、用紙５０に所定に描画などを行い、また、用紙５０に配置される音パターン指定領域４２０に対して音パターンの指定を行う。その後、用紙５０を画像読取装置２０にセットし、当該媒体４０を用紙５０上の載置領域４４に載置して、画像取得装置２０による画像の取得処理を開始させる。画像取得装置２０は、取得した画像をＰＣ１０ｄに送信する。
ＰＣ１０ｄは、画像取得装置２０から送信された画像を受信して画像解析部２００ｂに供給する。画像解析部２００ｂは、供給された画像を取得し（ステップＳ１０）。次のステップＳ２１０で、画像解析部２００ｂは、供給された画像から手描き領域４３、属性設定領域４２および音パターン指定領域４２０をそれぞれ検出し、検出された各領域からユーザ画像、属性情報および音パターン情報を抽出する。また、画像解析部２００は、供給された画像から識別画像を抽出し、抽出した識別画像を復号して識別情報を取得する。
次のステップＳ１２で、登録部２０１は、ステップＳ２１０で抽出されたユーサ画像、属性情報および音パターン情報を、識別情報に関連付けてユーザ画像ＤＢ２３０に格納し、ユーザ画像の登録を行う。例えば、登録部２０１は、図２３を用いて説明した、第３階層のフォルダに、ユーザ画像および属性情報と共に、音パターン情報を格納する。なお、音パターン情報を、第２階層のフォルダに直接的に格納することで、第３階層の各フォルダに格納される各ユーザ画像に対して共通の音パターン情報を関連付けることが可能である。
次のステップＳ１３で、表示制御部２１０ｄは、ユーザ画像に対して、既に説明したようにして、表示を制御するためのパラメータｐ0〜ｐ7を設定する。そして、ステップＳ１４で、表示制御部２１０ｄは、パラメータｐが設定されたユーザ画像に対して定義領域内の座標を設定し、背景画像１１０と合成して画像１００を生成する。これにより、ユーザ画像が、定義領域として定義される３Ｄ空間内に、ユーザオブジェクトとして表示される。
図３９は、第２の実施形態に係る、音パターンに基づくユーザ画像の表示処理を概略的に示す一例のフローチャートである。図３９のフローチャートによる処理に先立って、ユーザは、例えば上述の図３８のフローチャートに従い、ユーザ画像、属性情報および音パターン情報を識別情報に関連付けてユーザ画像ＤＢ２３０に登録しておく。
ユーザがマイクロホン１５に向かって、例えば手拍子などにより、用紙５０の音パターン指定領域４２０に指定した音パターンを発生させる。マイクロホン１５から出力された音信号は、ＰＣ１０ｄに入力されて音声処理部２４０を介して音情報として表示制御部２１０ｄに供給される。表示制御部２１０ｄは、音パターン検出部２１０８により、供給された音情報に基づき音パターンを解析する。例えば、音パターン検出部２１０８は、音情報に基づき音信号のレベルを正規化し、正規化されたレベルに対して閾値判定を行い、音パターンを検出することが考えられる。
次のステップＳ２０１で、表示制御部２１０ｄは、検出された音パターン基づきユーザ画像ＤＢ２３０を検索し、当該音パターンに関連付けられたユーザ画像をユーザ画像ＤＢ２３０から取得する。次のステップＳ２０２で、表示制御部２１０ｄは、ステップＳ２０１で取得したユーザ画像に対して、図１６のステップＳ１３の処理と同様にして各パラメータｐ0〜ｐ7を決定し、各ユーザ画像に設定する。
そして、次のステップＳ２０３で、表示制御部２１０ｄは、パラメータｐが設定されたユーザ画像に対して定義領域内の座標を設定し、背景画像１１０と合成して画像１００を生成する。これにより、音パターンに関連付けられた各ユーザ画像が、定義領域として定義される３Ｄ空間内に、ユーザオブジェクトとして表示される。
なお、ステップＳ２０３において、各ユーザオブジェクトは、画像１００内に新規に出現して表示されることになる。このとき、ユーザオブジェクトの出現位置を予め決めておくことができる。例えば、この出現位置を、画像１００内の左右何れかの端部とすることが考えられる。
図４０は、第２の実施形態に係る、音パターンが関連付けられたユーザ画像によるユーザオブジェクトが既に画像１００内に表示されている場合の表示処理を示す一例のフローチャートである。ＰＣ１０ｄにおいて、表示制御部２１０ｄは、マイクロホン１５による収音を開始する（ステップＳ２２０）。
次のステップＳ２２１で、表示制御部２１０ｄは、一定時間の間、音が検出されなかったか否かを判定する。例えば、表示制御部２１０ｄは、ＲＡＭ１００３をバッファメモリとして用い、想定される音パターンに応じた長さの音信号を記憶し、記憶された音信号に基づき音の有無を判定する。表示制御部２１０ｄは、一定時間の間、音が検出されなかったと判定した場合、処理をステップＳ２２１に戻す。
なお、このステップＳ２２１の処理は、少しずつ時間をずらしながら繰り返し実行される。また、バッファメモリには、収音が終了されるまで、少しずつ時間をずらしながら、常に一定時間分の音信号が記憶される。
表示制御部２１０ｄは、一定時間内に音が検出されたと判定した場合、処理をステップＳ２２２に移行させる。ステップＳ２２２では、音が検出された位置に対応する画像１００内の座標を取得する。
上述の図３３の例では、１本のマイクロホン１５が配置されているのみであるので、音が検出された位置は、このマイクロホン１５の位置に対応する。これに限らず、被投射媒体１４の両端にそれぞれ１本ずつマイクロホンを設置し、ステレオで収音を行ってもよい。ステレオで収音を行った場合は、被投射媒体１４の水平方向の任意の位置が音検出位置となり得る。
次のステップＳ２２３で。表示制御部２１０ｄは、バッファメモリに記憶された音信号に基づき音パターンの解析を行う。次のステップＳ２２４で、表示制御部２１０ｄは、ステップＳ２２３で解析され取得された音パターンと、ユーザ画像ＤＢ２３０に登録されている音パターンとを比較する。そして、次のステップＳ２２５で、表示制御部２１０ｄは、ユーザ画像ＤＢ２３０内に、ステップＳ２２３で取得された音パターンと一致する音バターンが存在するか否かを判定する。表示制御部２１０ｄは、一致する音パターンが存在しないと判定した場合、処理をステップＳ２２１に戻す。
一方、表示制御部２１０ｄは、一致する音パターンが存在すると判定した場合、処理をステップＳ２２６に移行させる。ステップＳ２２６で、表示制御部２１０ｄは、この一致する音パターンに関連付けられたユーザ画像を、表示キュー領域から取得する。次のステップＳ２２７で、表示制御部２１０ｄは、表示キュー領域から取得したユーザ画像に対応するユーザオブジェクトを、ステップＳ２２２で取得された、音が検出された座標に向けて移動させる。そして、表示制御部２１０ｄは、処理をステップＳ２２１に戻す。
このように、音の検出に応じてユーザオブジェクトの動きを制御することで、ユーザオブジェクトの動きに対してインタラクティブ性を持たせることができる。
なお、上述では、音パターンの検出をマイクロホン１５で収音された音に基づき行っているが、これはこの例に限られない。例えば、楽器様の器具を用いて音パターンの検出を行ってもよい。一例として、カスタネットのような打楽器にスイッチを設け、叩かれた際に信号を出力するようにした器具を用いることが考えられる。この器具の信号出力をＰＣ１０ｄに供給する。ＰＣ１０ｄは、器具から供給された信号を解析して、音パターンを検出する。このとき、器具の出力信号に、器具の位置情報を含めることで、ステップＳ２２７による座標に応じた制御が可能となる。器具の位置情報は、器具に予め設定することが考えられる。器具の位置情報をセンサ１３で検出することも可能である。
（第２の実施形態の第１の変形例）
次に、第２の実施形態の第１の変形例について説明する。この第２の実施形態の第１の変形例は、第２の実施形態の音によるユーザオブジェクトの制御に加えて、上述した第１の実施形態における、識別画像４１によるユーザ画像の取得を組み合わせている。
図４１は、第２の実施形態の第１の変形例による表示システムの一例の構成を示す。なお、図４１において、上述した図１および図３３と共通する部分には同一の符号を付して、詳細な説明を省略する。また、図４１において、図１に示した画像取得装置２０および識別画像読取装置２１は、省略されている。
図４１において、表示システム１ｅは、被投射媒体１４の近傍、望ましくはマイクロホン１５の近傍に、識別画像読取装置１６が設けられる。識別画像読取装置１６は、上述した識別画像読取装置２１と同等の機能を有し、媒体４０の画像を取得し、取得した画像から、媒体４０に表示される識別画像４１を読み取ってＰＣ１０ｅに供給する。
識別画像読取装置１６は、識別画像読取装置２１と別個の装置として設けてもよいし、識別画像読取装置２１と共通としてもよい。また、ＰＣ１０ｅは、構成は、図１２を用いて説明したＰＣ１０ａの構成を、機能は、図３５を用いて説明した機能を、それぞれそのまま適用できるので、ここでの説明を省略する。例えば、識別画像読取装置１６の出力は、ＰＣ１０ｅ内の表示制御部（図３５の表示制御部２１０ｄに対応）に供給される。
さらに、ＤＢ１２ｅは、上述の第２の実施形態のＤＢ１２ｄと同様に、音パターンとユーザ画像とを関連付けて格納することができる。より具体的には、ＤＢ１２ｅは、ユーザ画像ＤＢ２３０と、表示画像ＤＢ２３１とを含み、ユーザ画像ＤＢ２３０は、ユーザ画像、属性情報および音パターン情報を、識別情報に関連付けて格納する。
図４２は、第２の実施形態の第１の変形例による処理を概略的に示す一例のフローチャートである。図４２のフローチャートによる処理に先立って、ユーザは、例えば上述の図３８のフローチャートに従い、ユーザ画像、属性情報および音パターン情報を識別情報に関連付けてユーザ画像ＤＢ２３０に登録しておく。
ステップＳ２４０で、ＰＣ１０ｅは、識別画像読取装置１６により読み取られた媒体４０の画像から取得された識別情報に基づきＤＢ１２ｅを検索し、当該識別情報に関連付けられたユーザ画像を特定する。
例えば、ユーザは、識別画像４１が表示される媒体４０を識別画像読取装置１６にセットする。識別画像読取装置１６は、ユーザ操作などによる指示に応じて、媒体４０の画像を読み取り、読み取った画像をＰＣ１０ｅに送信する。ＰＣ１０ｅは、識別画像読取装置１６から送信された画像に含まれる識別画像４１を復号して識別情報を取得する。そして、ＰＣ１０ｅは、取得した識別情報に基づきＤＢ１２ｅに含まれるユーザ画像ＤＢ２３０を検索し、当該識別情報に関連付けられたユーザ画像を特定する。
次に、ステップＳ２４１で、ＰＣ１０ｅは、マイクロホン１５から供給された音信号に基づき音パターンを取得し、取得した音パターンに基づきＤＢ１２ｅを検索し、当該音パターンに関連付けられたユーザ画像を特定する。
例えば、ユーザは、予めユーザ画像に関連付けて登録しておいた音パターンを、マイクロホン１５に向かって、例えば手拍子などにより発生させる。マイクロホン１５から出力された音信号は、ＰＣ１０ｅに入力される。ＰＣ１０ｅは、図３９のステップＳ２０１にて説明したようにして、入力された音信号から音パターンを検出する。そして、ＰＣ１０ｅは、検出された音パターンに基づきＤＢ１２ｅに含まれるユーザ画像ＤＢ２３０を検索し、当該音パターンに関連付けられたユーザ画像を特定する。
次のステップＳ２４２で、ＰＣ１０ｅは、ステップＳ２４０およびステップＳ２４１の処理結果に基づき、識別情報および音パターンに共通して特定されるユーザ画像を、３Ｄ空間内のオブジェクトとして画像１００に表示させる。
例えば、ＰＣ１０ｅは、識別情報および音パターンに共通して特定されるユーザ画像を、対応する属性情報と共に、ＤＢ１２ｅに含まれるユーザ画像ＤＢ２３０から取得する。ＰＣ１０ｅは、取得したユーザ画像に対して、属性情報に基づき図１６のステップＳ１３の処理と同様にして各パラメータｐ0〜ｐ7を決定する。そして、ＰＣ１０ｅは、各パラメータｐが設定されたユーザ画像に対して定義領域内の座標を設定し、背景画像１１０と合成して画像１００を生成する。これにより、識別情報および音パターンに共通して関連付けられた各ユーザ画像が、定義領域として定義される３Ｄ空間内に、ユーザオブジェクトとして表示される。
第２の実施形態の第１の変形例の適用例について、概略的に説明する。第２の実施形態の第１の変形例に係る表示システム１ｅを利用するユーザとして、例えば、親子連れのユーザ（親をユーザＡ、子をユーザＢとする）を想定する。ユーザＡは、識別画像４１が表示される媒体４０を識別画像読取装置１６にセットして、媒体４０の画像を識別画像読取装置１６に読み取らせる。ここで、識別画像読取装置１６は、媒体４０がセットされたことを検知し、自動的に画像の読み取りを開始するように構成すると、好ましい。
ユーザＢは、マイクロホン１５の近傍で、予め登録しておいた音パターンを、例えば手拍子にて発生させる。これにより、識別画像４１に基づく識別情報と、音パターンとに共通して特定されるユーザ画像によるユーザオブジェクトが、画像１００に出現する。
この構成によれば、親であるユーザＡは、子であるユーザＢを見守ることができ、且つ、表示システム１ｅは、媒体４０上の識別画像４１に基づく識別情報に関連付けられたユーザ画像を特定することができる。これにより、例えばマイクロホン１５の前で手拍子などによりリズムを取ると、そのリズムに関連付けられ、且つ、識別情報に関連付けられたユーザ画像を特定し、ユーザオブジェクトとして画像１００内に表示させることができる。
例えば、画像１００の一部（左右端の何れかが好ましい）を、ユーザオブジェクトの再入場領域として予め設定しておく。そして、画像１００から退場した、例えば画像１００外に移動してしまったユーザオブジェクトを再度画像１００内に登場させるために、ユーザＡが識別画像４１が表示される媒体４０を識別画像読取装置１６にセットし、ユーザＢが予め登録しておいたリズムで手拍子を鳴らす、といった動作を要求することで、ゲーム性を持たせながら、ユーザＢのリズム感を養成することが可能である。
（第２の実施形態の第２の変形例）
図４１で示した第２の実施形態の第１の変形例による表示システム１ｅに対し、識別画像読取装置１６の近傍に、操作のガイドを提示するＰＣを設けると、より好ましい。図４３は、第２の実施形態の第２の変形例に係る、操作ガイドのＰＣが設けられた表示システムの一例の構成を示す。なお、図４３において、上述した図１および図４１と共通する部分には同一の符号を付して、詳細な説明を省略する。また、図４３において、図１に示した画像取得装置２０および識別画像読取装置２１は、省略されている。
図４３において、表示システム１ｅ’は、図４１の表示システム１ｅに対してＰＣ７０が追加されている。ＰＣ７０は、ＰＣ１０ｅと同様にして、識別画像読取装置１６から出力された画像に基づき識別情報を取得することができる。それと共に、ＰＣ７０は、識別情報に関連付けられたユーザ画像、属性情報および音パターン情報の組を、ＤＢ１２ｅに含まれるユーザ画像ＤＢ２３０から取得することができる。
なお、ＰＣ７０は、図１２を用いて説明したＰＣ１０ａの構成をそのまま適用できるので、ここでの説明を省略する。
ＰＣ７０は、識別画像読取装置１６から出力された画像に基づく識別情報に関連付けられたユーザ画像をＤＢ１２ｅから取得し、取得したユーザ画像をＰＣ７０が備えるモニタに表示させることができる。このとき、ＰＣ７０は、取得したユーザ画像のサイズを縮小してサムネイル画像を生成し、このサムネイル画像の一覧をモニタに表示させてもよい。
また、用紙５０に例えば手描き領域４３の画像に対する名前を記入する名前記入領域が設けられている場合、この名前記入領域に記入された名前情報を、モニタに表示させてもよい。例えば、ＰＣ１０ｅは、画像取得装置２０で取得された用紙５０の画像から、名前記入領域の画像をさらに抽出し、抽出された画像を名前情報として、ユーザ画像、属性情報および音パターン情報と共に識別情報に関連付けてＤＢ１２ｅ内のユーザ画像ＤＢ２３０に格納する。ＰＣ１０ｅは、名前記入領域の画像に対して文字認識を行い得られた文字列を、名前情報として用いてもよい。ＰＣ７０は、識別画像読取装置１６から出力された画像に基づく識別情報に関連付けられた名前情報をＤＢ１２ｅから取得して、名前情報の一覧をモニタに表示させる。
さらに、ＰＣ７０は、上述したサムネイル画像や名前情報の一覧からユーザ操作により指定されたサムネイル画像または名前情報に対応する音パターン情報をＤＢ１２ｅから取得し、取得した音パターン情報を発生させるべき音パターンのガイドとしてユーザに提示することができる。音パターンのガイドは、音譜など視覚情報としてモニタに表示させてユーザに提示してもよいし、音パターンに従い音を発生させて、聴覚情報としてユーザに提示してもよい。
さらに例えば、センサ１３によりユーザＢの位置を検知して、検知された位置に応じて画像１００内の、識別情報に関連付けられたユーザ画像によるユーザオブジェクトを移動させることもできる。一例として、ユーザＢが画像１００（被投射媒体１４）の前を左右に移動すると、この移動に従い、識別情報に関連付けられたユーザ画像によるユーザオブジェクトが列になって移動するようになる。
なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。
１ａ，１ｄ，１ｅ，１ｅ’ 表示システム
１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ ＰＣ
１１ プロジェクタ
１２ａ，１２ｄ ＤＢ
１３ センサ
１４ 被投射媒体
１５ マイクロホン
１６，２１ 識別画像読取装置
２０ 画像取得装置
４０，４０’ 媒体
４１ 識別画像
４２ 属性設定領域
４３ 手描き領域
４４ 載置領域
４５ 絵
５０ 用紙
１００ 画像
１１０ 背景画像
１１０ａ 空領域
１１０ｂ 陸領域
１１１ 固定オブジェクト
１１２，１３０1〜１３０3，１３１ アイコン画像
１２０1〜１２０4，１２０10〜１２０13，１２０20〜１２０27 ユーザオブジェクト
２００，２００ｂ，２００ｃ，２００ｄ 画像解析部
２０１ 登録部
２１０ａ，２１０ｂ，２１０ｃ，２１０ｄ 表示制御部
２３０ ユーザ画像ＤＢ
２３１ 表示画像ＤＢ
２３２ 付加処理用ＤＢ
２３３ ロゴ画像ＤＢ
３２０ 第１階層のフォルダ
３２１1，３２１2，３２１3，…，３２１m，３２１m+1，３２１m+2，… 第２階層のフォルダ
３２２1〜３２２5 第３階層のフォルダ
３３０ ログ情報
４２０ 音パターン指定領域
４２１，４２１’ パターン指定部
１００１ ＣＰＵ
１００３ ＲＡＭ
１００６ ストレージ
２００１ 画像取得部
２００２ ユーザ画像抽出部
２００３，２１０２ 識別情報取得部
２００４ 属性情報取得部
２１０１，２１０１ｄ 画像管理部
２１０３ａ，２１０３ｄ 画像制御部
２１０４ モーション情報取得部
２１０７ 合成部
２１０８ 音パターン検出部
２１２０ 表示画像取得部
特許第４１６１３２５号公報

Claims (14)

  1. 識別情報を含む識別画像が表示される媒体を載置可能な用紙であって、ユーザにより提示されたユーザ画像を含む用紙の画像を取得する画像取得部と、
    前記画像取得部で取得された画像から前記識別情報を取得する第１の識別情報取得部と、
    前記画像取得部で取得された画像から前記ユーザ画像を抽出する画像抽出部と、
    単体の前記媒体から前記識別情報を取得する第２の識別情報取得部と、
    前記ユーザ画像を前記識別情報と関連付けて第１の格納部に格納し、該第１の格納部に格納される該ユーザ画像のうち、関連付けられた識別情報が前記第２の識別情報取得部が取得した識別情報と一致するユーザ画像を該第１の格納部から取得する管理部と
    を備え、
    前記用紙は、前記ユーザ画像の属性を示す属性情報に対応する属性情報画像をさらに含み、
    前記画像抽出部は、前記画像取得部で取得された画像から前記属性情報画像をさらに抽出し、
    前記管理部は、前記画像抽出部で抽出された前記属性情報画像から前記属性情報を取得し、該属性情報および前記ユーザ画像の組と、前記識別情報とを関連付けて前記第１の格納部に格納する、
    画像管理装置。
  2. 前記識別情報は、該識別情報を生成した時間を示す生成時間情報を含む
    請求項１に記載の画像管理装置。
  3. 前記管理部は、
    前記第１の格納部に対し、前記識別情報に基づき第１の領域を作成し、前記画像取得部が前記用紙の画像を取得した時間を示す取得時間情報に基づき、該第１の領域内に第２の領域を作成し、該第２の領域に該識別情報に関連付けられる前記ユーザ画像を格納する
    請求項１または請求項２に記載の画像管理装置。
  4. 前記ユーザ画像の表示を制御する表示制御部をさらに備え、
    前記管理部は、
    前記関連付けられた識別情報が前記第２の識別情報取得部が取得した識別情報と一致するユーザ画像を第２の格納部に格納し、
    前記表示制御部は、
    前記第２の格納部に格納されるユーザ画像の表示を制御する
    請求項１乃至請求項３の何れか１項に記載の画像管理装置。
  5. 前記管理部は、
    前記第２の格納部に格納されるユーザ画像の数が予め定められた数を超えた場合に、該第２の格納部に格納されるユーザ画像のうち、最も早く格納されたユーザ画像を該第２の格納部から削除する
    請求項４に記載の画像管理装置。
  6. 前記管理部は、
    予め定められた条件に適合するユーザ画像を除いて、前記第２の格納部に格納されるユーザ画像の数を計数する
    請求項５に記載の画像管理装置。
  7. 前記管理部は、
    前記第２の識別情報取得部が取得した前記識別情報と、該識別情報を取得した日付および時間を含む時間情報とを少なくとも含む利用情報をログ情報に記憶する
    請求項６に記載の画像管理装置。
  8. 前記管理部は、
    前記第２の識別情報取得部が前記識別情報を取得した際に、前記ログ情報に記憶される前記利用情報のうち該識別情報が一致する第１の利用情報を抽出し、さらに、該第１の利用情報のうち、前記時間情報に含まれる前記日付が当日の日付と一致する第２の利用情報を抽出する
    請求項７に記載の画像管理装置。
  9. 前記管理部は、
    前記第２の利用情報の数が予め定められた数未満の場合に、前記第２の格納部から、該第２の利用情報に含まれる前記識別情報に対応する前記ユーザ画像を抽出し、
    前記表示制御部は、
    前記管理部に抽出された前記第２の利用情報に含まれる前記識別情報に対応する前記ユーザ画像の表示を変化させる
    請求項８に記載の画像管理装置。
  10. 付加処理情報が付加処理識別情報に関連付けられて格納される第３の格納部をさらに備え、
    前記管理部は、
    前記第２の識別情報取得部が取得した前記識別情報に前記付加処理識別情報が含まれている場合に、前記第３の格納部から該付加処理識別情報に関連付けられた前記付加処理情報を取得する
    請求項１乃至請求項９の何れか１項に記載の画像管理装置。
  11. 音を取得して、取得した音のパターンを検出する音検出部をさらに備え、
    前記第１の格納部は、
    音のパターンを示すパターン情報が前記ユーザ画像に関連付けられてさらに格納され、
    前記管理部は、
    前記音検出部で検出された前記パターンに対応する前記パターン情報が前記第１の格納部に格納されている場合に、該パターン情報に関連付けられたユーザ画像を該第１の格納部から取得する
    請求項１乃至請求項１０の何れか１項に記載の画像管理装置。
  12. 画像管理装置で実行される画像管理方法であって、
    前記画像管理装置は、画像取得部と、第１の識別情報取得部と、画像抽出部と、第２の識別情報取得部と、管理部と、を備え、
    前記画像取得部が、識別情報を含む識別画像が表示される媒体を載置可能な用紙であって、ユーザにより提示されたユーザ画像を含む用紙の画像を取得する画像取得ステップと、
    前記第１の識別情報取得部が、前記画像取得ステップにより取得された画像から前記識別情報を取得する第１の識別情報取得ステップと、
    前記画像抽出部が、前記画像取得ステップにより取得された画像から前記ユーザ画像を抽出する画像抽出ステップと、
    前記第２の識別情報取得部が、単体の前記媒体から前記識別情報を取得する第２の識別情報取得ステップと、
    前記管理部が、前記ユーザ画像を前記識別情報と関連付けて第１の格納部に格納し、該第１の格納部に格納される該ユーザ画像のうち、関連付けられた識別情報が前記第２の識別情報取得ステップが取得した識別情報と一致するユーザ画像を該第１の格納部から取得する管理ステップと
    を含み、
    前記用紙は、前記ユーザ画像の属性を示す属性情報に対応する属性情報画像をさらに含み、
    前記画像抽出ステップは、前記画像取得ステップで取得された画像から前記属性情報画像をさらに抽出し、
    前記管理ステップは、前記画像抽出ステップで抽出された前記属性情報画像から前記属性情報を取得し、該属性情報および前記ユーザ画像の組と、前記識別情報とを関連付けて前記第１の格納部に格納する、
    画像管理方法。
  13. 識別情報を含む識別画像が表示される媒体を載置可能な用紙であって、ユーザにより提示されたユーザ画像を含む用紙の画像を取得する画像取得ステップと、
    前記画像取得ステップにより取得された画像から前記識別情報を取得する第１の識別情報取得ステップと、
    前記画像取得ステップにより取得された画像から前記ユーザ画像を抽出する画像抽出ステップと、
    単体の前記媒体から前記識別情報を取得する第２の識別情報取得ステップと、
    前記ユーザ画像を前記識別情報と関連付けて第１の格納部に格納し、該第１の格納部に格納される該ユーザ画像のうち、関連付けられた識別情報が前記第２の識別情報取得ステップが取得した識別情報と一致するユーザ画像を該第１の格納部から取得する管理ステップと
    をコンピュータに実行させ、
    前記用紙は、前記ユーザ画像の属性を示す属性情報に対応する属性情報画像をさらに含み、
    前記画像抽出ステップは、前記画像取得ステップで取得された画像から前記属性情報画像をさらに抽出し、
    前記管理ステップは、前記画像抽出ステップで抽出された前記属性情報画像から前記属性情報を取得し、該属性情報および前記ユーザ画像の組と、前記識別情報とを関連付けて前記第１の格納部に格納する、
    画像管理プログラム。
  14. 識別情報を含む識別画像が表示される媒体を載置可能な用紙であって、ユーザにより提示されたユーザ画像を含む用紙の画像を取得する画像取得部と、
    前記画像取得部で取得された画像から前記識別情報を取得する第１の識別情報取得部と、
    前記画像取得部で取得された画像から前記ユーザ画像を抽出する画像抽出部と、
    単体の前記媒体から前記識別情報を取得する第２の識別情報取得部と、
    前記ユーザ画像を前記識別情報と関連付けて第１の格納部に格納し、該第１の格納部に格納される該ユーザ画像のうち、関連付けられた識別情報が前記第２の識別情報取得部が取得した識別情報と一致するユーザ画像を該第１の格納部から取得する管理部と、
    前記ユーザ画像の表示を制御する表示制御部と
    を備え、
    前記用紙は、前記ユーザ画像の属性を示す属性情報に対応する属性情報画像をさらに含み、
    前記画像抽出部は、前記画像取得部で取得された画像から前記属性情報画像をさらに抽出し、
    前記管理部は、前記画像抽出部で抽出された前記属性情報画像から前記属性情報を取得し、該属性情報および前記ユーザ画像の組と、前記識別情報とを関連付けて前記第１の格納部に格納し、
    前記管理部は、
    前記関連付けられた識別情報が前記第２の識別情報取得部が取得した識別情報と一致するユーザ画像を第２の格納部に格納し、
    前記表示制御部は、
    前記第２の格納部に格納されるユーザ画像の表示を制御する
    表示システム。
JP2015057887A 2015-03-20 2015-03-20 画像管理装置、画像管理方法、画像管理プログラムおよび表示システム Active JP6558006B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015057887A JP6558006B2 (ja) 2015-03-20 2015-03-20 画像管理装置、画像管理方法、画像管理プログラムおよび表示システム
EP16767979.4A EP3271838B1 (en) 2015-03-20 2016-03-11 Image management device, image management method, image management program, and presentation system
CN201680016723.8A CN107408133B (zh) 2015-03-20 2016-03-11 图像管理设备、图像管理方法、图像管理程序和呈现系统
US15/556,811 US10762706B2 (en) 2015-03-20 2016-03-11 Image management device, image management method, image management program, and presentation system
SG11201707433XA SG11201707433XA (en) 2015-03-20 2016-03-11 Image management device, image management method, image management program, and presentation system
PCT/JP2016/001398 WO2016152070A1 (en) 2015-03-20 2016-03-11 Image management device, image management method, image management program, and presentation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015057887A JP6558006B2 (ja) 2015-03-20 2015-03-20 画像管理装置、画像管理方法、画像管理プログラムおよび表示システム

Publications (2)

Publication Number Publication Date
JP2016177595A JP2016177595A (ja) 2016-10-06
JP6558006B2 true JP6558006B2 (ja) 2019-08-14

Family

ID=56978118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015057887A Active JP6558006B2 (ja) 2015-03-20 2015-03-20 画像管理装置、画像管理方法、画像管理プログラムおよび表示システム

Country Status (6)

Country Link
US (1) US10762706B2 (ja)
EP (1) EP3271838B1 (ja)
JP (1) JP6558006B2 (ja)
CN (1) CN107408133B (ja)
SG (1) SG11201707433XA (ja)
WO (1) WO2016152070A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152486A1 (ja) * 2015-03-20 2016-09-29 株式会社リコー 表示装置、表示制御方法、表示制御プログラムおよび表示システム
EP3267289B1 (en) 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
US10674137B2 (en) * 2017-05-19 2020-06-02 Ricoh Company, Ltd. Display control, apparatus, display system, display control method, and non-transitory recording medium
US10997410B2 (en) 2018-08-31 2021-05-04 Ricoh Company, Ltd. Information processing device and information processing system
JP7272100B2 (ja) * 2018-08-31 2023-05-12 株式会社リコー 情報処理装置、情報処理システム、方法、およびプログラム
JP7310283B2 (ja) * 2018-09-28 2023-07-19 株式会社リコー 表示制御システム、表示制御装置、表示制御方法、およびプログラム
US11017578B2 (en) * 2018-09-28 2021-05-25 Ricoh Company, Ltd. Display control system to control a display based on detecting wind
JP7451929B2 (ja) 2019-10-11 2024-03-19 株式会社リコー 表示制御装置、表示制御システム、プログラムおよび表示制御方法
JP7472681B2 (ja) 2019-11-25 2024-04-23 株式会社リコー 情報処理装置、プログラムおよび情報処理方法
US20210375023A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Content animation using one or more neural networks
US11544889B2 (en) * 2020-06-14 2023-01-03 Trygve Austin Nordberg System and method for generating an animation from a template
CN115035360B (zh) * 2021-11-22 2023-04-07 荣耀终端有限公司 图像的文字识别方法、电子设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122403A (en) * 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
US5854634A (en) 1995-12-26 1998-12-29 Imax Corporation Computer-assisted animation construction system using source poses within a pose transformation space
JP4144961B2 (ja) * 1999-01-14 2008-09-03 富士フイルム株式会社 画像データ通信システム，サーバ・システムおよびその制御方法ならびにサーバ・システムを制御するためのプログラムを格納した記録媒体
JP2002140433A (ja) * 2000-11-02 2002-05-17 Hitachi Medical Corp 画像検索システム及びその方法
JP2003219327A (ja) * 2001-09-28 2003-07-31 Canon Inc 画像管理装置、画像管理方法、制御プログラム、情報処理システム、画像データ管理方法、アダプタ、及びサーバ
US20060247809A1 (en) * 2003-09-30 2006-11-02 Noriyuki Sakoh Data display control device
JP3851907B2 (ja) * 2004-02-18 2006-11-29 株式会社ソニー・コンピュータエンタテインメント 画像表示システム及びビデオゲームシステム
JP2007004342A (ja) * 2005-06-22 2007-01-11 Asahi Kasei Corp 医療用電子ファイリングシステム
US20070017452A1 (en) * 2005-07-21 2007-01-25 Hurwitz Marni M Portable water bottle and dish assembly for humans and pets
JP2007201660A (ja) * 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP4714059B2 (ja) * 2006-03-29 2011-06-29 トッパン・フォームズ株式会社 試験実施セット、試験管理システム及び試験管理方法
US20080068674A1 (en) * 2006-09-15 2008-03-20 Mcintyre Dale F Automated scanning of hard copy images
US8558663B2 (en) * 2007-11-30 2013-10-15 Bank Of America Corporation Integration of facial recognition into cross channel authentication
JP5178293B2 (ja) * 2008-04-15 2013-04-10 キヤノン株式会社 ワークフロー実行装置、ワークフロー実行方法、及びコンピュータプログラム
US20090307264A1 (en) 2008-06-05 2009-12-10 Kabushiki Kaisha Toshiba Object acquisition device, object management system, and object management method
JP5504965B2 (ja) 2010-02-23 2014-05-28 株式会社リコー 情報処理装置、利用制限方法、及びプログラム
JP2011145852A (ja) 2010-01-14 2011-07-28 Seiko Epson Corp 管理サーバー、画像管理方法および画像管理プログラム
JP5716099B2 (ja) * 2011-07-22 2015-05-13 株式会社日立製作所 情報処理システム及び情報処理システムの制御方法
JP5905690B2 (ja) * 2011-09-15 2016-04-20 国立大学法人 大阪教育大学 答案処理装置、答案処理方法、プログラム、およびシール
JP5932354B2 (ja) * 2012-01-20 2016-06-08 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
KR102109054B1 (ko) * 2013-04-26 2020-05-28 삼성전자주식회사 애니메이션 효과를 제공하는 사용자 단말 장치 및 그 디스플레이 방법
KR20140128814A (ko) * 2013-04-29 2014-11-06 인포뱅크 주식회사 휴대용 단말기 및 그 동작 방법
JP6361146B2 (ja) 2013-05-09 2018-07-25 株式会社リコー 表示制御プログラム、表示制御方法および表示制御装置、ならびに、表示システム
US9001370B1 (en) * 2013-11-15 2015-04-07 Ricoh Company, Ltd. Card authentication for OAuth supported cloud services on a multi-function device
CN104331437B (zh) 2014-10-24 2017-11-17 百度在线网络技术（北京）有限公司 生成图片描述信息的方法和装置
US20160179361A1 (en) * 2014-12-22 2016-06-23 International Business Machines Corporation Parameterized Computed Scrolling for Navigation of Structured Data

Also Published As

Publication number Publication date
SG11201707433XA (en) 2017-10-30
US10762706B2 (en) 2020-09-01
EP3271838A1 (en) 2018-01-24
WO2016152070A1 (en) 2016-09-29
US20180047209A1 (en) 2018-02-15
CN107408133A (zh) 2017-11-28
JP2016177595A (ja) 2016-10-06
CN107408133B (zh) 2020-08-18
EP3271838A4 (en) 2018-08-08
EP3271838B1 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
JP6558006B2 (ja) 画像管理装置、画像管理方法、画像管理プログラムおよび表示システム
JP6521055B2 (ja) 表示装置、表示制御方法、表示制御プログラムおよび表示システム
CN1320506C (zh) 通用计算装置
CN107810629A (zh) 图像处理装置和图像处理方法
US20170053449A1 (en) Apparatus for providing virtual contents to augment usability of real object and method using the same
JP2009245071A (ja) レイアウト決定方法、プログラムおよび装置
JP5262888B2 (ja) 文書表示制御装置及びプログラム
JP2006040045A (ja) 情報処理装置、立体物、情報処理システム及び情報処理方法
JP2009230431A (ja) 画像出力方法、装置およびプログラム
JP2008217660A (ja) 検索方法、および装置
JP2022022244A (ja) 情報処理装置、管理データの生成方法及び管理データ
JP2006301534A (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ
US10819902B2 (en) Information processing apparatus and non-transitory computer readable medium
JP7396326B2 (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
US20210158595A1 (en) Information processing apparatus, information processing method, and information processing system
JP7472681B2 (ja) 情報処理装置、プログラムおよび情報処理方法
US20230377363A1 (en) Machine learning based multipage scanning
JP2004070023A (ja) 資料提示装置
JP2005196481A (ja) 画像形成装置、画像形成方法、およびプログラム
JP6705988B2 (ja) 情報処理システム、その制御方法、及びプログラム
CN107003714A (zh) 从图像开发上下文信息
JP2015095144A (ja) 処理装置及びプログラム
JP2017215445A (ja) 情報処理装置
JP2016192030A (ja) サーバシステム、コンテンツ提供システム及び情報処理方法
JP2012190466A (ja) レイアウト決定方法、プログラムおよび装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R151 Written notification of patent or utility model registration

Ref document number: 6558006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151