JP5833306B2 - Wedding simulation system - Google Patents

Wedding simulation system Download PDF

Info

Publication number
JP5833306B2
JP5833306B2 JP2010285994A JP2010285994A JP5833306B2 JP 5833306 B2 JP5833306 B2 JP 5833306B2 JP 2010285994 A JP2010285994 A JP 2010285994A JP 2010285994 A JP2010285994 A JP 2010285994A JP 5833306 B2 JP5833306 B2 JP 5833306B2
Authority
JP
Japan
Prior art keywords
data
dimensional
person
venue
costume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010285994A
Other languages
Japanese (ja)
Other versions
JP2012133632A (en
Inventor
茂雄 渋谷
茂雄 渋谷
千文 佐藤
千文 佐藤
美穂 大西
美穂 大西
裕美 東
裕美 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Solutions Ltd
Original Assignee
Hitachi Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Solutions Ltd filed Critical Hitachi Solutions Ltd
Priority to JP2010285994A priority Critical patent/JP5833306B2/en
Publication of JP2012133632A publication Critical patent/JP2012133632A/en
Application granted granted Critical
Publication of JP5833306B2 publication Critical patent/JP5833306B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、結婚式や披露宴における各種のシーンのシミュレーションや費用の見積もり金額の試算を行うことができるシステムに関するものである。   The present invention relates to a system capable of performing simulations of various scenes at weddings and receptions and estimating cost estimates.

従来より、結婚式及び結婚披露宴の開催を希望する者は、まず情報誌やWebによる情報ページの閲覧などにより情報収集を行い、自分がイメージする式が実施できそうな式場や、希望に近いサービスを提供するであろうと予測される式場を幾つかリストアップし、リストアップした式場に幾度となく足を運び最終決定するのが常である。実際には、式場を最終決定するまでに20件相当の会場をめぐるケースもあり、そのために時間と費用を費やすことが多く見受けられている。また、情報誌やWebページでの情報からイメージしたものと実際の会場とのギャップ、信用度の低い概算見積、長くかかるコーディネータとの打合せ時間などに対して、疲労感と不信感を覚えるユーザは後をたたない。一方、お客様をお迎えする結婚式場は、見に来ただけのお客様を囲い込むことは難しく、さまざまなオプションにより正確な見積を提示することができないため、信用を失い、長い打合せ時間で人件費の増加が問題視されている。   Traditionally, those who wish to hold a wedding or wedding reception first collect information by browsing information pages via information magazines and the Web, etc. It is usual to list several ceremonies that are expected to provide the ceremonies and go to the listed ceremonies several times to make a final decision. In fact, there are cases where 20 venues are visited before the final decision of the ceremony hall, and many people spend time and money. In addition, users who feel tired and distrustful about the gap between what was imagined from information in information magazines and web pages and the actual venue, rough estimates with low creditworthiness, and long meeting times with the coordinator will be later Don't hit. On the other hand, wedding halls that greet customers are difficult to enclose customers who just came to see them, and can not provide accurate estimates with various options, so they lose trust and spend a long meeting time with labor costs Increase is seen as a problem.

そのような現状に鑑み、結婚を予定するユーザが式場に出向かなくても結婚式をイメージしたり会場の選択などを可能とする技術が考えられている。   In view of such a current situation, a technique is conceived in which a user who plans to get married can imagine a wedding ceremony or select a venue without going to a ceremony hall.

特許文献1には、挙式予定者が式場に出向かなくても結婚式や披露宴のシミュレーションを疑似体験することができる技術が開示されている。これは、予め結婚式の式場、披露宴会場、衣裳、装花などの各種素材情報の画像データなどを登録しておき、挙式予定者が、登録されている提供側の各種素材情報から希望する会場や衣裳などを選択し、挙式予定者自身の写真を画像データとしてアップロードして登録すると、自分たちの画像データと選択した各種素材との合成画像や動画を見ることができるものである。   Patent Document 1 discloses a technique that allows a simulated wedding ceremony or reception to be simulated even if a person planning a wedding does not go to the ceremony hall. This is a pre-registered image data of various material information such as wedding ceremonies, wedding banquet halls, costumes, and flower arrangements. If you select a costume or costume, and upload and register a photo of the person planning the wedding as image data, you can view composite images and videos of their image data and selected materials.

特許文献2には、複数の利用者がイベント内容を同時性を保って判断でき満足できるイベント会場を簡単に決めることができるイベント会場選定技術が開示されている。これは、複数の利用者がそれぞれの利用者端末でイベント会場を相談しながら決めるのに、予め定めた利用者端末1が選択した会場画像を利用者端末2に配信して表示し、これにより複数の利用者が同時性を保って会場選択の判断が行えるようにしたものである。   Patent Document 2 discloses an event venue selection technique that allows a plurality of users to easily determine an event venue that can be satisfied by judging the content of an event while maintaining the same content. This is because a plurality of users decides while consulting the event venue at each user terminal, and the venue image selected by the predetermined user terminal 1 is delivered to the user terminal 2 and displayed. This allows multiple users to determine venue selection while maintaining simultaneity.

特許文献3には、結婚式を行うための準備を円滑に行うための結婚式シミュレーション技術が開示されている。これは、新郎及び新婦の顔写真や体型を入力し、予め用意してある衣装画像や式場画像と合成して表示することにより、新郎及び新婦が式場に出向く手間を省けるようにしたものである。   Patent Document 3 discloses a wedding simulation technique for smoothly preparing for a wedding. This is a way to save time and effort for the groom and the bride to go to the ceremony hall by inputting facial pictures and body shapes of the groom and bride and combining them with the costume images and ceremony hall images prepared in advance. .

特許文献4には、所定のホームページ上で挙式や披露宴の演出及び費用の算出などのシミュレーションを行うブライダルパッケージシステムが開示されている。   Patent Document 4 discloses a bridal package system that performs a simulation such as a wedding ceremony, reception of a banquet, and calculation of expenses on a predetermined homepage.

特開2001-357148号公報JP 2001-357148 特開2002-032496号公報Japanese Patent Laid-Open No. 2002-032496 特開2003-076800号公報JP2003-076800 特開2004-178527号公報JP 2004-178527 A

上述した情報誌やWebによる情報収集だけでは、式次第及び会場装飾の準備進行を検討することや、衣装カタログの閲覧などは可能ではあるものの、多種多様な衣装や多種多様なオプションが取り揃えられている現代の結婚式や披露宴においては、例えば新郎新婦自身の全身と衣装を合わせるだけでも実際の会場に何度も足を運ぶ必要がある場合があり、時間及び体力が可能な限りで実施するしかなく課題であった。   Although the above information magazines and information gathering via the Web alone will allow you to consider the preparations for the ceremony and the decoration of the venue, and browse the costume catalog, there are a wide variety of costumes and various options available. In modern weddings and receptions, for example, it may be necessary to go to the actual venue several times just by combining the bride and groom's own body and costumes. It was a problem.

上記特許文献に記載の技術によれば、ある程度のシミュレーションは可能であるが、どの技術も2次元の静止画あるいは2次元の動画で合成画像(例えば、式場の2次元画像に新郎新婦の画像と衣装を合成した画像を貼り付けたものなど)を見せるものでしかなく、結婚式場を利用しようとしているユーザにとってはイメージし難いという問題があった。また、新郎新婦にとっては、式場内のどの位置から自分たちがどのように見えるかが大切であるが、従来技術ではワンパターンの合成画像が見れるだけであり、視点を変えた種々の位置からの見え方を確認することができなかった。   According to the technique described in the above-mentioned patent document, a certain degree of simulation is possible. However, any technique can use a two-dimensional still image or a two-dimensional moving image as a composite image (for example, a two-dimensional image of a ceremony hall and an image of the bride and groom). For example, a user who is trying to use a wedding hall has a problem that it is difficult to imagine. In addition, for the bride and groom, it is important from what position in the ceremony hall what they look like, but with the conventional technology, only one pattern of composite images can be seen, and from various positions with different viewpoints. I couldn't confirm how it looked.

一方、結婚式場側としては、時代の流れとともに変わっていくユーザニーズと、様々なオプションの追加、変更により、コーディネートのための時間がかかり、費用の明示化、お勧めしたいオプションのイメージ伝達にまでは至らず、契約の機会損失を招き、不透明な費用で利用者の満足度低下を招いている。   On the other hand, on the wedding hall side, user needs that change with the times and the addition and change of various options, it takes time for coordination, to clarify costs, communicate the image of the option you want to recommend However, it leads to loss of opportunity for contracts and unsatisfactory costs, which lowers user satisfaction.

本発明の目的は、結婚式場との契約前に式場から提示されるサンプルプラン及びサンプルプランに沿ってモデルが再現した結婚式場の雰囲気を3次元画像で確認でき、契約後は式場の中にいる希望の衣装を纏った新郎新婦自身の様子を様々な視点位置から確認できると共に、それにかかる費用を明確にユーザに提示できる技術を提供することにある。   The object of the present invention is to confirm the sample plan presented from the ceremony hall before the contract with the wedding hall and the atmosphere of the wedding hall reproduced by the model according to the sample plan in a three-dimensional image, and be in the ceremony hall after the contract. The present invention is to provide a technique capable of confirming the appearance of the bride and groom wearing the desired costumes from various viewpoint positions and clearly presenting the cost to the user.

上記目的を達成するために、請求項1に係る発明は、結婚式の様子をシミュレーションして表示する結婚式シミュレーションシステムであって、少なくとも衣装の2次元画像データを取得するカメラと、少なくとも人物の3次元データを取得する3次元カメラと、前記人物を表現する3次元データ、衣装を表現する2次元画像データ、式を行う会場を表現するデータ、及び、会場内に配置する装飾物を表現するデータを格納したコンテンツデータベースと、ユーザによる衣装の選択、会場の選択、及び、装飾物の選択を受け付ける手段と、前記人物を表現する3次元データで表現される立体の表面に、選択された衣装を表現する2次元画像データを貼り付けることにより、当該衣装を試着した人物の3次元データを取得する手段と、前記選択された会場を表現するデータと、前記選択された装飾物を表現するデータと、前記衣装を試着した人物の3次元データとを用いて、前記選択された会場に前記選択された装飾物と前記衣装を着た人物を配置した3次元または2次元の画像データを合成する手段と、合成した3次元または2次元の画像を表示する手段と、選択可能に表示された、新郎新婦、親族、友人を含む複数の参列者の視点を含む複数の視点の中から任意の視点を選択する手段を備え、該視点を選択する手段により視点が選択されたとき、前記合成する手段は、前記選択された視点から見た3次元または2次元の画像データを合成し、前記表示する手段で前記選択された視点から見た動画として表示することを特徴とする。 In order to achieve the above object, the invention according to claim 1 is a wedding simulation system for simulating and displaying the appearance of a wedding ceremony, comprising at least a camera for acquiring two-dimensional image data of a costume, and at least a person's A 3D camera that acquires 3D data, 3D data that represents the person, 2D image data that represents a costume, data that represents a venue where an expression is performed, and decorations that are arranged in the venue A content database storing data, means for receiving selection of costumes, venue selection, and decoration by a user, and a selected costume on the surface of a solid represented by the three-dimensional data representing the person Means for acquiring three-dimensional data of a person trying on the costume by pasting two-dimensional image data representing Using the data representing the selected venue, the data representing the selected ornament, and the three-dimensional data of the person who tried on the costume, the selected ornament and the A means for synthesizing three-dimensional or two-dimensional image data in which a person wearing a costume is arranged, a means for displaying a synthesized three-dimensional or two-dimensional image, and a bride and groom, a relative, and a friend that are selectably displayed Means for selecting an arbitrary viewpoint from among a plurality of viewpoints including the viewpoints of a plurality of attendees including, and when the viewpoint is selected by the means for selecting the viewpoint, the means for synthesizing includes selecting the selected viewpoint The three-dimensional or two-dimensional image data viewed from the viewpoint is synthesized and displayed as a moving image viewed from the selected viewpoint by the display means.

請求項に係る発明は、請求項に記載の結婚式シミュレーションシステムにおいて、前記合成する手段が2次元の画像データを合成するものである場合、予め前記視点毎に前記選択された会場に前記選択された装飾物が配置された背景画像データを用意しておくことを特徴とする。 The invention according to claim 2 is the wedding simulation system of claim 1, when said means for combining is intended to synthesize a 2-dimensional image data, the beforehand the selected venue for each of the viewpoints Background image data on which the selected decoration is arranged is prepared.

請求項に係る発明は、請求項1または2に記載の結婚式シミュレーションシステムにおいて、前記ユーザが式場と契約する前は、前記ユーザによる衣装の選択、会場の選択、及び、装飾物の選択は、所定の制限された範囲内での選択を許すか、あるいは予め決められた衣装、会場、装飾物が選択されたものとして、かつ、前記人物を表現する3次元データとしては予め決められたモデルの人物を表現する3次元データを用いて、3次元または2次元の画像データの合成を行い、前記ユーザが式場と契約した後は、前記ユーザによる衣装の選択、会場の選択、及び、装飾物の選択は、前記コンテンツデータベースに登録されている全てのコンテンツデータから選択できるものとし、かつ、前記人物を表現する3次元データとしては当該ユーザを撮影して取得した該ユーザの人物を表現する3次元データを用いて、3次元または2次元の画像データの合成を行うことを特徴とする。 According to a third aspect of the present invention, in the wedding simulation system according to the first or second aspect , before the user makes a contract with the ceremony hall, the user selects a costume, a venue, and a decoration. A model that allows selection within a predetermined limited range, or that is selected as a predetermined costume, venue, or decoration, and that is a predetermined model as three-dimensional data representing the person. After combining the three-dimensional or two-dimensional image data using the three-dimensional data representing the person of the person and the user contracts with the ceremony hall, the user selects the costume, the venue, and the decoration Can be selected from all the content data registered in the content database, and the three-dimensional data representing the person is the user. By using the three-dimensional data representing the captured the user of the person who acquired, and performing a synthesis of 3-dimensional or 2-dimensional image data.

請求項に係る発明は、請求項1からの何れか1つに記載の結婚式シミュレーションシステムにおいて、前記ユーザによる衣装の選択、会場の選択、及び、装飾物の選択の選択状況に応じた見積額を計算して表示する手段をさらに備えることを特徴とする。 According to a fourth aspect of the present invention, in the wedding simulation system according to any one of the first to third aspects, the user selects a costume selection, a venue selection, and a decoration selection according to a selection situation. The apparatus further comprises means for calculating and displaying the estimated amount.

本発明によれば、自宅内PCなどを使って、ユーザ自身が利用希望する組み合わせをコーディネートすることができ、式のイメージの早期定着、打合せ時間の短縮、ユーザ情報の共有など、結婚式場選択から、結婚式コーディネートまでのプロセスを改善し、式場利用者と式場関係者双方の時間的負担軽減、選択の機会損失削減、明確な必要経費の提示と入手が可能となる。また、これらの主に人的作業量、移動量を軽減し、その一方で、式場側は、浮いた作業量などを新規顧客への営業に振り替えることで受注、売上高の確保を図ることができる。また、見積もりの信頼性の向上により、ユーザが手軽に楽しく結婚式、披露宴の準備を開催してもらうことで、満足度を向上させるシステムをITで実現することができる。さらに、実際の新郎新婦の姿を丸ごと3Dカメラなどでサーバに取り込み、Web上で衣装を着せ替えて360度前後左右いずれの角度からも確認すること、及び、実際の会場において主な参列者からの視点を切り替えて、新郎新婦自らが見えないところからの見え方をWeb上で確認することができる。   According to the present invention, it is possible to coordinate a user's desired combination using a home PC or the like, from early selection of a ceremony image, reduction of meeting time, sharing of user information, etc. This will improve the process up to wedding coordination, reduce the time burden for both the ceremonial hall users and the ceremonial hall personnel, reduce the loss of opportunity for selection, and present and obtain clear necessary expenses. In addition, these mainly reduce the amount of human work and movement, while the ceremony hall can secure orders and sales by transferring floating work to new customers. it can. In addition, by improving the reliability of the estimate, it is possible to realize a system that improves satisfaction by making it easy and fun for the user to prepare for weddings and receptions. In addition, the actual appearance of the bride and groom can be captured on a server with a 3D camera, etc., and the costume can be changed on the web and checked from either the right or left 360 degrees, and from the main attendees at the actual venue By switching the viewpoint, it is possible to check on the Web how the bride and groom can see from where they cannot see.

本発明の実施形態による三次元による結婚式イメージング及び見積システム構成を示す図である。FIG. 3 is a diagram illustrating a three-dimensional wedding imaging and estimation system configuration according to an embodiment of the present invention. コンテンツDBのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of content DB. 会員DBのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of member DB. コンテンツ作成及び登録に関するフローである。It is a flow related to content creation and registration. シミュレーションサービス全体のフローである。This is a flow of the entire simulation service. 契約会員の場合のサービスフローである。This is a service flow for contract members. 非契約会員の場合のサービスフローである。This is a service flow for non-contracted members. 衣装試着シミュレーションのフローである。This is a flow of costume fitting simulation. 会場選択のフローである。This is a flow for selecting a venue. オプション選択のフローである。This is an option selection flow. 見積もり計算処理のフローである。It is a flow of an estimate calculation process. シミュレーションにおける選択設定変更処理のフローである。It is the flow of the selection setting change process in simulation. 衣装試着シミュレーションの実行画面の一例である。It is an example of the execution screen of a costume fitting simulation. 全体シミュレージョンの実行画面の一例である。It is an example of the execution screen of whole simulation.

以下、本発明を実施する場合の実施形態を、図面を用いて詳細に説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.

図1は、本発明の一実施形態であるシステムの構成図である。この実施形態の三次元シミュレーションシステム及び経費算出表示システムは、コンテンツデータベース(DB)2及び会員DB3を備えたASP(Application Service Provider)サーバ1、処理用PC4、Webカメラ5、3次元(3D)カメラ6、並びに、結婚式場業務システム7を備える。家庭内PC8及びモバイル端末9は、結婚式を行いたい新郎新婦などのユーザが利用する端末である。ASPサーバ1、処理用PC4、結婚式場業務システム7、家庭内PC8、及びモバイル端末9は、インターネット10により相互に接続可能である。   FIG. 1 is a configuration diagram of a system according to an embodiment of the present invention. The three-dimensional simulation system and the expense calculation display system of this embodiment include an ASP (Application Service Provider) server 1 having a content database (DB) 2 and a member DB 3, a processing PC 4, a Web camera 5, and a three-dimensional (3D) camera. 6 and a wedding hall business system 7 are provided. The home PC 8 and the mobile terminal 9 are terminals used by users such as a bride and groom who wish to have a wedding. The ASP server 1, processing PC 4, wedding hall business system 7, home PC 8, and mobile terminal 9 can be connected to each other via the Internet 10.

処理用PC4、Webカメラ5、3Dカメラ6、及び、結婚式場業務システム7は、結婚式場側に用意されているシステムである。ASPサーバ1、コンテンツDB2、及び会員DB3は、アプリケーションサービスプロバイダが結婚式場に対するクラウドサービス業務を行うために用意されているシステムである。ASPサーバ1は、モデリング部11、DB更新部12、シミュレーション部13、及び送受信部14を備える。   The processing PC 4, the Web camera 5, the 3D camera 6, and the wedding hall business system 7 are systems prepared on the wedding hall side. The ASP server 1, the content DB 2, and the member DB 3 are systems prepared for the application service provider to perform cloud service operations for the wedding hall. The ASP server 1 includes a modeling unit 11, a DB update unit 12, a simulation unit 13, and a transmission / reception unit 14.

Webカメラ5と3Dカメラ6は、新郎新婦の人物、新郎新婦が身につける衣装やアクセサリーやブーケ、テーブルを飾る花やリボンその他の装飾品などを撮影するためのカメラである。Webカメラ5は対象物の2次元画像データ取り込むためのカメラ、3Dカメラ6は対象物の3次元座標を取り込むためのカメラである。処理用PC4は、Webカメラ5及び3Dカメラ6を利用して撮影した人物や衣装等のデータをASPサーバ1に送信する。ASPサーバ1のモデリング部11は、Webカメラ5及び3Dカメラ6による撮影データを用いてモデリング処理を行う。モデリング処理とは、例えば人物や衣装であれば、3Dカメラ6で取得した対象物の3次元座標データで表現される立体の表面に、Webカメラ5で取得した2次元画像を貼り付けて、対象物の3次元データを得る処理である。モデリング処理の結果は、コンテンツデータとしてコンテンツDB2に格納される。 The Web camera 5 and the 3D camera 6 are cameras for photographing the bride and groom's figures, costumes and accessories worn by the bride and groom, bouquets, flowers, ribbons and other ornaments that decorate the table. The Web camera 5 is a camera for taking in two-dimensional image data of an object, and the 3D camera 6 is a camera for taking in three-dimensional coordinates of the object. The processing PC 4 transmits data such as a person and a costume photographed using the Web camera 5 and the 3D camera 6 to the ASP server 1. The modeling unit 11 of the ASP server 1 performs a modeling process using shooting data from the Web camera 5 and the 3D camera 6. For example, in the case of a person or a costume, the modeling process is performed by pasting the two-dimensional image acquired by the Web camera 5 on the surface of a solid represented by the three-dimensional coordinate data of the target acquired by the 3D camera 6. This is a process for obtaining three-dimensional data of an object. The result of the modeling process is stored in the content DB 2 as content data.

コンテンツDB2は各種のコンテンツデータを格納するデータベースであり、会員DB3は会員に関するデータを格納するデータベースである。これらのデータベースのデータ構成については、図2及び図3で詳しく説明する。DB更新部12は、コンテンツDB2や会員DB3に対するデータの追加や削除などの処理を行う。シミュレーション部13は、モデリングした人物と衣装を3次元的に重ね合わせたり、さらにそのような人物と衣装を重ね合わせた3次元データを結婚式場の背景画像と重ね合わせた式場の全体風景のデータを生成する処理などのシミュレーションの処理を実行する。送受信部14は、家庭内PC8やモバイル端末9との間で各種のデータを送受信する処理を行う。   The content DB 2 is a database that stores various content data, and the member DB 3 is a database that stores data related to members. The data structure of these databases will be described in detail with reference to FIGS. The DB update unit 12 performs processing such as addition and deletion of data to the content DB 2 and the member DB 3. The simulation unit 13 superimposes the modeled person and the costume in a three-dimensional manner, and further superimposes three-dimensional data such as the person and the costume on the background image of the wedding hall to obtain data on the entire scenery of the ceremony hall. A simulation process such as a process to be generated is executed. The transmission / reception unit 14 performs processing for transmitting / receiving various data to / from the home PC 8 and the mobile terminal 9.

図2は、コンテンツDB2に格納されるコンテンツデータ(レコード)例を示す図である。コンテンツ番号21は、当該コンテンツデータを特定する番号である。区分22は、当該コンテンツデータがどのような種類のデータであるかを示す区分データである。コンテンツ番号21は、10桁の数値で構成され、1〜3桁目はコンテンツ区分、4〜9桁目までは会員番号、10桁目は性別(男性は1、女性は2)を表す。1〜3桁目のコンテンツ区分は、区分22を示す値である。区分としては、人物、衣装、会場の背景、花、リボンなどがあり、コンテンツ番号21の1〜3桁目と区分22には、これらを特定するデータが設定される。区分が「人物」の場合、そのコンテンツデータは新郎新婦の人物の3次元データであり、コンテンツ番号21の4〜9桁目には当該人物の会員番号が設定される。区分が「人物」以外の場合、そのコンテンツデータは、衣装、会場の背景、花、リボンなどの何れも予め式場側が撮影して用意しておくデータであるので、コンテンツ番号21の4〜9桁目には当該コンテンツを特定する識別番号が設定されるものとする。例えば、区分が衣装のデータは何点も登録しておく必要があるので、それらの各衣装のコンテンツデータは、区分が「衣装」で、コンテンツ番号21の4〜9桁目に各衣装を識別する識別番号を設定して区別できるようにする。コンテンツ番号21の10桁目は、区分が「人物」の場合は性別を示す値とするが、区分が「人物」以外の場合はこの10桁目は利用しない。   FIG. 2 is a diagram illustrating an example of content data (record) stored in the content DB 2. The content number 21 is a number that identifies the content data. The division 22 is division data indicating what kind of data the content data is. The content number 21 is composed of a 10-digit numerical value. The first to third digits represent the content classification, the fourth to ninth digits represent the membership number, the tenth digit represents the gender (male is 1, female is 2). The content classification of the first to third digits is a value indicating the classification 22. The categories include persons, costumes, venue backgrounds, flowers, ribbons, and the like. Data for specifying these is set in the first to third digits of the content number 21 and the category 22. When the classification is “person”, the content data is three-dimensional data of the bride and groom's person, and the member number of the person is set in the fourth to ninth digits of the content number 21. If the category is other than “person”, the content data is data prepared by the ceremony hall in advance, such as costumes, venue backgrounds, flowers, and ribbons. It is assumed that an identification number for specifying the content is set in the eyes. For example, since it is necessary to register a number of data for the costumes of the category, the content data for each of those costumes is “Costume”, and each costume is identified in the fourth to ninth digits of the content number 21 Set the identification number to be distinguished. The tenth digit of the content number 21 is a value indicating gender when the category is “person”, but the tenth digit is not used when the category is other than “person”.

登録年月日23には、当該コンテンツデータがコンテンツDB2に登録された日時を設定する。有効期限24には、当該コンテンツデータがいつまで有効であるかを示す日時を設定する。データ25には、コンテンツデータの本体データ、すなわち区分が「人物」であればその3次元データを、区分が「衣装」であればその3次元データを、設定する。   In the registration date 23, the date and time when the content data is registered in the content DB 2 is set. In the expiration date 24, a date and time indicating how long the content data is valid is set. In the data 25, the body data of the content data, that is, the three-dimensional data is set if the classification is “person”, and the three-dimensional data is set if the classification is “costume”.

なお、区分が「人物」以外のコンテンツデータの有効期限24には、無期限を示す所定の値が設定されるものとする。区分が「人物」の場合、そのコンテンツデータはその人物の3次元データであるが、初めに登録されたときには登録年月日から所定の日数が経過するまでを有効期限24とし、挙式日が決まったら、その挙式日を有効期限24とする。登録したコンテンツごとに、有効期限24が過ぎたら自動的にそのコンテンツデータが消去される。   It is assumed that a predetermined value indicating an indefinite period is set for the expiration date 24 of content data other than “person”. When the category is “person”, the content data is the three-dimensional data of the person, but when registered for the first time, the expiration date is 24 until a predetermined number of days have passed since the date of registration, and the wedding date is determined. Then, the date of the wedding is set as the expiration date 24. For each registered content, the content data is automatically deleted when the expiration date 24 expires.

図3は、会員DB3に格納される会員情報の一例を示す図である。図に示すように、会員DB3には、会員番号301、会員氏名(男)302、会員氏名(女)303、メールアドレス304、電話番号305、契約日306、挙式日307、契約有無308、パスワード309、およびシミュレーション結果310が格納される。会員番号301は、結婚式を行うカップル毎に自動的に採番される番号である。会員番号毎に、カップル両者の氏名、メールアドレス、及び電話番号が登録される。契約日306は、本式場で結婚式を行うことの契約が為された日時である。契約有無308は、契約が為されているか否かを表すフラグ(1で契約が完了していることを示し、0で完了していないことを示す)である。挙式日が決定したとき、挙式日307にその日時が設定される。   FIG. 3 is a diagram illustrating an example of member information stored in the member DB 3. As shown in the figure, the member DB 3 has a member number 301, a member name (male) 302, a member name (female) 303, an email address 304, a telephone number 305, a contract date 306, a wedding date 307, a contract presence / absence 308, a password. 309 and simulation result 310 are stored. The member number 301 is a number that is automatically assigned for each couple performing a wedding. For each membership number, the couple's name, email address, and telephone number are registered. The contract date 306 is the date and time when the contract for the wedding at the main hall was made. The contract presence / absence 308 is a flag indicating whether or not a contract has been made (1 indicates that the contract has been completed, and 0 indicates that it has not been completed). When the wedding date is determined, the date and time is set as the wedding date 307.

通常、結婚式場を探しているユーザは、家庭内PC8やモバイル端末9から結婚式場の所定のホームページを参照したり、あるいは、直接、式場を訪れて、その式場の概要を知る。ユーザが最初に参照するホームページは、処理用PC4あるいは結婚式場業務システム7の何れで提供されるものでもよいが、該ホームページにより、ユーザは会員登録ができるものとする。また、式場を訪れた場合は、式場に設置してある端末から会員登録ができるものとする。例えば、家庭内PC8から会員登録を行う場合、図3に示すように、会員番号301に「000163」が自動採番され、会員氏名(男)302に「火太刀 祖父男」、会員氏名(女)303に「目立 祖父子」、メールアドレス304に「hitachi@xxxxx.jp」、電話番号305に「03-xxxx-yyyy」というように、ユーザが入力したデータが設定される。また、契約有無308には「0」が格納される。この段階では契約前であるので、契約日306及び挙式日307は空欄としておく。会員登録することにより、このユーザにはパスワード309が与えられ、ユーザIDとなる会員番号301とパスワード309で本システムにログインすることができるようになる。ログインすることで、後述するような各種のサービスを受けることができる。   Usually, a user who is looking for a wedding hall refers to a predetermined homepage of the wedding hall from the home PC 8 or the mobile terminal 9 or directly visits the wedding hall to know the outline of the wedding hall. The home page that the user first refers to may be provided by either the processing PC 4 or the wedding hall business system 7, but the user can register as a member through the home page. In addition, when visiting a ceremony hall, membership registration can be performed from a terminal installed at the ceremony hall. For example, when registering a member from the home PC 8, as shown in FIG. 3, “000163” is automatically assigned to the member number 301, “Hitachi Grandfather” and the member name (female) to the member name (male) 302, respectively. ) The data entered by the user is set such that “conspicuous grandparent and child” is set in 303, “hitachi@xxxxx.jp” is set in the mail address 304, and “03-xxxx-yyyy” is set in the telephone number 305. The contract presence / absence 308 stores “0”. Since it is before the contract at this stage, the contract date 306 and the wedding date 307 are left blank. By registering as a member, this user is given a password 309 and can log in to the system with the member number 301 and password 309 as user IDs. By logging in, you can receive various services as described below.

ユーザに提供されるサービスの1つとして、式の各種の場面のシミュレーションサービスがある。シミュレーション結果310の欄には、ユーザが衣装を選択したり各種のオプションを選択してシミュレーションした際の結果(どのような衣装を選択し、どのようなオプションを選択したかなどのデータを含む)を格納する。なお、詳しくは後述するが、契約を完了した場合と未契約の場合とでは、提供されるシミュレーションサービスに差違がある。   As one of the services provided to the user, there is a simulation service for various types of scenes. In the simulation result 310 column, the result when the user selects a costume or selects various options for simulation (including data such as what costume is selected and what option is selected). Is stored. As will be described in detail later, there is a difference in the provided simulation service depending on whether the contract is completed or not.

この会員が結婚式場との契約を完了したとき、契約日306と挙式日307が設定され、契約有無308が「1」に設定される。なお、挙式日307は、契約の後に決めてもよい。契約が完了した場合、そのカップルのモデリングデータ(すなわち、その新郎新婦の人物の3次元データ)をコンテンツDB2に登録する。   When the member completes the contract with the wedding hall, the contract date 306 and the wedding date 307 are set, and the contract presence / absence 308 is set to “1”. The wedding date 307 may be determined after the contract. When the contract is completed, the modeling data of the couple (that is, the three-dimensional data of the bride and groom's person) is registered in the content DB 2.

次に、図1から3で説明した本実施形態のシステムの動作について説明する。   Next, the operation of the system of this embodiment described with reference to FIGS. 1 to 3 will be described.

図4は、本システムのコンテンツ作成及び登録の動作を示すフローチャートである。この処理は、処理用PC4とASPサーバ1により実行される。式場側が予め用意しておく衣装、花、リボンなどのデータを取り込む際、及び、契約が完了した新郎新婦の人物の3次元データを取り込む際に、本処理が実行される。   FIG. 4 is a flowchart showing content creation and registration operations of the present system. This process is executed by the processing PC 4 and the ASP server 1. This process is executed when fetching data such as clothes, flowers, ribbons, etc. prepared in advance by the ceremony hall, and when fetching the three-dimensional data of the bride and groom person whose contract has been completed.

ステップ401では、処理用PC4により、取り込むべきコンテンツ(人物、衣装、花、リボンなど)をWebカメラ5及び3Dカメラ6で撮影する。ステップ402では、撮影したデータを処理用PC4からASPサーバ1に送信して、モデリングを依頼する。ASPサーバ1のモデリング部11は、送られてきた撮影データを用いてモデリング処理を行う。DB更新部12は、ステップ403で、そのコンテンツが人物か判定する。人物であれば、ステップ404で会員DB3から会員情報を検索し(撮影データを処理用PC4からASPサーバ1に送信してモデリングを依頼する際に、撮影した人物の会員番号も併せて送るものとし、その会員番号で検索する)、登録されている会員であることを確認した後、ステップ405で登録する。DB更新部12は、ステップ403の判定で人物でない場合、ステップ405に進み登録する。ステップ405では、コンテンツDB2へのコンテンツデータの登録を行う。   In step 401, the processing PC 4 uses the Web camera 5 and the 3D camera 6 to photograph content to be captured (person, costume, flower, ribbon, etc.). In step 402, the photographed data is transmitted from the processing PC 4 to the ASP server 1 to request modeling. The modeling unit 11 of the ASP server 1 performs a modeling process using the received shooting data. In step 403, the DB update unit 12 determines whether the content is a person. If it is a person, the member information is retrieved from the member DB 3 in step 404 (when the photographing data is transmitted from the processing PC 4 to the ASP server 1 to request modeling, the member number of the photographed person is also sent together. , Search with the member number), and after confirming that the member is a registered member, register in step 405. If the determination in step 403 is not a person, the DB update unit 12 proceeds to step 405 and registers. In step 405, content data is registered in the content DB2.

図5は、シミュレーションサービスの全体の動作を示すフローチャートである。この処理は、ASPサーバ1が実行する。   FIG. 5 is a flowchart showing the overall operation of the simulation service. This process is executed by the ASP server 1.

ステップ501で、家庭用PC8(モバイル端末9からの接続要求でも同様であるが、以下では家庭用PC8を例として説明する)から接続要求を受けたASPサーバ1は、ログイン画面を家庭用PC8に表示する。ユーザが該ログイン画面でユーザID(会員番号)とパスワードを入力すると、ステップ502でそれらのデータを受け付け、会員DB3を参照して適正なユーザIDとパスワードであることを確認した後、ステップ503で会員DB3からその会員の会員データを取得する。ステップ504では、その会員が契約完了しているか否かを判定する。契約完了していれば、ステップ505で契約完了している会員向けのサービスを提供する。契約が未完了であれば、ステップ506で非契約会員向けのサービスを提供する。   In step 501, the ASP server 1 that has received a connection request from the home PC 8 (the same applies to a connection request from the mobile terminal 9, but will be described below using the home PC 8 as an example) displays a login screen on the home PC 8. indicate. When the user inputs the user ID (membership number) and password on the login screen, the data is received in step 502, and after confirming that the user ID and password are appropriate with reference to the member DB3, in step 503. The member data of the member is acquired from the member DB 3. In step 504, it is determined whether the member has completed the contract. If the contract has been completed, a service for members who have completed the contract is provided in step 505. If the contract is not completed, a service for non-contracted members is provided in step 506.

図6は、ステップ505の契約会員向けのサービスの動作を示すフローチャートである。この処理は、シミュレーション部13により実行される。   FIG. 6 is a flowchart showing the operation of the service for contract members in step 505. This process is executed by the simulation unit 13.

まずステップ601では、コンテンツDB2から、ログインしたユーザの人物画像(3次元データ)を取得する。ステップ602で衣装試着シミュレーションを行い、ステップ603で会場選択を行い、ステップ604でオプション選択を行い、ステップ605で見積もり計算を行う。ステップ602の衣装試着シミュレーションの処理は、図8で詳しく説明するが、要するにユーザの人物画像の3次元データに衣装の3次元データを合成し、当該ユーザが当該衣装を試着した場合の3次元データを生成してユーザに見せる処理である。ステップ603の会場選択の処理は、図9で詳しく説明するが、要するに選択可能な複数の会場からユーザが選択した会場についての画像をユーザに見せる処理である。ステップ604のオプション選択の処理は、図10で詳しく説明するが、要するに選択可能な各種のオプションからユーザが選択したオプションと会場の合成画像を生成してユーザに見せる処理である。ステップ605の見積もり計算の処理は、図11で詳しく説明するが、要するにユーザの選択内容に応じた費用の見積もりを提示する処理である。   First, in step 601, the logged-in user's person image (three-dimensional data) is acquired from the content DB2. A costume try-on simulation is performed at step 602, a venue is selected at step 603, an option is selected at step 604, and an estimate is calculated at step 605. The process of the costume try-on simulation in step 602 will be described in detail with reference to FIG. 8. In short, the 3D data of the costume is synthesized with the 3D data of the user's person image, and the user tries on the costume. Is generated and shown to the user. The venue selection process in step 603 is described in detail with reference to FIG. 9. In short, the venue selection process is a process of showing the user an image of a venue selected by the user from a plurality of selectable venues. The option selection process in step 604 is a process that will be described in detail with reference to FIG. 10. In short, the option selected by the user from various selectable options and a composite image of the venue are generated and shown to the user. The estimate calculation process in step 605 is a process for presenting an estimate of the cost according to the user's selection, as will be described in detail with reference to FIG.

ステップ605の後、ステップ606で全体シミュレーション画像(動画)を作成し、ステップ607でその全体シミュレーション画像を再生する。全体シミュレーション画像は、ステップ603で選択した会場の画像に、ステップ604で選択したオプションの装飾物など(例えば、テーブル上の花など)を合成し、さらに当該ユーザの人物画像にステップ602で選択した衣装を合成したものをその会場内に配置して、式の進行に沿った動きをさせるものである。その表示例については、図14で説明する。   After step 605, an entire simulation image (moving image) is created at step 606, and the entire simulation image is reproduced at step 607. The entire simulation image is synthesized with the optional decoration selected at step 604 (for example, a flower on the table) and the like at the venue selected at step 603, and further selected at step 602 as the person image of the user. A combination of costumes is placed in the venue to move along the ceremony. An example of the display will be described with reference to FIG.

ステップ607の後、ステップ608で視点の切り替え操作があったときや、ステップ609で再度の再生選択操作が為されたときは、ステップ606に戻って、画像作成から再処理する。ステップ610で、設定変更を行う場合は、ステップ613で設定変更(図12)を行った後、ステップ606に戻る。ステップ611で終了が選択されると、ステップ612でログアウトし、処理が終了する。   After step 607, when a viewpoint switching operation is performed in step 608 or when a reproduction selection operation is performed again in step 609, the process returns to step 606 to reprocess from image creation. When the setting is changed in step 610, the setting is changed in step 613 (FIG. 12), and then the process returns to step 606. When end is selected in step 611, the user logs out in step 612 and the process ends.

なお、図6の処理では、再生完了後のみならず、再生中にも視点の切り替えや設定変更が可能である。   In the process of FIG. 6, the viewpoint can be switched and the setting can be changed not only after the reproduction is completed but also during the reproduction.

図7は、ステップ506の非契約会員向けのサービスの動作を示すフローチャートである。この処理は、シミュレーション部13により実行される。   FIG. 7 is a flowchart showing the operation of the service for non-contract members in step 506. This process is executed by the simulation unit 13.

ステップ701で、コンテンツDB2から、モデルの人物画像を取得する。非契約会員については、未だ人物画像をコンテンツDB2へ登録していないので、当該ユーザの画像は利用できない。そこで、サービス事業者側が用意したモデル画像を用いて、シミュレーションを行う。ステップ702では、簡易衣装試着シミュレーションを行う。この処理は、ステップ602の衣装試着シミュレーションと同様の処理であるが、非契約会員であるので、試着できる衣装を数着に制限し、契約会員との差別化を図っている。また、予め決められた会場や装飾オプションを用いて、選択した衣装をまとったモデル画像で全体シミュレーションを行うものとする。ユーザが選択できる範囲が限られているので、個別の見積もり処理も行わない。ステップ703,704の処理は、ステップ606,607と同様である。ステップ705で再度の再生選択が指示された場合は、ステップ703に戻る。ステップ707で終了が選択された場合は、ステップ707でログアウトし、処理が終了する。   In step 701, a model person image is acquired from the content DB2. For non-contract members, since the person image has not yet been registered in the content DB 2, the image of the user cannot be used. Therefore, a simulation is performed using a model image prepared by the service provider. In step 702, a simple costume fitting simulation is performed. This process is the same process as the costume try-on simulation in step 602, but since it is a non-contract member, the number of costumes that can be tried on is limited to several to differentiate it from contract members. In addition, it is assumed that the entire simulation is performed with a model image wearing the selected costume using predetermined venues and decoration options. Since the range that can be selected by the user is limited, individual estimation processing is not performed. The processing in steps 703 and 704 is the same as that in steps 606 and 607. When the reproduction selection is instructed again in step 705, the process returns to step 703. If end is selected in step 707, logout is performed in step 707, and the process ends.

なお、ログアウト時にユーザの選択情報を保存しておき、そこから好みを分析して、当該ユーザに対する推奨プランを提案してもよい。   Note that the user's selection information may be stored at the time of logout, and a preference plan may be analyzed from the user's selection information to propose a recommended plan for the user.

図8は、ステップ602,702の衣装試着シミュレーションのフローチャートである。この処理は、シミュレーション部13により実行される。   FIG. 8 is a flowchart of the costume try-on simulation in steps 602 and 702. This process is executed by the simulation unit 13.

まず、ステップ801で、接続元のユーザの家庭用PC8に衣装シミュレーション画面を表示する。図13に、衣装シミュレーション画面1300の例を示す。1301は、選択可能な衣装の一覧表示である。一覧表示1301の右端の右向き三角印または左端の左向き三角印をクリックすることにより、さらに多くの衣装の選択肢を表示させることができる。   First, in step 801, a costume simulation screen is displayed on the home PC 8 of the connection source user. FIG. 13 shows an example of a costume simulation screen 1300. Reference numeral 1301 denotes a list display of selectable costumes. By clicking the right-pointing triangle mark at the right end of the list display 1301 or the left-pointing triangle mark at the left end, more costume options can be displayed.

ステップ802で、一覧表示1301の中からユーザが1つの衣装をクリック(選択)すると、その操作指示を受けたシミュレーション部13は、ステップ803で人物画像に選択された衣装の画像を合成する。人物画像は、契約会員サービスのステップ602での処理では当該契約会員の人物画像であり、非契約会員サービスのステップ702での処理では予め用意されているモデルの人物画像である。また、非契約会員サービスでの処理では、図13の一覧表示1301で選択可能な衣装は数着に制限されている。   In step 802, when the user clicks (selects) one costume from the list display 1301, the simulation unit 13 that receives the operation instruction synthesizes the costume image selected in step 803. The person image is a person image of the contract member in the process in step 602 of the contract member service, and a person image of a model prepared in advance in the process in step 702 of the non-contract member service. In the process of the non-contract member service, the number of costumes that can be selected on the list display 1301 in FIG. 13 is limited to several.

ステップ803の後、ステップ804で試着シミュレーション表示を行う。図13の1302は、試着シミュレーション表示の例である。人物画像に、ユーザにより選択された衣装の画像が合成されたものが表示されている。ステップ805で、人物画像(図13の試着シミュレーション表示1302の中央の表示)部分をマウスで上下左右にドラッグすると、ステップ806で当該人物像が指定方向に回転処理され、ステップ804で再表示される。これにより、ユーザは、正面からどのように見えるかだけではなく、後ろからや横からもどのように見えるのかを確認できる。また、3次元シミュレーションであるため、実際に試着しなくても、試着した場合と同様にドレスのラインがどのようにでるのか、また、裾がどのように広がるのかを、リアルに確認できる。   After step 803, a try-on simulation display is performed at step 804. 1302 in FIG. 13 is an example of a try-on simulation display. A person image combined with an image of a costume selected by the user is displayed. In step 805, the person image (the center display of the fitting simulation display 1302 in FIG. 13) is dragged up, down, left, and right with the mouse, the person image is rotated in the designated direction in step 806, and redisplayed in step 804. . Thereby, the user can confirm not only how it looks from the front but also what it looks from behind or from the side. In addition, since it is a three-dimensional simulation, it is possible to realistically check how the dress line appears and how the hem widens in the same manner as when trying on, without actually trying on.

ステップ807で、ユーザが決定ボタン(図13では不図示)をクリックすると、その衣装が決定されたものとして、当該会員の会員データのシミュレーション結果310の欄に保存される。   In step 807, when the user clicks the decision button (not shown in FIG. 13), the costume is decided and stored in the simulation result 310 column of the member data of the member.

図9は、ステップ603の会場選択のフローチャートである。この処理は、シミュレーション部13が実行する。   FIG. 9 is a flowchart for selecting a venue in step 603. This process is executed by the simulation unit 13.

ステップ901で、接続元のユーザの家庭用PC8に会場シミュレーション画面を表示する。この画面には複数の会場の選択肢が表示されており、ユーザは、ステップ902で、その中から使用したい会場を選択する。ステップ903では、ユーザが選択した会場のシミュレーション再生が実行される。これは、当該会場の全体像が分かるような動画を用意しておき再生するものである。ステップ904で会場シミュレーションの方向を変更する場合は、ステップ905で再生する視点を切り替え、ステップ903に戻る。これにより、ユーザは、様々な角度から参照して会場を確認できる。例えば、新郎新婦が歩く視点や正面の視点など、切り替えながら式場の雰囲気を確認することができる。ステップ906で、ユーザが決定ボタンをクリックすると、その会場が決定されたものとして、当該会員の会員データのシミュレーション結果310の欄に保存される。   In step 901, a venue simulation screen is displayed on the home user PC 8 of the connection source user. In this screen, a plurality of venue options are displayed. In step 902, the user selects a venue to be used. In step 903, simulation reproduction of the venue selected by the user is executed. This is to prepare and reproduce a moving image that gives an overview of the venue. When the direction of the venue simulation is changed in step 904, the viewpoint to be reproduced is switched in step 905, and the process returns to step 903. Thereby, the user can confirm the venue with reference from various angles. For example, the atmosphere of the ceremony hall can be confirmed while switching, such as the viewpoint of the bride and groom walking or the frontal viewpoint. When the user clicks the determination button in step 906, it is stored in the field of the simulation result 310 of the member data of the member as having been determined as the venue.

図10は、ステップ604のオプション選択のフローチャートである。この処理は、シミュレーション部13が実行する。   FIG. 10 is a flowchart of option selection in step 604. This process is executed by the simulation unit 13.

ステップ1001で、接続元のユーザの家庭用PC8にオプションシミュレーション画面を表示する。この画面には複数のオプションの選択肢が表示されており、ユーザは、ステップ1002で、その中からオプションを選択する。ステップ1003では、ユーザが選択したオプションと会場の画像が合成される。ステップ1004で、合成した結果の会場シミュレーションの再生を行う。これにより、ユーザがオプションとして選択した花やテーブルクロス等の装飾品で装飾された会場の動画が表示される。ステップ1005で会場シミュレーションの方向を変更する場合は、ステップ1006で再生する視点を切り替え、ステップ1003に戻る。これにより、種々のオプションを試しながら、様々な角度から会場を確認できる。ステップ1007で、ユーザが決定ボタンをクリックすると、選択したオプションが決定されたものとして、当該会員の会員データのシミュレーション結果310の欄に保存される。   In step 1001, an option simulation screen is displayed on the home PC 8 of the connection source user. In this screen, a plurality of option options are displayed. In step 1002, the user selects an option. In step 1003, the option selected by the user and the venue image are combined. In step 1004, the venue simulation as a result of the synthesis is reproduced. Thereby, the moving image of the hall decorated with ornaments such as flowers and table cloths selected by the user as options is displayed. When the direction of the venue simulation is changed in step 1005, the viewpoint to be reproduced is switched in step 1006, and the process returns to step 1003. This allows you to check the venue from various angles while trying various options. When the user clicks the determination button in step 1007, the selected option is determined to be stored in the simulation result 310 field of the member data of the member.

図11は、ステップ605の見積もり計算のフローチャートである。図11(a)はASPサーバ1のシミュレーション部13が実行する処理であり、図11(b)は結婚式場業務システム7が実行する処理である。   FIG. 11 is a flowchart of the estimation calculation in step 605. FIG. 11A is a process executed by the simulation unit 13 of the ASP server 1, and FIG. 11B is a process executed by the wedding hall business system 7.

まずステップ1101で、シミュレーション部13が、シミュレーション部13で現在保持しているオプション一覧表のバージョン情報を業務システム7に送信する。オプション一覧表とは、各種のオプションの費用が記載された一覧表である。これらの費用は、式場側が決定するものであるので、マスターデータとなるオプション一覧表は結婚式場業務システム7に保存されている。一方、ASPサーバ1のシミュレーション部13で費用計算を行う際に参照するために、シミュレーション部13はオプション一覧表を保持している。シミュレーション部13で保持しているオプション一覧表が最新のものであるかを確認するため、ステップ1101でバージョン情報を結婚式場業務システム7に送信している。   First, in step 1101, the simulation unit 13 transmits the version information of the option list currently held by the simulation unit 13 to the business system 7. The option list is a list in which costs of various options are described. Since these expenses are determined by the ceremony hall side, an option list serving as master data is stored in the wedding hall business system 7. On the other hand, the simulation unit 13 holds an option list for reference when performing cost calculation in the simulation unit 13 of the ASP server 1. In order to check whether the option list held in the simulation unit 13 is the latest, the version information is transmitted to the wedding hall business system 7 in step 1101.

結婚式場業務システム7では、ステップ1111で、ASPサーバ1から送信されたバージョン情報を受信する。ステップ1112で、そのバージョンが最新かを判定する。最新であった場合は、ステップ1113で、ASPサーバ1が保持するオプション一覧表が最新である旨を示す通知を、ASPサーバ1に送信する。最新でなかった場合は、ステップ1114で、オプション一覧表の最新版をASPサーバ1に送信する。   In the wedding hall business system 7, the version information transmitted from the ASP server 1 is received in step 1111. In step 1112, it is determined whether the version is the latest. If it is the latest, a notification indicating that the option list held by the ASP server 1 is the latest is sent to the ASP server 1 in step 1113. If not, the latest version of the option list is transmitted to the ASP server 1 in step 1114.

ASPサーバ1では、ステップ1102で、結婚式場業務システム7から、オプション一覧表が最新である旨を示す通知、またはオプション一覧表の最新版を受信する。オプション一覧表の最新版を受信した場合は、保持しているオプション一覧表を最新のものに置き換える。ステップ1103で、選択されている会場、衣装、及びオプションに応じて、オプション一覧表を参照して費用計算を行う。計算結果は、後述するように表示される。   In step 1102, the ASP server 1 receives a notification indicating that the option list is the latest or the latest version of the option list from the wedding hall business system 7. When the latest version of the option list is received, the retained option list is replaced with the latest version. In step 1103, the cost is calculated with reference to the option list according to the selected venue, costume, and options. The calculation result is displayed as described later.

図12は、ステップ613の設定変更のフローチャートである。この処理は、ASPサーバ1のシミュレーション部13が実行する。   FIG. 12 is a flowchart of setting change in step 613. This process is executed by the simulation unit 13 of the ASP server 1.

ステップ1201で、設定変更する対象を判別する。衣装変更する場合は、ステップ1202で衣装試着シミュレーション(図8)の処理を行う。会場変更する場合は、ステップ1203で会場選択(図9)の処理を行う。オプション変更する場合は、ステップ1204でオプション選択(図10)の処理を行う。ステップ1202〜1204の後、ステップ1205で見積もり計算(図11)の処理を行う。   In step 1201, an object to be changed is determined. If the costume is to be changed, a costume fitting simulation process (FIG. 8) is performed in step 1202. If the venue is to be changed, venue selection (FIG. 9) processing is performed in step 1203. If the option is to be changed, option selection (FIG. 10) processing is performed in step 1204. After steps 1202 to 1204, processing for estimation (FIG. 11) is performed in step 1205.

図14は、図6の契約会員サービスの処理のステップ607で実行されるシミュレーション画面の再生の例であり、見積もり結果の表示例1400である。1405は進行表に沿った複数の場面の選択肢であり、ここから1つの場面を選択して再生ボタン1402を押すことにより、再生画面1401でその場面での全体シミュレーション再生が行われる。1407は視点の選択肢であり、ここで視点を切り替えることができる。視点が切り替えられたときには、図6のステップ608から606に戻って、新たな視点でのシミュレーション画像を作成し、再生画面1401で再生することができる。   FIG. 14 is an example of reproduction of the simulation screen executed in step 607 of the contract member service process of FIG. 6, and is a display example 1400 of the estimation result. Reference numeral 1405 denotes options for a plurality of scenes along the progress table. When one scene is selected from this list and a playback button 1402 is pressed, the entire simulation playback in that scene is performed on the playback screen 1401. Reference numeral 1407 denotes a viewpoint option, and the viewpoint can be switched here. When the viewpoint is switched, it is possible to return to Steps 608 to 606 in FIG. 6 to create a simulation image at a new viewpoint and reproduce it on the reproduction screen 1401.

1406は会場の選択肢を示す。ここから会場の変更を行うと、ステップ610から613に進み、図12のステップ1203で会場選択が行われ(この場合、図9のステップ902では、既に指定されている切り替え先の会場が選択されたとして処理する)、切り替え先の会場のデータで全体シミュレーション画像が作成されて再生が行われる。図14では、衣装の変更やオプションの変更を行うためのボタンは不図示としたが、衣装の変更やオプションの変更の指示があった場合も、会場の変更と同様にして、変更後の衣装やオプションで全体シミュレーション画像が作成されて再生が行われる。   Reference numeral 1406 denotes a venue option. When the venue is changed from here, the process proceeds from step 610 to step 613, and the venue is selected in step 1203 in FIG. 12 (in this case, in step 902 in FIG. 9, the already designated switching destination venue is selected. The entire simulation image is created with the data of the venue of the switching destination and played back. In FIG. 14, buttons for changing costumes and options are not shown. However, when there is an instruction to change costumes or options, the costumes after the change are changed in the same way as changing the venue. And an optional simulation image is created and played back.

1408と1409は、費用の見積もり計算結果の表示例である。1408では、選択されているオプション毎の費用が表示される。1409では、それらを合計した金額が表示される。   Reference numerals 1408 and 1409 are display examples of cost estimation calculation results. At 1408, the cost for each selected option is displayed. In 1409, the total amount is displayed.

以上のようにして、ユーザは、衣装、会場、種々のオプションを任意に選択しながら、3次元のシミュレーション画像(動画)で式の各場面でのイメージを把握できる。特に、自分を撮影した3次元データを利用した3次元のシミュレーション画像であるので、視点を変えて再生することにより、例えば、新郎の視点、新婦の視点からどのような雰囲気になるのかを確認できるのみならず、ドレスを着て歩く新郎新婦が、友人席や親族席に座る出席者からどのように見えるのか、遠い席からどのように見えるのか、正面からはどのように見えるのか、といったことを確認しながら、衣装や式場の装飾を確認することができる。ユーザは、そのようなシミュレーション画像を、自宅のPCやモバイル端末から見ることができるので、式場を何回も訪れることなく自分の結婚式のイメージを把握できる。さらに、そのようなイメージを把握できた上で、自分が選択した会場、衣装、及びオプション毎の費用が明確に提示されるので、費用見積もりに対する不信感が生じることもない。どのような選択をしたかは、会員DBに格納されているので、式場を訪問して最終決定する場合も打合せの時間が短縮できる。   As described above, the user can grasp an image in each scene of the formula with a three-dimensional simulation image (moving image) while arbitrarily selecting a costume, a venue, and various options. In particular, since it is a three-dimensional simulation image using three-dimensional data obtained by photographing itself, it is possible to check the atmosphere from the viewpoint of the groom or the bride by playing with a different viewpoint. Not only how the bride and groom walking in the dress look from the attendees sitting in the friend's seats and relatives, how they look from the distant seats, how they look from the front While checking, you can check the costumes and decorations of the ceremony hall. Since the user can view such a simulation image from a home PC or mobile terminal, the user can grasp the image of his / her wedding ceremony without visiting the ceremony hall many times. Furthermore, since such an image can be grasped and the cost for each venue, costume, and option selected by the user is clearly presented, there is no distrust in the cost estimate. Since the selection is stored in the member DB, the time for the meeting can be shortened even when the final decision is made by visiting the ceremony hall.

式場側にとってみると、非契約の状態でも会員に登録してもらえば、その会員に営業活動をすることができる。非契約会員で行えるシミュレーションと、契約会員になると行えるシミュレーションとで、サービスに差違を付けることにより、非契約会員が契約会員になる動機付けができる。ユーザが選択した衣装や会場やオプションに応じた費用も、シミュレーション結果とともに、明確に提示できるので、見積もりの信用度を落とすことはない。   From the standpoint of the ceremony hall, if a member registers even in a non-contracted state, the member can conduct business activities. By making a difference in service between a simulation that can be performed by a non-contracted member and a simulation that can be performed by becoming a contracted member, it is possible to motivate the non-contracted member to become a contracted member. Since the cost according to the costume, venue, and options selected by the user can be clearly shown along with the simulation result, the reliability of the estimate is not lowered.

なお、上記実施形態では、会場や、人物、衣装、花などの装飾物については3次元データで表現する例で説明したが、少なくとも人物と衣装を3次元データで表現すれば、衣装の試着シミュレーションは3次元で可能となり、新郎新婦は自分たちがどのように見えるかについてのイメージは把握できるので十分と言える。従って、会場や装飾物については、3次元データでなく2次元データで表現してもよい。   In the above embodiment, the venue, the decorations such as the person, the costume, and the flower have been described by the example expressed by the three-dimensional data. However, if at least the person and the costume are expressed by the three-dimensional data, the costume fitting simulation is performed. Is possible in three dimensions, and the bride and groom are good enough to understand the image of how they look. Therefore, the venue and decorations may be expressed by two-dimensional data instead of three-dimensional data.

会場や装飾物の形状は3次元データで表現し(この場合、例えば花の形状は6角柱や8角柱にするなど、適宜大まかな形状で表現してもよい)、会場の壁の色や窓など、あるいは装飾物の外観は、2次元の画像を会場の内壁面や装飾物の形状の外面に貼り付けるようにして表現してもよい。また、会場や装飾物のデータについては2次元の写真を利用し、2次元の写真と3次元の人物データとを組み合わせて静止画により各シーンを表現してもよい。会場や装飾物などの背景画像を2次元で表現したとしても、新郎新婦の人物のデータは3次元で表現するので、衣装の試着シミュレーションは3次元で行える。また、背景画像を2次元で表現する場合は、視点を切り替えた場合の背景画像の見え方を、視点毎の背景画像データで表現し(例えば、第1の視点から見た場合の背景画像データ、第2の視点から見た場合の背景画像データ、…を用意しておく)、選択された視点に応じた背景画像の中に3次元で表現された新郎新婦の画像を配置して、全体シミュレーション画像(動画)とすればよい。この場合、最終的な全体シミュレーション画像は、動画でも静止画でもよい。静止画の場合は、いわゆるパラパラマンガのように何枚かの静止画でそのシーンの流れが分かるようにするとよく、その場合、視点を変えながらの静止画で表現するとよい。   The shape of the venue and decorations are represented by three-dimensional data (in this case, for example, the shape of the flower may be a rough shape as appropriate, such as a hexagonal column or an octagonal column), and the wall color and window of the venue Alternatively, the appearance of the decorative object may be expressed by pasting a two-dimensional image on the inner wall surface of the hall or the outer surface of the decorative object shape. In addition, for the venue and decoration data, a two-dimensional photograph may be used, and each scene may be represented by a still image by combining the two-dimensional photograph and the three-dimensional human data. Even if the background images of the venue, decorations, etc. are expressed in two dimensions, the data of the bride and groom's figures are expressed in three dimensions, so that the costume fitting simulation can be performed in three dimensions. When the background image is expressed in two dimensions, the appearance of the background image when the viewpoint is switched is expressed by background image data for each viewpoint (for example, background image data when viewed from the first viewpoint). Prepare the background image data when viewed from the second viewpoint, ...), arrange the bride and groom image expressed in three dimensions in the background image according to the selected viewpoint, and A simulation image (moving image) may be used. In this case, the final overall simulation image may be a moving image or a still image. In the case of a still image, it is preferable that the flow of the scene is understood by several still images as in a so-called flip book, and in that case, it is better to represent the still image while changing the viewpoint.

さらに、上記実施形態では、図6のステップ606,607及び図7のステップ703,704で作成し再生する全体シミュレーション画像(動画)は、新郎新婦の3次元画像と3次元の背景画像(会場や装飾物)とを合成して得られた3次元の全体のデータを利用して、3次元で表現されている新郎新婦の動きをシミュレーションし、選択された視点に応じてそのシミュレーション結果の動画データを生成しているが、最終的な全体シミュレーションの結果の生成方法はどのようなものでもよい。上記実施形態では、予め幾つかの視点を用意し、その中から選択された視点に応じたデータを生成しているが、3次元データで表現されているので、任意の視点から見た動画や静止画を生成して表現する方法を用いてもよい。   Furthermore, in the above embodiment, the entire simulation image (moving image) created and reproduced in steps 606 and 607 in FIG. 6 and steps 703 and 704 in FIG. 7 is a three-dimensional image of the bride and groom and a three-dimensional background image (the venue and The movement of the bride and groom expressed in three dimensions is simulated using the three-dimensional whole data obtained by synthesizing the decorative object), and the simulation result video data according to the selected viewpoint However, any method for generating the final overall simulation result may be used. In the above embodiment, several viewpoints are prepared in advance, and data corresponding to the viewpoint selected from the viewpoints is generated. However, since the data is represented by three-dimensional data, A method of generating and expressing a still image may be used.

さらに、人物や衣装などは、3Dカメラで撮影して3次元データを取得する代わりに、2次元画像から3次元データを求める手法を用いてもよい。また、予め人の形を表現する3次元データを用意しておき、その周りに、人物の周囲から撮影した2次元画像を貼り付けて3次元データを取得してもよい。さらに、例えば8方向から撮影した2次元画像を利用し、シミュレーションするときには、視点の角度に応じて前記8方向から撮影した画像の中の1つを選択して表示するような擬似的な3次元データでもよい(正確には3次元データとは言えないが、本発明の3次元データは、そのような擬似的なデータも含むものとする)。   Furthermore, a method of obtaining 3D data from a 2D image may be used instead of acquiring 3D data by photographing a person or a costume with a 3D camera. Alternatively, three-dimensional data representing a person's shape may be prepared in advance, and a two-dimensional image taken from around the person may be pasted around the three-dimensional data to obtain the three-dimensional data. Further, for example, when a simulation is performed using a two-dimensional image taken from eight directions, a pseudo three-dimensional image that selects and displays one of the images taken from the eight directions according to the viewpoint angle is displayed. It may be data (although not exactly three-dimensional data, the three-dimensional data of the present invention includes such pseudo data).

1…ASPサーバー、2…コンテンツデータベース、3…会員データベース、4…処理用PC、5…Webカメラ、6…三次元カメラ、7…結婚式場業務システム、8…挙式希望カップルの家庭内PC、9…モバイル端末、10…インターネット、11…モデリング処理部、12…DB更新部、13…シミュレーション部、14…送受信部。   DESCRIPTION OF SYMBOLS 1 ... ASP server, 2 ... Content database, 3 ... Member database, 4 ... PC for processing, 5 ... Web camera, 6 ... Three-dimensional camera, 7 ... Wedding hall business system, 8 ... In-home PC of couple wishing wedding ceremony, 9 DESCRIPTION OF SYMBOLS ... Mobile terminal, 10 ... Internet, 11 ... Modeling processing part, 12 ... DB update part, 13 ... Simulation part, 14 ... Transmission / reception part.

Claims (4)

結婚式の様子をシミュレーションして表示する結婚式シミュレーションシステムであって、
少なくとも衣装の2次元画像データを取得するカメラと、
少なくとも人物の3次元データを取得する3次元カメラと、
前記人物を表現する3次元データ、衣装を表現する2次元画像データ、式を行う会場を表現するデータ、及び、会場内に配置する装飾物を表現するデータを格納したコンテンツデータベースと、
ユーザによる衣装の選択、会場の選択、及び、装飾物の選択を受け付ける手段と、
前記人物を表現する3次元データで表現される立体の表面に、選択された衣装を表現する2次元画像データを貼り付けることにより、当該衣装を試着した人物の3次元データを取得する手段と、
前記選択された会場を表現するデータと、前記選択された装飾物を表現するデータと、前記衣装を試着した人物の3次元データとを用いて、前記選択された会場に前記選択された装飾物と前記衣装を着た人物を配置した3次元または2次元の画像データを合成する手段と、
合成した3次元または2次元の画像を表示する手段と、
選択可能に表示された、新郎新婦、親族、友人を含む複数の参列者の視点を含む複数の視点の中から任意の視点を選択する手段を備え、
該視点を選択する手段により視点が選択されたとき、前記合成する手段は、前記選択された視点から見た3次元または2次元の画像データを合成し、前記表示する手段で前記選択された視点から見た動画として表示することを特徴とする結婚式シミュレーションシステム。
A wedding simulation system that simulates and displays a wedding ceremony,
A camera that acquires at least two-dimensional image data of the costume;
A 3D camera that acquires at least 3D data of a person;
A content database storing three-dimensional data representing the person, two-dimensional image data representing a costume, data representing a venue for performing a formula, and data representing a decoration placed in the venue;
Means for accepting user selection of costumes, venue selection, and decoration;
Means for obtaining 3D data of a person who tried on the costume by pasting 2D image data representing the selected costume on the surface of the solid represented by the 3D data representing the person;
Using the data representing the selected venue, the data representing the selected ornament, and the three-dimensional data of the person who tried on the costume, the selected ornament at the selected venue. And means for synthesizing three-dimensional or two-dimensional image data in which a person wearing the costume is arranged,
Means for displaying a synthesized 3D or 2D image;
A means for selecting an arbitrary viewpoint from a plurality of viewpoints including the viewpoints of a plurality of participants including the bride and groom, relatives, and friends displayed in a selectable manner,
When the viewpoint is selected by the means for selecting the viewpoint, the synthesizing unit synthesizes the three-dimensional or two-dimensional image data viewed from the selected viewpoint, and the selected viewpoint is displayed by the displaying unit. A wedding simulation system, characterized in that it is displayed as a moving image seen from above.
請求項1に記載の結婚式シミュレーションシステムにおいて、
前記合成する手段が2次元の画像データを合成するものである場合、予め前記視点毎に前記選択された会場に前記選択された装飾物が配置された背景画像データを用意しておくことを特徴とする結婚式シミュレーションシステム。
The wedding simulation system according to claim 1,
In the case where the combining means is for combining two-dimensional image data, background image data in which the selected decoration is arranged in the selected venue for each viewpoint is prepared in advance. And wedding simulation system.
請求項1または2に記載の結婚式シミュレーションシステムにおいて、
前記ユーザが式場と契約する前は、前記ユーザによる衣装の選択、会場の選択、及び、装飾物の選択は、所定の制限された範囲内での選択を許すか、あるいは予め決められた衣装、会場、装飾物が選択されたものとして、かつ、前記人物を表現する3次元データとしては予め決められたモデルの人物を表現する3次元データを用いて、3次元または2次元の画像データの合成を行い、
前記ユーザが式場と契約した後は、前記ユーザによる衣装の選択、会場の選択、及び、装飾物の選択は、前記コンテンツデータベースに登録されている全てのコンテンツデータから選択できるものとし、かつ、前記人物を表現する3次元データとしては当該ユーザを撮影して取得した該ユーザの人物を表現する3次元データを用いて、3次元または2次元の画像データの合成を行う
ことを特徴とする結婚式シミュレーションシステム。
In the wedding simulation system according to claim 1 or 2,
Before the user contracts with the ceremony hall, the selection of costumes by the user, the selection of venues, and the selection of decorations allow selection within a predetermined limited range, or a predetermined costume, Three-dimensional or two-dimensional image data is synthesized by using three-dimensional data representing a person of a predetermined model as the three-dimensional data representing a person as a venue or decoration selected. And
After the user contracts with the ceremony hall, the selection of the costume, the selection of the venue, and the selection of the decoration by the user can be selected from all the content data registered in the content database, and 3D or 2D image data is synthesized using 3D data representing a person of the user acquired by photographing the user as 3D data representing the person. Simulation system.
請求項1から3の何れか1つに記載の結婚式シミュレーションシステムにおいて、
前記ユーザによる衣装の選択、会場の選択、及び、装飾物の選択の選択状況に応じた見積額を計算して表示する手段をさらに備えることを特徴とする結婚式シミュレーションシステム。
In the wedding simulation system according to any one of claims 1 to 3,
A wedding simulation system, further comprising means for calculating and displaying an estimated amount according to a selection situation of selection of costumes, venues, and decorations by the user.
JP2010285994A 2010-12-22 2010-12-22 Wedding simulation system Active JP5833306B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010285994A JP5833306B2 (en) 2010-12-22 2010-12-22 Wedding simulation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010285994A JP5833306B2 (en) 2010-12-22 2010-12-22 Wedding simulation system

Publications (2)

Publication Number Publication Date
JP2012133632A JP2012133632A (en) 2012-07-12
JP5833306B2 true JP5833306B2 (en) 2015-12-16

Family

ID=46649153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010285994A Active JP5833306B2 (en) 2010-12-22 2010-12-22 Wedding simulation system

Country Status (1)

Country Link
JP (1) JP5833306B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208209A (en) * 2013-03-18 2013-07-17 苏州诺特丹信息技术有限公司 Novel wedding rehearsal system
JP2022186612A (en) * 2021-06-04 2022-12-15 功憲 末次 Commodity/service use simulation system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003147619A (en) * 2001-11-07 2003-05-21 Hitachi Electronics Service Co Ltd Fitting system for bridal clothes
JP2004326532A (en) * 2003-04-25 2004-11-18 Nec Fielding Ltd Bridal producing system
JP2007148823A (en) * 2005-11-28 2007-06-14 Seiko Epson Corp Ceremony preparation support method, ceremony preparation support server and ceremony preparation support program

Also Published As

Publication number Publication date
JP2012133632A (en) 2012-07-12

Similar Documents

Publication Publication Date Title
US11367250B2 (en) Virtual interaction with three-dimensional indoor room imagery
US10013713B2 (en) Computer implemented methods and systems for generating virtual body models for garment fit visualisation
US20180047094A1 (en) 3-D Immersion Technology in a Virtual Store
CN107209962A (en) For the method for the 3D virtual body models for generating the people combined with 3D clothes images, and related device, system and computer program product
JP6720385B1 (en) Program, information processing method, and information processing terminal
JP2013050937A (en) Data storage system
CN104851004A (en) Display device of decoration try and display method thereof
KR20180126145A (en) Virtual history experience system with Age-specific cultural image and thereof method
CN117337443A (en) Customized virtual store
JP2006318113A (en) Total coordination selling system
JP5833306B2 (en) Wedding simulation system
JP2004326532A (en) Bridal producing system
CN113313840A (en) Real-time virtual system and real-time virtual interaction method
JP2001357148A (en) System and method for wedding ceremony simulation and storage medium stored with wedding ceremony simulation program
Aydoğdu Usage of augmented reality technologies a case study: augmented reality in museums
JP2023157818A (en) Multi-site space sharing system and synthetic video generation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140917

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140925

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20141121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150409

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151029

R150 Certificate of patent or registration of utility model

Ref document number: 5833306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250