JP5927822B2 - Image communication system - Google Patents
Image communication system Download PDFInfo
- Publication number
- JP5927822B2 JP5927822B2 JP2011205558A JP2011205558A JP5927822B2 JP 5927822 B2 JP5927822 B2 JP 5927822B2 JP 2011205558 A JP2011205558 A JP 2011205558A JP 2011205558 A JP2011205558 A JP 2011205558A JP 5927822 B2 JP5927822 B2 JP 5927822B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- accessory
- identification
- character
- mobile phone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
本発明は、本体画像にアクセサリ画像を合成して表示する端末装置と、画像を管理する管理装置との間で通信ネットワークを介して画像の送受信を行う画像通信システムに関する。 The present invention relates to an image communication system that transmits and receives an image via a communication network between a terminal device that synthesizes and displays an accessory image on a main body image and a management device that manages the image .
近年、ネットワーク上で自己を表現したキャラクタを表示させる場合、例えば、SNS(ソーシャル・ネットワーキング・サービス)を利用して趣味が共通する仲間同士が各人の分身画像(アバター)を介してネットワーク上でコミュニケーションを行う場合において、同じ趣味の仲間同士であるためにアバターも趣味に関係したものが多く、仲間同士のアバターが類似してしまうことがある。このような場合に、アバターにアクセサリを付加するようにしているが、予め決められているアクセサリの中から所望するアクセサリを選択するしかなく、アクセサリも類似してしまうことが多かった。
ところで、従来、アバターにアクセサリを付加する技術としては、ユーザ属性に応じて選択したアクセサリをアバターに付加するようにした技術が知られている(特許文献1参照)。
In recent years, when displaying a character expressing self on the network, for example, friends who share a hobby using SNS (Social Networking Service) can be displayed on the network via each person's share image (avatar). In the case of communication, since the same hobby is between friends, there are many avatars related to the hobby, and the avatars of the friends may be similar. In such a case, an accessory is added to the avatar, but a desired accessory must be selected from predetermined accessories, and the accessory is often similar.
By the way, conventionally, as a technique for adding an accessory to an avatar, a technique is known in which an accessory selected according to a user attribute is added to an avatar (see Patent Document 1).
しかしながら、上述した特許文献1にあっては、アクセサリ付きのアバターを自動生成することでアバターの識別力を大幅に向上させることが可能となるが、ユーザ属性を決定するための前提として、ユーザに対して所定のテストを実施する必要があり、また、ユーザ属性が似ている者同士では、アクセサリも類似してしまうおそれがあった。
However, in
本発明の課題は、本体画像に合成表示されるアクセサリ画像を生成する場合に、識別力の高いアクセサリ画像を生成できるようにすることである。 An object of the present invention is to make it possible to generate an accessory image with high discriminating power when generating an accessory image synthesized and displayed on a main body image.
上述した課題を解決するために本発明の一つの態様は、
撮影されたスルー画像をライブビュー画面に表示した状態で、当該ライブビュー画面に表示中のスルー画像に対してキャラクタ画像およびアクセサリ画像を合成して表示する端末装置と、前記端末装置へ返送するアクセサリ画像を管理する管理装置との間で通信ネットワークを介して画像の送受信を行う画像通信システムにおいて、
前記端末装置に設けられ、所定の被写体を撮影する撮像手段と、
前記端末装置に設けられ、前記撮像手段が所定の被写体を撮影したスルー画像中から当該被写体に付加されているマーカを抽出すると共に、当該マーカの位置を特定し、抽出したマーカを、前記キャラクタ画像を識別する識別画像として認識する認識手段と、
前記端末装置に設けられ、前記認識手段により認識された識別画像を前記管理装置へ送出した場合に当該管理装置から返送され、当該識別画像に対応付けられた前記アクセサリ画像を取得する一方、スルー画像をライブビュー画面に表示した状態で、前記認識手段が特定したスルー画像中のマーカの位置に、取得した前記アクセサリ画像および前記キャラクタ画像を合成して表示する生成手段と、
を備えたことを特徴とする画像通信システムである。
In order to solve the above-described problem, one aspect of the present invention is as follows.
A terminal device that synthesizes and displays a character image and an accessory image with a through image being displayed on the live view screen in a state where the captured through image is displayed on the live view screen, and an accessory that is returned to the terminal device In an image communication system that transmits and receives images via a communication network with a management device that manages images ,
An image pickup means provided in the terminal device for shooting a predetermined subject;
The marker that is provided in the terminal device and extracts the marker attached to the subject from the through image obtained by photographing the predetermined subject by the imaging unit , specifies the position of the marker, and uses the extracted marker as the character image. Recognition means for recognizing as an identification image for identifying
When the identification image provided in the terminal device and recognized by the recognition means is sent to the management device, the accessory image returned from the management device and associated with the identification image is acquired, while the through image Generating means for synthesizing and displaying the acquired accessory image and the character image at the position of the marker in the through image specified by the recognition means in a state where the image is displayed on the live view screen ,
An image communication system comprising:
本発明によれば、本体画像に合成表示されるアクセサリ画像を生成する場合に、識別力の高いアクセサリ画像を生成することができ、例え、類似する本体画像が多数存在していても個々の本体画像を容易に識別することが可能となる。 According to the present invention, when generating an accessory image synthesized and displayed on a main body image, an accessory image with high discriminating power can be generated. For example, even if there are many similar main body images, individual main bodies can be generated. Images can be easily identified.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(第1実施形態)
先ず、図1〜図12を参照して本発明の第1実施形態を説明する。
本実施形態は、端末装置として携帯電話機に適用した場合を例示したもので、図1は、この携帯電話機が利用可能な通信システムを示した図である。
この通信システムは、携帯電話機1、センサ装置2、無線通信網3、インターネット4、サーバ装置(管理装置)5を有する構成で、携帯電話機1側で撮影された画像が無線通信網3、インターネット4を介してサーバ装置(管理装置)5に送信されたり、サーバ装置5側で生成された画像がインターネット4、無線通信網3を介して送信されたりする画像通信システム(植物育成管理システム)である。なお、この画像通信システム(植物育成管理システム)は、趣味(植物育成)が共通する仲間同士がネットワーク上でコミュニケーションを行うことも可能である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
First, a first embodiment of the present invention will be described with reference to FIGS.
This embodiment exemplifies a case where the present invention is applied to a mobile phone as a terminal device, and FIG. 1 is a diagram showing a communication system that can use the mobile phone.
This communication system has a
携帯電話機1は、音声通話機能、電子メール機能、インターネット接続機能(Webアクセス機能)、近距離通信機能、撮像機能(カメラ機能)などが備えられたもので、植物の育成環境を検出するセンサ装置2との間で近距離通信を行い、また、最寄りの基地局(図示省略)を介して無線通信網3に接続されると、この無線通信網3を介して他の携帯電話機(図示省略)との間で通話や電子メールの送受信が可能な状態となり、また、無線通信網3を介してインターネット4に接続されると、電子メールの送受信やWebページの閲覧が可能となる。
The
センサ装置2は、植物付近(例えば、植木鉢内)に設置されているもので、植物の育成環境を検出する環境センサ(温度センサ、水分センサなど)を備えている。携帯電話機1は、センサ装置2からセンサ検出結果(現在の育成環境)を受信すると、その植物の種類と現在の育成環境を無線通信網3、インターネット4を介してサーバ装置5に送信するようにしている。サーバ装置5は、携帯電話機1を介して植物の種類と現在の育成環境を受信すると、その受信結果に基づいて植物用の育成データベース6を検索し、その植物の種類に応じて現在の育成状況を示す育成情報(例えば、最適環境、水分不足、日照過多など)を元の携帯電話機1に送信するようにしている。なお、植物用の育成データベース6は、植物の種類に応じて現在の育成状況を示す育成情報や育成の仕方などを示す育成情報を記憶する。この育成データベース6のほか、サーバ装置5には、後述する画像データベース7が備えられている。
The
携帯電話機1は、サーバ装置5から育成情報を受信すると、その育成情報を含むキャラクタを表示するようにしているが、その際、キャラクタを本体画像としてそれにアクセサリ画像を合成して表示させるようにしている。図2は、携帯電話機1のカメラ機能により撮影された画像(スルー画像)内にキャラクタを表示させた場合の表示例を示した図で、植木鉢内のセンサ装置2を被写体として、カメラ機能によって撮影された場合に、その撮影画像がスルー画像としてライブビュー画面(モニタ画面:端末画面)に表示されている状態において、予め記憶されているキャラクタ(動画)がそのスルー画像内に重畳表示された状態を示している。この場合、撮影画像(スルー画像)内においてセンサ装置2の近くにはキャラクタが重畳表示されると共に、このキャラクタを本体画像として、このキャラクタにはアクセサリ画像(図示の例では、バッチ型のアクセサリ)が合成表示される。なお、図示のように、モニタ画面の一隅部には、サーバ装置5から取得した現在の育成状況を示す育成情報(図示の例では、“最適環境”)が表示される。
When the
アクセサリ画像は、サーバ装置5側で生成されたもので、携帯電話機1は、サーバ装置5からアクセサリ画像を受信して、キャラクタ(本体画像)に付加表示(合成表示)させるようにしている。すなわち、携帯電話機1は、カメラ機能によって撮影された画像内の被写体に付加されている絵図(マーカ)をキャラクタ(本体画像)の識別用の画像として認識し、その識別画像をサーバ装置5に送信すると、サーバ装置5は、この識別画像に基づいてアクセサリ画像を生成して携帯電話機1に送信する。携帯電話機1は、サーバ装置5からアクセサリ画像を受信して、キャラクタ(本体画像)にアクセサリ画像を合成表示させる。
The accessory image is generated on the
この場合、植木鉢内のセンサ装置2には、その識別用として絵図(マーカ)が付加されており、このマーカを中心としてセンサ装置2が被写体として撮影されると、その撮影画像の中からマーカ部分を抽出して識別画像として認識するようにしている。この場合、撮影画像の中からマーカ部分を抽出する際に、マーカ部分を真上から撮影したようにその画像部分を補正して抽出するようにしているが、その抽出の仕方はこれに限らず、任意である。マーカは、例えば、センサ装置2の天板部に手書きされた絵図、数字、文字、写真などであり、センサ装置2を視覚的に識別可能とするために設けられたもので、図示の例では、数字5が手書き記入された場合を示している。なお、センサ装置2、つまりマークを被写体として撮影する際には、そのマークを正面方向から撮影するようにしている。
In this case, a picture (marker) is added to the
サーバ装置5は、携帯電話機1からの識別画像をその登録要求と共に受信すると、この識別画像に基づいてアクセサリ画像を生成し、この識別画像とアクセサリ画像とを対応付けて画像データベース7に登録するようにしている。この画像データベース7に識別画像とアクセサリ画像とが対応付けて登録されている状態において、携帯電話機1は、キャラクタ(本体画像)の表示時にそれに付加されるアクセサリ画像の送信をサーバ装置5に対して要求するようにしている。サーバ装置5は、携帯電話機1からアクセサリ画像の送信要求を受け取ると、その送信要求と共に受信した識別画像を識別情報(検索キー)として画像データベース7を検索することにより該当するアクセサリ画像を読み出して、要求元の携帯電話機1に送信するようにしている。
When the
図3は、センサ装置2の構成を説明するための概略縦断面図である。
センサ装置2は、植木や草花などの植物の育成環境を観測するための環境センサと通信機能を備えた小型電子機器であり、その筺体全体は、細長状の中空の棒体を成している。センサ装置2の中空棒体の全体は、先細り状に形成され、このセンサ装置2の下部(例えば、下半分)を鉢などの土壌内に埋め込む構成となっている。センサ装置2の下部側の表面には、通気・通水用として複数個の細孔2aが形成されている。また、センサ装置2の上端部分の一側部には、弧状の取手2bが突出形成(一体成型)されており、センサ装置2の下部を鉢などの土壌内に抜き刺しする場合に、その上端面を親指の腹部分で押圧しながら、取手2bの下側に人差し指を掛けて行うことにより、センサ装置2の抜き刺しをスムーズに行うことが可能な構成となっている。
FIG. 3 is a schematic longitudinal sectional view for explaining the configuration of the
The
センサ装置2の上端部側の天板部には、各種の電子部品として、植物周辺の明るさを検出する照度(日照)センサ2cと、植物周辺の気温を検出する外気温度センサ2dと、近距離通信部用のアンテナ2eと、それらの動作を制御する制御部と、各種センサの検出結果を順次記憶する記憶部(図示省略)とが内蔵され、また、その天板部の下方には、電源電池2fが内蔵されている。センサ装置2の中央仕切板部には、土壌の水分量(湿度)を検出する水分センサ2gが内蔵されている。なお、センサ装置2の中空部において、細孔2aの形成部分には、土壌の侵入を防ぐための弁部材2hが複数形成されている。
On the top plate on the upper end side of the
図4は、携帯電話機1の基本的な構成要素を示したブロック図である。
CPU11は、二次電池(図示省略)を備えた電源部12からの電力供給によって動作し、記憶部13内の各種のプログラムに応じてこの携帯電話機1の全体動作を制御する中央演算処理装置である。記憶部13には、図8及び図9に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、携帯電話機1が動作するために必要な各種の情報を一時的に記憶するワーク領域が設けられている。
FIG. 4 is a block diagram showing basic components of the
The
無線通信部14は、音声通話機能、電子メール機能、インターネット接続機能時に使用される広域通信部である。撮像部15は、被写体を高精細に撮影可能なカメラ部を構成するもので、図示しないが、光学レンズ、撮像素子のほか、光学系駆動部、照明用のストロボ、アナログ処理回路、信号処理回路などが備えられている。この撮像部15によりセンサ装置2を被写体として撮影されると、CPU11は、そのセンサ装置2に付加されている絵図(マーカ)を識別画像として認識する。表示部16は、例えば、高精細液晶ディスプレイや有機ELディスプレイ、電気泳動型ディスプレイ(電子ペーパ)などを使用したもので、文字情報、待受画像などの表示情報を表示するほか、カメラ機能の使用時には撮影画像としてライブビュー画像(モニタ画像)を表示するファインダ画面となる。この表示部15の表面には、指の接触を検出する接触操作部(透明な接触センサ)を積層配設することによってタッチスクリーン(タッチ画面)が構成されている。
The
操作部17は、図示省略したが、電源オン/オフボタン、カメラモードに切り替えるボタン、シャッタボタンなどを有し、CPU11は、操作ボタンに応じた処理を行う。近距離通信部18は、ブルートゥース(Bluetooth:登録商標)・モジュールを構成し、観測装置2との間で交信を行うもので、その通信可能エリアは、例えば、10mの範囲内となっているが、通信可能距離はこれに限らない。なお、携帯電話機1からはセンサ装置2を探索する探索信号(サーチ信号)が発信され、それに対してセンサ装置2から応答があれば、携帯電話機1とセンサ装置2との通信リンクが確立されて相互間でデータ通信が可能な状態となる。
Although not illustrated, the
図5は、サーバ装置5の基本的な構成要素を示したブロック図である。
CPU51は、電源部52からの電力供給によって動作し、記憶部53内の各種のプログラムに応じてこのサーバ装置5の全体動作を制御する中央演算処理装置である。記憶部25には、図10〜図12に示した動作手順に応じて第1実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。CPU51にはその周辺デバイスとして通信部54、表示部55、操作部56が接続されている。そして、CPU51は、上述したように携帯電話機1からの識別画像をその登録要求と共に受信すると、この識別画像に基づいてアクセサリ画像を生成し、この識別画像とアクセサリ画像とを対応付けて画像データベース7に登録する。
FIG. 5 is a block diagram showing basic components of the
The
図6は、画像データベース7を説明するための図である。
画像データベース7は、識別画像とアクセサリ画像とを対応付けて記憶管理するもので、そのレコードは、「ID」、「識別画像」、「アクセサリ画像」、「アクセサリ形状」、「登録日時」、「利用日時」、「ステータス」の各項目を有する構成となっている。「ID」は、アクセサリ画像を新規登録する毎に発行したシリアル番号で、そのレコードを検索するキー(例えば、第2の検索キー)として使用される。「識別画像」は、携帯電話機1側でセンサ装置2が撮影された場合に、そのセンサ装置2に付加されているマークがキャラクタを識別するための画像として認識されたもので、そのレコードを検索するキー(例えば、第1の検索キー)として使用される。ここで、第1の検索キーは、第2の検索キーよりも優先的に使用されるキーで、第2の検索キーは、第1の検索キーの補助的なキーとなる。なお、図示の例では、「識別画像」として、手書きされた顔の絵、文字、数字を例示しているが、これに限らないことは勿論である。
FIG. 6 is a diagram for explaining the
The
「アクセサリ画像」は、キャラクタ(本体画像)に付加される画像で、「識別画像」に基づいて生成される。サーバ装置5は、「識別画像」に基づいて「アクセサリ画像」を生成する場合に、「識別画像」に文字が含まれていれば、その文字を記したネームホルダのアクセサリ画像を生成するようにしている。また、「識別画像」に数字が含まれていれば、その数字を記したバッチ(ゼッケン)のアクセサリ画像を生成し、「識別画像」に文字及び数字が含まれていなければ、その「識別画像」を使用したキーホルダのアクセサリ画像を生成するようにしている。そして、生成したアクセサリ画像をキャラクタ(本体画像)の所定位置に付加するようにしている。図7は、「ID」が“1”の「識別画像」に基づいて生成されたキーホルダのアクセサリ画像がキャラクタ(本体画像)に付加された状態の表示例を示した図である。この場合、キーホルダの輪の部分に取り付けられている装飾部が識別画像として利用された場合を示している。
The “accessory image” is an image added to the character (main body image), and is generated based on the “identification image”. When the
「アクセサリ形状」は、アクセサリの種類として、“キーホルダ”、“ネームホルダ”、“バッチ(ゼッケン)”などを示しているが、これに限らないことは勿論である。「登録日時」は、「アクセサリ画像」が生成されて「識別画像」と共に登録された日時を示し、「利用日時」は、「アクセサリ画像」が利用された日時を示し、利用される毎に更新される。「ステータス」は、「アクセサリ画像」が長期間未使用のままの状態ではないか否かを示すもので、長期間未使用状態のままでなければ“true”が記憶され、長期間未使用状態のままであれば“false”が記憶される。 “Accessory shape” indicates “key holder”, “name holder”, “batch (bib)”, and the like as accessory types, but is not limited thereto. “Registration Date / Time” indicates the date / time when “Accessory Image” was generated and registered with “Identification Image”, and “Use Date / Time” indicates the date / time when “Accessory Image” was used, and is updated every time it is used. Is done. “Status” indicates whether or not the “accessory image” is not left unused for a long period of time. If it is not left unused for a long period of time, “true” is stored and the “accessory image” is not used for a long time. If it remains, “false” is stored.
次に、第1実施形態における携帯電話機1、サーバ装置5の動作概念を図8〜図12に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
Next, the operation concept of the
図8は、携帯電話機1がサーバ装置5に対してアクセサリ画像の登録要求を行う場合の動作(登録要求処理)の概要を示したフローチャートである。図9は、携帯電話機1側でキャラクタを表示する場合の動作(キャラクタ表示処理)の概要を示したフローチャートである。なお、図8、図9は、携帯電話機1の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図8、図9のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。図10〜図12は、サーバ装置5側の全体動作の概要を示したフローチャートである。
FIG. 8 is a flowchart showing an outline of an operation (registration request processing) when the
携帯電話機1側において、ユーザ操作で画像登録が指示されると、図8のフローに応じた動作が実行開始される。先ず、CPU11は、メモリ内容をクリアするなどの初期化処理(図8のステップA1)を実行した後、撮像部15を起動させると共に(ステップA2)、撮影ガイダンスを表示させる(ステップA3)。この場合、ユーザは、撮像部15の撮影方向を植木鉢内のセンサ装置2に向けた状態においてシャッタボタンを操作する。これによってセンサ装置2に付加されている識別用のマーカが撮影される(ステップA4)。
When image registration is instructed by a user operation on the
CPU11は、この撮影画像(スルー画像)の中からマーカ部分を抽出して識別画像として認識し(ステップA5)、その認識に成功したかを調べ(ステップA6)、正常に認識するまで上述のステップA4に戻る。いま、マーカを識別画像として正常に認識することができた場合には(ステップA6でYES)、サーバ装置5に対して画像登録を要求するためにその識別画像と共に登録リクエストを送信した後(ステップA7)、それに応答してサーバ装置5から“既登録有り”を受信したかを調べる(ステップA8)。
The
図10及び図11は、サーバ装置5側において電源オンに応じて実行開始される動作を示したフローチャートである。
先ず、CPU51は、携帯電話機1から何らかのリクエストを受信したかを調べたり(図10のステップC1)、画像データベース7の内容を更新するタイミング(例えば、00時00分)になったかを調べたり(ステップC2)、電源オフ操作が行われたかを調べたりする(ステップC3)。いま、電源オフ操作が行われたときには(ステップC3でYES)、このフローの終了となるが、携帯電話機1から何らかのリクエストを受信したときには(ステップC1でYES)、携帯電話機1から識別画像を受信取得する動作を開始して(ステップC4)、正常に受信を完了したかを調べ(ステップC5)、正常に受信するまで上述のステップC4に戻る。いま、識別画像を正常に受信取得することができた場合に(ステップC5でYES)、そのリクエスト内容が登録リクエストであれば(ステップC6でYES)、画像を登録する登録処理に移る(ステップC7)。
FIG. 10 and FIG. 11 are flowcharts showing an operation that is started in response to power-on on the
First, the
図12は、サーバ装置5での登録処理(図10のステップC7)を詳述するためのフローチャートである。
先ず、CPU51は、画像データベース7内の登録済みの「識別画像」からその登録順に一つの「識別画像」を読み出し(ステップD1)、携帯電話機1から取得した識別画像と比較することにより両者は一致するかの一致判定を行う(ステップD2)。その結果、両者が一致しなければ(ステップD3でNO)、次の登録済みの「識別画像」を指定し(ステップD9)、画像データベース7内の「識別画像」を全て指定し終わるまで(ステップD10でYES)、上述のステップD1に戻り、以下、登録済みの「識別画像」を一つずつ指定しながら一致判定を繰り返す(ステップD2、D3、D9)。
FIG. 12 is a flowchart for explaining the registration process (step C7 in FIG. 10) in the
First, the
その結果、携帯電話機1から取得した識別画像が画像データベース7内のいずれかの「識別画像」と一致したことが検出された場合には(ステップD3でYES)、登録要求された「識別画像」と同じ画像が既に登録済みであると判断して次のステップD4に移り、その登録済みの「識別画像」に対応する「ステータス」は、長期間未使用状態を示す“false”であるかを調べる。ここで、長期間未使用状態ではないことを示す“true”であれば(ステップD4でNO)、同じ画像が既に登録済みであることをその要求元の携帯電話機1に対して送信した後(ステップD8)、図12のフローから抜ける。
As a result, if it is detected that the identification image acquired from the
また、「ステータス」が“false”であれば(ステップD4でYES)、その既登録内容に代えて今回要求された登録内容に書き換える。つまり、既登録内容をそのまま利用して新規登録の内容に書き換える(ステップD5〜D7)。この場合、今回の登録要求を新規登録とするためにその「ステータス」を“true”に書き換えた後(ステップD5)、その「登録日時」を現在日時に更新すると共に(ステップD6)、その「利用日時」も現在日時に更新する処理を行う(ステップD7)。このようにして登録内容を書き換えた後は、図12のフローから抜ける。 If the “status” is “false” (YES in step D4), the registration contents requested this time are rewritten in place of the already registered contents. That is, the existing registration contents are used as they are to rewrite the contents of new registration (steps D5 to D7). In this case, in order to make the current registration request new registration, the “status” is rewritten to “true” (step D5), and then the “registration date” is updated to the current date (step D6). The process of updating the “use date and time” to the current date and time is performed (step D7). After the registration contents are rewritten in this way, the flow of FIG. 12 is exited.
他方、全ての識別画像を読み出しても一致判定が行われなければ、つまり、登録要求された識別画像と同じ画像が登録済みでなければ(ステップD10でNO)、今回の要求に応じて新規登録を行うが、それに先立って、登録要求された識別画像に基づいてアクセサリ画像を生成する処理を行う(ステップD11〜D16)。すなわち、識別画像を解析してテキスト認識を行い(ステップD11)、テキストが含まれているかを調べ(ステップD12)、テキストが含まれていなければ(ステップD12でNO)、この識別画像を使用したキーホルダのアクセサリ画像を生成する(ステップD13)。 On the other hand, if no coincidence determination is made even if all the identification images have been read, that is, if the same image as the identification image requested for registration has not been registered (NO in step D10), new registration is performed in response to the current request. Prior to this, processing for generating an accessory image based on the identification image requested to be registered is performed (steps D11 to D16). That is, the identification image is analyzed and text recognition is performed (step D11), whether text is included (step D12). If no text is included (NO in step D12), this identification image is used. An accessory image of the key holder is generated (step D13).
また、識別画像内にテキストが含まれていれば(ステップD12でYES)、そのテキストは数字であるかを調べ(ステップD14)、数字であれば(ステップD14でYES)、その数字を記したバッチ(ゼッケン)のアクセサリ画像を生成する(ステップD15)。また、そのテキストが文字であれば(ステップD14でNO)、その文字を記したネームホルダのアクセサリ画像を生成する(ステップD16)。このようにしてアクセサリ画像を生成すると、新規なIDを発行し、「ID」、「認識画像」、「アクセサリ画像」、「アクセサリ形状」、「登録日時」、「利用日時」、「ステータス」からなる新たなレコードを生成して、この新規レコードを画像データベース7の末尾に追加登録する(ステップD17)。なお、この新規登録時には「ステータス」として“true”が記憶される。その後、図12のフローから抜ける。 If the identification image contains text (YES in step D12), it is checked whether the text is a number (step D14). If it is a number (YES in step D14), the number is written. A batch (bib) accessory image is generated (step D15). If the text is a character (NO in step D14), an accessory image of the name holder describing the character is generated (step D16). When the accessory image is generated in this way, a new ID is issued, and from “ID”, “recognition image”, “accessory image”, “accessory shape”, “registration date”, “use date”, “status” A new record is generated, and this new record is additionally registered at the end of the image database 7 (step D17). At the time of this new registration, “true” is stored as “status”. Thereafter, the flow of FIG.
このような登録処理が終わると(図10のステップC7)、サーバ装置5は、その登録処理の結果、“既登録無し”であったかを調べる(ステップC8)、ここで、“既登録有り”の場合には(ステップC8でNO)、再登録の要求に備えるために上述のステップC1に戻る。また、“既登録無し”の場合には(ステップC8でYES)、新たに生成した「アクセサリ画像」を読み出して要求元の携帯電話機1に送信して(ステップC9)、その送信が完了したかを調べ(ステップC10)、送信が完了するまで上述のステップC9に戻る。これによって送信が完了したときには(ステップC10でYES)、上述のステップC1に戻る。
When such a registration process is completed (step C7 in FIG. 10), the
ここで、携帯電話機1は、識別画像をサーバ装置5に送信した後、それに応答してサーバ装置5から“既登録有り”を受信したかを調べ(図8のステップA9)、“既登録有り”を受信したときには(ステップA9でYES)、センサ装置2のマーカを他のものに変更すべきことをユーザに要請するガイダンスを表示部16に表示させた後(ステップA10)、図8のフローから抜ける。また、“既登録無し”を受信したときには(ステップA9でNO)、サーバ装置5からアクセサリ画像を受信取得し(ステップA11)、その取得に成功したかを調べ(ステップA12)、正常に画像を受信取得するまで上述のステップA11に戻る。
Here, after transmitting the identification image to the
これによって携帯電話機1は、アクセサリ画像の受信取得が完了すると(ステップA12でYES)、予め記憶されているキャラクタを読み出し取得する(ステップA13)。そして、撮像部15により撮影された画像がモニタ画面にスルー画像として表示されている状態において、その被写体であるセンサ装置2に付されているマーカの位置を特定する(ステップA14)。次に、この取得したキャラクタにアクセサリ画像を合成し、その合成画像をスルー画像内の特定位置に重畳表示させる(ステップA15)。この場合、キャラクタにアクセサリ画像を合成する場合、そのアクセサリ形状に応じた位置に合成するようにしている。そして、ユーザ操作による再登録指示の有無を調べ(ステップA16)、再登録の指示が無ければ(ステップA16でNO)、撮像部15を停止させた後(ステップA17)、図8のフローから抜けるが、再登録の指示が有れば(ステップA16でYES)、サーバ装置5に対して再登録を要求するために上述のステップA3に戻る。
As a result, when the reception and acquisition of the accessory image is completed (YES in step A12), the
一方、サーバ装置5は、画像データベース7の内容を更新するタイミング(例えば、00時00分)を検出すると(ステップC2でYES)、図11のフローに移り、画像データベース7から登録順に一つの「利用日時」を読み出し(ステップC17)、現在日時と比較して「利用日時」から1年以上を経過しているかを調べ(ステップC18)、その「利用日時」に対応する「ステータス」の内容を“false”に書き換える(ステップC19)。そして、次の「利用日時」を指定し(ステップC20)、「利用日時」を全て読み出したかを調べ(ステップC21)、全ての「利用日時」を読み出すまで上述のステップC17に戻り、「利用日時」から1年以上を経過している「ステータス」を“false”に書き換える動作を繰り返す(ステップC19)。そして、全ての「利用日時」を指定し終わった場合には(ステップC21でYES)、図10のステップC1に戻る。
On the other hand, when the
他方、携帯電話機1側において、ユーザ操作でキャラクタ表示が指示されると、図9のフローに応じた動作が実行開始される。先ず、CPU11は、メモリ内容をクリアするなどの初期化処理(図9のステップB1)を実行した後、撮像部15を起動させると共に(ステップB2)、撮影ガイダンスを表示させる(ステップB3)。この場合、ユーザは、撮像部15の撮影方向を植木鉢内のセンサ装置2に向けた状態においてシャッタボタンを操作する。これによってセンサ装置2の識別用のマーカが撮影されると(ステップB4)、CPU11は、この撮影画像(スルー画像)の中からマーカを識別画像として認識し(ステップB5)、正常に認識するまで(ステップB5でYES)、上述のステップA4に戻る。いま、マーカを識別画像として正常に認識すると(ステップB6でYES)、サーバ装置5に対してアクセサリ画像の送信を要求するためにその識別画と共に画像送信リクエストを送信する(ステップB7)。
On the other hand, when a character display is instructed by a user operation on the
サーバ装置5側では、携帯電話機1からのリクエストを受信すると(図10のステップC1でYES)、それは登録リクエストであるかを調べ(ステップC6)、登録リクエストでなければ(ステップC6でNO)、アクセサリ画像の送信リクエストであると判断して、図11のステップC11に移り、携帯電話機1からの識別画像に基づいて画像データベース7内の各「識別画像」を検索する。その結果、一致する識別画像を検索することができたか(一致完了か)を調べ(ステップC12)、一致完了でなければ(ステップC12でNO)、携帯電話機1から受信した識別画像が画像データベース7内の登録されていないか(未登録か)を調べる(ステップC13)。
When the
この場合、サーバ装置5は、識別画像が未登録であれば(ステップC13でYES)、図10のステップC7に移って登録処理を行うが、一致完了であれば(ステップC12でYES)、画像データベース7内から該当する「アクセサリ画像」を読み出し取得する(ステップC14)。そして、この「アクセサリ画像」を要求元の携帯電話機1に送信し(ステップC15)、その送信が完了したかを調べ(ステップC16)、送信が完了するまで上述のステップC15に戻る。これによって送信が完了すると(ステップC16でYES)、図10のステップC1に戻る。
In this case, if the identification image is not registered (YES in step C13), the
携帯電話機1側において、サーバ装置5に識別画像を送信した後(図9のステップB8)、それに応答してサーバ装置5から「アクセサリ画像」を受信取得すると(ステップB9)、その取得に成功したかを調べ(ステップB10)、正常に取得するまで上述のステップB8に戻って、再度、識別画像をサーバ装置5に送信する。これによってアクセサリ画像の受信取得が完了すると(ステップB10でYES)、予め記憶されているキャラクタを読み出し取得した後(ステップB113)、スルー画像内においてセンサ装置2に付されているマーカの位置を特定する(ステップB12)。
On the
そして、キャラクタにアクセサリ画像を合成した合成画像をスルー画像内の特定位置に重畳表示させる(ステップB13)。なお、キャラクタにアクセサリ画像を合成する場合、そのアクセサリ形状に応じた位置に合成するようにしている。そして、キャラクタを動かす動画処理を開始させた後(ステップB14)、キャラクタ表示の終了が指示されるまで(ステップB15でYES)、キャラクタ動画処理を繰り返すが(ステップB14)、ユーザ操作などにより表示終了が指示されると(ステップB15でYES)、撮像部15を停止させた後(ステップB16)、図9のフローから抜ける。
Then, the synthesized image obtained by synthesizing the accessory image with the character is superimposed and displayed at a specific position in the through image (step B13). Note that when an accessory image is combined with a character, it is combined at a position corresponding to the accessory shape. Then, after starting the moving image processing for moving the character (step B14), the character moving image processing is repeated (step B14) until the end of character display is instructed (YES in step B15), but the display is terminated by a user operation or the like. Is instructed (YES in step B15), the
以上のように、第1実施形態は、本体画像(キャラクタ)にアクセサリ画像を合成して表示する携帯電話機1とサーバ装置5とが通信ネットワークを介して画像の送受信を行う画像通信システムであって、携帯電話機1側で撮像部15により被写体を撮影すると、撮影された画像内の被写体をキャラクタの識別用の画像として認識し、この認識された識別画像に基づいてアクセサリ画像を生成するようにしたので、被写体を利用した識別力の高いアクセサリ画像を生成することができ、例え、類似する本体画像(キャラクタ)が存在していても個々のキャラクタを容易に識別することが可能となる。
As described above, the first embodiment is an image communication system in which the
携帯電話機1は、撮像部15により被写体を撮影すると、撮影された画像内の被写体をキャラクタの識別用の画像として認識してサーバ装置5に送信し、サーバ装置5は、携帯電話機1からの識別画像に基づいてアクセサリ画像を生成して携帯電話機1に送信するようにしたので、携帯電話機1の個々で別個にアクセサリ画像を生成する場合の弊害である同一内容の重複生成を防ぐことができる。
When the
識別画像の内容に応じて種類の異なるアクセサリ画像を生成するようにしたので、同じ被写体であってもその内容に応じてアクセサリ画像を変えることができる。 Since different types of accessory images are generated according to the contents of the identification image, the accessory images can be changed according to the contents of the same subject.
識別画像を含むアクセサリ画像を生成するようにしたので、被写体自体をアクセサリ画像として利用することができる。 Since the accessory image including the identification image is generated, the subject itself can be used as the accessory image.
サーバ装置5は、携帯電話機1側から識別画像の登録要求を受けた場合に、その識別画像と生成したアクセサリ画像とを対応付けて画像データベース7に登録し、携帯電話機1から識別画像に対応するアクセサリ画像の送信要求を受けた場合に、その識別画像に基づいて画像データベース7を検索して対応するアクセサリ画像を取得し、要求元の携帯電話機1に送信するようにしたので、サーバ装置5側でアクセサリ画像を一元管理することができるほか、アクセサリ画像の検索に識別画像を使用することができる。
When receiving the identification image registration request from the
撮影画像内のセンサ装置(被写体)2に識別用として付加されているマークをキャラクタの識別画像として認識するようにしたので、アクセサリ画像によりセンサ装置2の識別が可能となる。
Since the mark added to the sensor device (subject) 2 in the photographed image for identification is recognized as a character identification image, the
携帯電話機1は、センサ装置(被写体)2に識別用として付加されているマークが撮影された場合に、そのマークの近傍にキャラクタを合成させると共に、サーバ装置5からのアクセサリ画像をキャラクタに合成させて表示させるようにしたので、センサ装置2を撮影するだけで、その近傍にアクセサリ画像付きのキャラクタを表示させることができ、アクセサリ画像によりセンサ装置2の識別が可能となる。
When a mark added for identification is photographed on the sensor device (subject) 2, the
なお、上述した第1実施形態において携帯電話機1は、撮影された画像内の被写体を識別画像として認識するようにしたが、識別画像の認識をサーバ装置5側で行うようにしてもよい。
In the first embodiment described above, the
なお、上述した第1実施形態においては、識別画像の内容(テキストの有無、数字/文字)に応じて種類(キーホルダ、ネームホルダ、バッチ)の異なるアクセサリ画像を生成するようにしたが、予めユーザ操作によりアクセサリの種類を指定しておくようにしてもよい。この場合、携帯電話機1は、ユーザ指定されたアクセサリの種類をサーバ装置5に送信すると、サーバ装置5側ではアクセサリ画像生成処理(図12のステップD11〜D16)に代えて、ユーザ指定された種類のアクセサリ画像を生成する処理を実行するようにしてもよい。また、アクセサリの種類がユーザ指定されていれば、その種類のアクセサリ画像を優先的に生成するが、ユーザ指定されていなければ、上述のアクセサリ画像生成処理(図12のステップD11〜D16)を実行するようにしてもよい。このようにアクセサリの種類をユーザ操作により任意に指定可能とすれば、ユーザの希望を取り入れることができるほか、更にオリジナリティに富んだアクセサリ画像の生成が可能となる。
In the first embodiment described above, accessory images of different types (key holders, name holders, batches) are generated in accordance with the contents of the identification image (whether there is text, numbers / characters). You may make it designate the kind of accessory by operation. In this case, when the
(第2実施形態)
以下、この発明の第2実施形態について図13及び図14を参照して説明する。
なお、上述した第1実施形態においては、携帯電話機1とサーバ装置5との間で通信ネットワークを介して画像の送受信を行う画像通信システム(植物育成管理システム)に適用した場合であるが、この第2実施形態においては、携帯電話機1の単体に適用した場合である。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。この第2実施形態においては、携帯電話機1側に育成データベース6及び画像データベース7を有している。
(Second Embodiment)
A second embodiment of the present invention will be described below with reference to FIGS.
In addition, in 1st Embodiment mentioned above, although it is a case where it applies to the image communication system (plant growth management system) which transmits / receives an image via the communication network between the
図13は、第2実施形態において、アクセサリ画像を登録する場合の動作(登録処理)の概要を示したフローチャートである。なお、第2実施形態における登録処理も基本的には第1実施形態と同様である。
先ず、携帯電話機1は、メモリ内容をクリアするなどの初期化処理(ステップE1)を実行した後、撮像部15を起動させると共に(ステップE2)、撮影ガイダンスを表示させる(ステップE3)。これによってセンサ装置2の識別用のマーカが撮影されると(ステップE4)、この撮影画像(スルー画像)の中からマーカを識別画像として認識する(ステップE5)。
FIG. 13 is a flowchart showing an outline of an operation (registration process) when registering an accessory image in the second embodiment. The registration process in the second embodiment is basically the same as that in the first embodiment.
First, after executing an initialization process (step E1) such as clearing the memory contents, the
そして、識別画像に基づいて画像データベース7内の各「識別画像」を検索し(ステップE6)、既登録有りかを調べ(ステップE7)、既登録が有れば(ステップE7でYES)、マーカの変更要請を表示させた後(ステップE8)、再登録を受け付けるために上述のステップE2に戻る。また、既登録が無ければ(ステップE7でNO)、今回の要求に応じて新規登録を行うが、それに先立って、登録要求された識別画像に基づいてアクセサリ画像を生成する処理を行う(ステップE9〜E14)。すなわち、識別画像を解析してテキスト認識を行い(ステップE9)、テキストが含まれていなければ(ステップE10でNO)、この識別画像を使用したキーホルダのアクセサリ画像を生成する(ステップE11)。
Then, each “identification image” in the
また、識別画像内にテキストが含まれている場合に(ステップE10でYES)、そのテキストが数字であれば(ステップE12でYES)、その数字を記したバッチ(ゼッケン)のアクセサリ画像を生成し(ステップE13)、文字であれば(ステップE12でNO)、その文字を記したネームホルダのアクセサリ画像を生成する(ステップE14)。これによって生成されたアクセサリ画像を取得すると共に(ステップE15)、予め記憶されているキャラクタを読み出し取得する(ステップE16)。 If the identification image contains text (YES in step E10), if the text is a number (YES in step E12), an accessory image of a batch (bib) with the number is generated. If it is a character (NO in step E12), an accessory image of the name holder describing the character is generated (step E14). The accessory image thus generated is acquired (step E15), and the character stored in advance is read and acquired (step E16).
そして、撮像部15により撮影された画像がライブビュー画面(モニタ画面)にスルー画像として表示されている状態において、その被写体であるセンサ装置2に付されているマーカの位置を特定した後(ステップE17)、このキャラクタにアクセサリ画像を合成し、その合成画像をスルー画像内の特定位置に重畳表示させる(ステップE18)。この場合、キャラクタにアクセサリ画像を合成する場合、そのアクセサリ形状に応じた位置に合成するようにしている。そして、ユーザ操作による再登録指示の有無を調べ(ステップE19)、再登録指示が有れば(ステップE19でYES)、再登録を行うために上述のステップE3に戻る。また、再登録指示が無ければ(ステップE19でNO)、新規なIDを発行し、「ID」、「認識画像」、「アクセサリ画像」、「アクセサリ形状」、「登録日時」、「利用日時」、「ステータス」からなる新たなレコードを生成して、この新規レコードを画像データベース7の末尾に追加登録する(ステップE20)。そして、撮像部15を停止させた後(ステップE21)、図13のフローから抜ける。
Then, after the image captured by the
図14は、第2実施形態において、携帯電話機1側でキャラクタを表示する場合の動作(キャラクタ表示処理)の概要を示したフローチャートである。なお、第2実施形態におけるキャラクタ表示処理も基本的には第1実施形態と同様である。
先ず、携帯電話機1は、メモリ内容をクリアするなどの初期化処理(ステップF1)を実行した後、撮像部15を起動させる(ステップF2)。これによってセンサ装置2の識別用のマーカが撮影されると(ステップF3)、この撮影画像(スルー画像)の中からマーカを識別画像として認識する(ステップF4)。そして、識別画像に基づいて画像データベース7内の各「識別画像」を検索し(ステップF5)、一致する識別画像を検索することができたか(一致完了か)を調べ(ステップF6)、一致完了でなければ(ステップF6でNO)、携帯電話機1から受信した識別画像が画像データベース7内の登録されていないか(未登録か)を調べる(ステップF7)。
FIG. 14 is a flowchart showing an outline of an operation (character display process) when a character is displayed on the
First, the
この場合、未登録であれば(ステップF7でYES)、図13の登録処理を行うが、一致完了であれば(ステップF6でYES)、画像データベース7内から該当する「アクセサリ画像」を読み出し取得する(ステップF8)。そして、予め記憶されているキャラクタを読み出し取得した後(ステップF9)、スルー画像内においてセンサ装置2に付されているマーカの位置を特定する(ステップF10)。そして、キャラクタにアクセサリ画像を合成した合成画像をスルー画像内の特定位置に重畳表示させる(ステップF11)。なお、キャラクタにアクセサリ画像を合成する場合、そのアクセサリ形状に応じた位置に合成するようにしている。そして、キャラクタを動かす動画処理を開始させた後(ステップF12)、キャラクタ表示の終了が指示されるまで(ステップF13でYES)、キャラクタ動画処理を繰り返すが(ステップF12)、ユーザ操作などにより表示終了が指示されると(ステップF13でYES)、撮像部15を停止させた後(ステップF14)、図14のフローから抜ける。
In this case, if it is not registered (YES in step F7), the registration process of FIG. 13 is performed. If matching is completed (YES in step F6), the corresponding “accessory image” is read out from the
以上のように、第2実施形態において携帯電話機1は、撮像部15により被写体を撮影すると、撮影された画像内の被写体をキャラクタの識別用の画像として認識し、この認識された識別画像に基づいてアクセサリ画像を生成するようにしたので、被写体を利用した識別力の高いアクセサリ画像を生成することができ、例え、類似する本体画像(キャラクタ)が存在していても個々のキャラクタを容易に識別することが可能となる。
As described above, in the second embodiment, when the subject is photographed by the
携帯電話機1は、識別画像の内容に応じて種類の異なるアクセサリ画像を生成するようにしたので、同じ被写体であってもその内容に応じてアクセサリ画像を変えることができる。
Since the
携帯電話機1は、識別画像を含むアクセサリ画像を生成するようにしたので、被写体自体をアクセサリ画像として利用することができる。
Since the
携帯電話機1は、識別画像と生成したアクセサリ画像とを対応付けて画像データベース7に登録し、キャラクタ表示時に、その識別画像に基づいて画像データベース7を検索して対応するアクセサリ画像を取得するようにしたので、生成した各種のアクセサリ画像を一元管理することができるほか、アクセサリ画像の検索に識別画像を使用することができる。
The
携帯電話機1は、撮影画像内のセンサ装置2に識別用として付加されているマークをキャラクタの識別画像として認識するようにしたので、アクセサリ画像によりセンサ装置2の識別が可能となる。
Since the
携帯電話機1は、センサ装置(被写体)2に識別用として付加されているマークが撮影された場合に、そのマークの近傍にキャラクタを合成させると共に、アクセサリ画像をキャラクタに合成させて表示させるようにしたので、センサ装置2を撮影するだけで、その近傍にアクセサリ画像付きのキャラクタを表示させることができ、アクセサリ画像によりセンサ装置2の識別が可能となる。
When a mark added for identification is photographed on the sensor device (subject) 2, the
なお、上述した第2実施形態においては、識別画像の内容(テキストの有無、数字/文字)に応じて種類(キーホルダ、ネームホルダ、バッチ)の異なるアクセサリ画像を生成するようにしたが、予めユーザ操作によりアクセサリの種類を指定しておくようにしてもよい。この場合、携帯電話機1は、上述のアクセサリ画像生成処理(図13のステップE9〜E14)に代えて、ユーザ指定された種類のアクセサリ画像を生成する処理を実行するようにしてもよい。また、アクセサリの種類がユーザ指定されていれば、その種類のアクセサリ画像を優先的に生成するが、ユーザ指定されていなければ、上述のアクセサリ画像生成処理(図13のステップE9〜E14)を実行するようにしてもよい。このようにアクセサリの種類をユーザ操作により任意に指定可能とすれば、ユーザの希望を取り入れることができるほか、更にオリジナリティに富んだアクセサリ画像の生成が可能となる。
In the second embodiment described above, accessory images of different types (key holders, name holders, batches) are generated according to the contents of identification images (whether there are text, numbers / characters). You may make it designate the kind of accessory by operation. In this case, the
上述した各実施形態においては、画像データベース7を検索する場合に、「識別画像」を検索キーとするようにしたが、これに限らず、「識別画像」での検索に失敗した場合には、「ID」をキーとして検索するようにしてもよい。勿論、「識別画像」を検索キーとしては使用せずに、「ID」のみをキーとして検索するようにしてもよい。
In each embodiment described above, when searching the
また、上述した各実施形態においては、カメラ機能に拡張現実技術(AR)を組み合わせることで体感的、体験的方法を用い、ユーザにアドバイスするようにしてもよい。この場合、ARキャラクタによる擬人化された助言提示形態により、意思表示のできない植物に、あたかも意思や人格が存在するかのように感じられるようにしてもよい。これによってキャラクタを介し植物の感情を疑似体験する情緒的価値と、植物管理育成の困難さが軽減される現実的価値をユーザに提供することができるようになる。 Further, in each of the above-described embodiments, the user may be advised by using an experiential and experiential method by combining augmented reality technology (AR) with the camera function. In this case, an anthropomorphic advice presentation form by the AR character may make it feel as if the intention and personality exist in the plant that cannot express the intention. As a result, it is possible to provide the user with an emotional value that simulates the emotion of the plant through the character, and a real value that reduces the difficulty of plant management training.
また、上述した各実施形態においては、育成対象として植物を示したが、鑑賞魚、インコや文鳥などの鳥類、犬、猫などであってもよい。この場合、ペットの飼育部屋の環境や水槽環境などを測定するようにしてもよく、更に犬や猫などの首輪部分にセンサ装置2を備えたり、水槽内にセンサ装置2を備えたりすればよいが、それに限らないことは勿論である。更に、育成に限らず、擬人化したキャラクタ(アバター)を介してネットワーク上でコミュニケーションを行う場合であってもよい。また、被写体は、センサ装置2のマークに限らず、人物、風景などであってもよい。
Moreover, in each embodiment mentioned above, although the plant was shown as a raising object, birds, such as appreciation fish, a parakeet and a literary bird, a dog, a cat, etc. may be sufficient. In this case, the environment of the pet breeding room or the aquarium environment may be measured, and the
また、上述した各実施形態においては、携帯電話機1に適用した場合を示したが、端末装置としては、PDA(個人向け携帯型情報通信機器)、デジタルカメラ、音楽プレイヤー、PC(パーソナルコンピュータ)などであってもよい。
Further, in each of the above-described embodiments, the case where the present invention is applied to the
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。 Further, the “apparatus” and “unit” shown in each of the above-described embodiments may be separated into a plurality of cases by function, and are not limited to a single case. In addition, each step described in the above-described flowchart is not limited to time-series processing, and a plurality of steps may be processed in parallel or separately.
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
本体画像にアクセサリ画像を合成して表示する端末装置と、画像を管理する管理装置との間で通信ネットワークを介して画像の送受信を行う画像通信システムであって、
前記端末装置側において被写体を撮影する撮像手段と、
前記撮像手段により撮影された画像内の被写体を前記本体画像の識別用の画像として認識する認識手段と、
前認識手段により認識された識別画像に基づいて前記アクセサリ画像を生成する生成手段と、
を備えたことを特徴とする画像通信システムである。
(請求項2)
請求項2に記載の発明は、請求項1に記載の画像通信システムにおいて、
前記端末装置は、
被写体を撮影する撮像手段と、
前記撮像手段により撮影された画像内の被写体を前記本体画像の識別用の画像として認識する認識手段と、
前記認識手段により認識された識別画像を前記管理装置に送信する送信手段と、
を備え、
前記管理装置は、
前記端末装置側からの前記識別画像を受信した場合に、この識別画像に基づいて前記アクセサリ画像を生成する生成手段と、
前記生成手段により生成された前記アクセサリ画像を前記端末装置に送信する生成画像送信手段と、
を備える、
ようにしたことを特徴とする請求項1に記載の画像通信システムである。
(請求項3)
請求項3に記載の発明は、請求項1あるいは請求項2に記載の画像通信システムにおいて、
前記生成手段は、前記識別画像の内容に応じて種類の異なるアクセサリ画像を生成する、
ようにしたことを特徴とする画像通信システムである。
(請求項4)
請求項4に記載の発明は、請求項1あるいは請求項2に記載の画像通信システムにおいて、
前記管理装置は、ユーザ操作に応じて、アクセサリの種類を選択する選択手段を更に備える、
ようにしたことを特徴とする画像通信システム。
(請求項5)
請求項5に記載の発明は、請求項1〜請求項4のいずれかに記載の画像通信システムにおいて、
前記生成手段は、前記識別画像を含むアクセサリ画像を生成する、
ようにしたことを特徴とする画像通信システムである。
(請求項6)
請求項6に記載の発明は、請求項1〜請求項5のいずれかに記載の画像通信システムにおいて、
前記管理装置は、
前記端末装置側から前記識別画像の登録要求を受けた場合に、前記端末装置側からの当該識別画像と前記生成手段により生成されたアクセサリ画像とを対応付けて登録する登録手段と、
前記端末装置側から前記識別画像に対応するアクセサリ画像の送信要求を受けた場合に、前記端末装置側からの当該識別画像に基づいて前記登録手段による登録内容を検索することによりその識別画像対応のアクセサリ画像を取得する取得手段と、
前記取得手段により取得したアクセサリ画像を要求元の端末装置に送信する登録画像送信手段と、
を更に備える、
ようにしたことを特徴とする画像通信システムである。
(請求項7)
請求項7に記載の発明は、請求項1〜請求項6のいずれかに記載の画像通信システムにおいて、
前記認識手段は、前記撮像手段により撮影された画像内の被写体に識別用として付加されている絵図を前記本体画像の識別用の画像として認識する、
ようにしたことを特徴とする画像通信システムである。
(請求項8)
請求項8に記載の発明は、請求項7に記載の画像通信システムにおいて、
前記端末装置は、
前記撮像手段により被写体に識別用として付加されている絵図が撮影された場合に、その絵図の近傍に前記本体画像を合成させると共に、前記管理装置からの前記アクセサリ画像を当該本体画像に合成させる合成手段と、
前記合成手段により合成された画像を表示する表示手段と、
を更に備える、
ようにしたことを特徴とする画像通信システムである。
(請求項9)
請求項9に記載の発明は、
本体画像にアクセサリ画像を合成して表示する端末装置であって、
被写体を撮影する撮像手段と、
前記撮像手段により撮影された画像内の被写体を前記本体画像の識別用の画像として認識する認識手段と、
前記認識手段により認識された識別画像に基づいて前記アクセサリ画像を生成する生成手段と、
を具備したことを特徴とする端末装置である。
(請求項10)
請求項10に記載の発明は、請求項9に記載の端末装置において、
前記生成手段は、前記識別画像の内容に応じて種類の異なるアクセサリ画像を生成する、
ようにしたことを特徴とする端末装置である。
(請求項11)
請求項11に記載の発明は、請求項9に記載の端末装置において、
ユーザ操作に応じて、アクセサリの種類を選択する選択手段を更に備える、
ようにしたことを特徴とする端末装置である。
(請求項12)
請求項12に記載の発明は、請求項9〜請求項11のいずれかに記載の端末装置において、
前記生成手段は、前記識別画像を含むアクセサリ画像を生成する、
ようにしたことを特徴とする端末装置である。
(請求項13)
請求項13に記載の発明は、請求項9〜請求項12のいずれかに記載の端末装置において、
前記認識手段により認識された識別画像と前記生成手段により生成されたアクセサリ画像とを対応付けて登録する登録手段と、
前記識別画像に対応するアクセサリ画像に基づいて前記登録手段による登録内容を検索することによりその識別画像対応のアクセサリ画像を取得する取得手段と、
を更に備える、
ようにしたことを特徴とする端末装置である。
(請求項14)
請求項14に記載の発明は、請求項9〜請求項13のいずれかに記載の端末装置において、
前記認識手段は、前記撮像手段により撮影された画像内の被写体に識別用として付加されている絵図を前記本体画像の識別用の画像として認識する、
ようにしたことを特徴とする端末装置である。
(請求項15)
請求項15に記載の発明は、請求項14に記載の端末装置において、
前記撮像手段により被写体に識別用として付加されている絵図が撮影された場合に、その絵図の近傍に前記本体画像を合成させると共に、前記管理装置からの前記アクセサリ画像を当該本体画像に合成させる合成手段と、
前記合成手段により合成された画像を表示する表示手段と、
を更に備える、
ようにしたことを特徴とする端末装置である。
(請求項16)
請求項16に記載の発明は、
コンピュータに対して、
本体画像にアクセサリ画像を合成して表示する端末装置側の撮像手段により撮影された画像内の被写体を前記本体画像の識別用の画像として認識する機能と、
前記認識された識別画像に基づいて前記アクセサリ画像を生成する機能と、
を実現させるためのプログラムである。
(請求項17)
請求項17に記載の発明は、
コンピュータに対して、
本体画像にアクセサリ画像を合成して表示する機能と、
被写体を撮影する撮像手段により撮影された画像内の被写体を前記本体画像の識別用の画像として認識する機能と、
前記認識された識別画像に基づいて前記アクセサリ画像を生成する機能と、
を実現させるためのプログラムである。
The embodiment of the present invention has been described above. However, the present invention is not limited to this, and includes the invention described in the claims and the equivalent scope thereof.
Hereinafter, the invention described in the claims of the present application will be appended.
(Appendix)
(Claim 1)
The invention described in
An image communication system that transmits and receives an image via a communication network between a terminal device that synthesizes and displays an accessory image on a main body image and a management device that manages the image,
Imaging means for photographing a subject on the terminal device side;
Recognizing means for recognizing a subject in an image photographed by the imaging means as an image for identifying the main body image;
Generating means for generating the accessory image based on the identification image recognized by the pre-recognizing means;
An image communication system comprising:
(Claim 2)
The invention described in
The terminal device
Imaging means for photographing a subject;
Recognizing means for recognizing a subject in an image photographed by the imaging means as an image for identifying the main body image;
Transmitting means for transmitting the identification image recognized by the recognition means to the management device;
With
The management device
Generating means for generating the accessory image based on the identification image when the identification image is received from the terminal device;
Generated image transmitting means for transmitting the accessory image generated by the generating means to the terminal device;
Comprising
The image communication system according to
(Claim 3)
The invention described in
The generation means generates different types of accessory images according to the contents of the identification image.
This is an image communication system characterized by the above.
(Claim 4)
According to a fourth aspect of the present invention, in the image communication system according to the first or second aspect,
The management device further includes a selection unit that selects a type of accessory according to a user operation.
An image communication system characterized by being configured as described above.
(Claim 5)
The invention according to
The generating means generates an accessory image including the identification image;
This is an image communication system characterized by the above.
(Claim 6)
The invention according to claim 6 is the image communication system according to any one of
The management device
When receiving a registration request for the identification image from the terminal device side, a registration unit that associates and registers the identification image from the terminal device side and the accessory image generated by the generation unit;
When receiving a transmission request for an accessory image corresponding to the identification image from the terminal device side, the registration unit searches for the registration content by the registration unit based on the identification image from the terminal device side. An acquisition means for acquiring an accessory image;
Registered image transmitting means for transmitting the accessory image acquired by the acquiring means to the requesting terminal device;
Further comprising
This is an image communication system characterized by the above.
(Claim 7)
The invention according to
The recognizing unit recognizes, as an image for identifying the main body image, a picture added to the subject in the image captured by the imaging unit for identification;
This is an image communication system characterized by the above.
(Claim 8)
The invention according to claim 8 is the image communication system according to
The terminal device
When a picture attached to the subject for identification is taken by the imaging means, the main body image is synthesized in the vicinity of the picture and the accessory image from the management device is synthesized with the main body image. Means,
Display means for displaying the image synthesized by the synthesis means;
Further comprising
This is an image communication system characterized by the above.
(Claim 9)
The invention according to
A terminal device that combines and displays an accessory image with a main body image,
Imaging means for photographing a subject;
Recognizing means for recognizing a subject in an image photographed by the imaging means as an image for identifying the main body image;
Generating means for generating the accessory image based on the identification image recognized by the recognition means;
It is the terminal device characterized by comprising.
(Claim 10)
The invention described in claim 10 is the terminal device according to
The generation means generates different types of accessory images according to the contents of the identification image.
This is a terminal device that is characterized as described above.
(Claim 11)
The invention according to
A selection means for selecting the type of the accessory in response to a user operation;
This is a terminal device that is characterized as described above.
(Claim 12)
The invention according to
The generating means generates an accessory image including the identification image;
This is a terminal device that is characterized as described above.
(Claim 13)
The invention according to
A registration unit that associates and registers the identification image recognized by the recognition unit and the accessory image generated by the generation unit;
Obtaining means for obtaining an accessory image corresponding to the identification image by searching the registration content by the registration means based on the accessory image corresponding to the identification image;
Further comprising
This is a terminal device that is characterized as described above.
(Claim 14)
The invention according to
The recognizing unit recognizes, as an image for identifying the main body image, a picture added to the subject in the image captured by the imaging unit for identification;
This is a terminal device that is characterized as described above.
(Claim 15)
The invention according to
When a picture attached to the subject for identification is taken by the imaging means, the main body image is synthesized in the vicinity of the picture and the accessory image from the management device is synthesized with the main body image. Means,
Display means for displaying the image synthesized by the synthesis means;
Further comprising
This is a terminal device that is characterized as described above.
(Claim 16)
The invention described in
Against the computer,
A function of recognizing a subject in an image captured by an imaging unit on the terminal device side that combines and displays an accessory image with a main body image as an image for identifying the main body image;
A function of generating the accessory image based on the recognized identification image;
It is a program for realizing.
(Claim 17)
The invention described in
Against the computer,
A function to display the accessory image in combination with the main body image,
A function of recognizing a subject in an image photographed by an imaging means for photographing the subject as an image for identifying the main body image;
A function of generating the accessory image based on the recognized identification image;
It is a program for realizing.
1 携帯電話機
2 センサ装置
3 無線通信網
4 インターネット
5 サーバ装置(管理装置)
7 画像データベース
11、51 CPU
13、53 記憶部
14 無線通信部
15 撮像部
16 表示部
17 操作部
18 近距離通信部
DESCRIPTION OF
7
13, 53
Claims (1)
前記端末装置に設けられ、所定の被写体を撮影する撮像手段と、
前記端末装置に設けられ、前記撮像手段が所定の被写体を撮影したスルー画像中から当該被写体に付加されているマーカを抽出すると共に、当該マーカの位置を特定し、抽出したマーカを、前記キャラクタ画像を識別する識別画像として認識する認識手段と、
前記端末装置に設けられ、前記認識手段により認識された識別画像を前記管理装置へ送出した場合に当該管理装置から返送され、当該識別画像に対応付けられた前記アクセサリ画像を取得する一方、スルー画像をライブビュー画面に表示した状態で、前記認識手段が特定したスルー画像中のマーカの位置に、取得した前記アクセサリ画像および前記キャラクタ画像を合成して表示する生成手段と、
を備えたことを特徴とする画像通信システム。 A terminal device that synthesizes and displays a character image and an accessory image with a through image being displayed on the live view screen in a state where the captured through image is displayed on the live view screen, and an accessory that is returned to the terminal device In an image communication system that transmits and receives images via a communication network with a management device that manages images,
An image pickup means provided in the terminal device for shooting a predetermined subject;
The marker that is provided in the terminal device and extracts the marker attached to the subject from the through image obtained by photographing the predetermined subject by the imaging unit , specifies the position of the marker, and uses the extracted marker as the character image. Recognition means for recognizing as an identification image for identifying
When the identification image provided in the terminal device and recognized by the recognition means is sent to the management device, the accessory image returned from the management device and associated with the identification image is acquired, while the through image Generating means for synthesizing and displaying the acquired accessory image and the character image at the position of the marker in the through image specified by the recognition means in a state where the image is displayed on the live view screen ,
An image communication system comprising:
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011205558A JP5927822B2 (en) | 2011-09-21 | 2011-09-21 | Image communication system |
US13/609,910 US9036056B2 (en) | 2011-09-21 | 2012-09-11 | Image communication system, terminal device, management device and computer-readable storage medium |
CN201210402381.7A CN103024242B (en) | 2011-09-21 | 2012-09-20 | Image communication system, terminal installation, management devices and auxiliary picture generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011205558A JP5927822B2 (en) | 2011-09-21 | 2011-09-21 | Image communication system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013069011A JP2013069011A (en) | 2013-04-18 |
JP5927822B2 true JP5927822B2 (en) | 2016-06-01 |
Family
ID=47880327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011205558A Expired - Fee Related JP5927822B2 (en) | 2011-09-21 | 2011-09-21 | Image communication system |
Country Status (3)
Country | Link |
---|---|
US (1) | US9036056B2 (en) |
JP (1) | JP5927822B2 (en) |
CN (1) | CN103024242B (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5154685B1 (en) * | 2011-12-28 | 2013-02-27 | 楽天株式会社 | Image providing apparatus, image providing method, image providing program, and computer-readable recording medium for recording the program |
US9271454B1 (en) * | 2013-01-09 | 2016-03-01 | Jacob Shochat | Intelligent gardening system and method |
US10068354B2 (en) * | 2014-01-02 | 2018-09-04 | Deere & Company | Obtaining and displaying agricultural data |
JP6524124B2 (en) * | 2017-02-03 | 2019-06-05 | Kddi株式会社 | Computer program, terminal and method |
US20210279961A1 (en) * | 2017-03-31 | 2021-09-09 | Sharp Kabushiki Kaisha | Information providing device, terminal device, display system, storage medium, and information providing method |
JP2019160332A (en) * | 2019-04-26 | 2019-09-19 | Kddi株式会社 | Computer program, terminal, and method |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005332091A (en) | 2004-05-18 | 2005-12-02 | Softbank Human Capital Corp | Information providing system and method |
US8547401B2 (en) * | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
US8023725B2 (en) * | 2007-04-12 | 2011-09-20 | Samsung Electronics Co., Ltd. | Identification of a graphical symbol by identifying its constituent contiguous pixel groups as characters |
US8180396B2 (en) * | 2007-10-18 | 2012-05-15 | Yahoo! Inc. | User augmented reality for camera-enabled mobile devices |
JP4985970B2 (en) * | 2007-10-24 | 2012-07-25 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Technology for controlling the display of objects |
JP2011039570A (en) * | 2007-11-08 | 2011-02-24 | Nec Corp | Avatar generation device, avatar generation method and avatar generation program |
JP2009199438A (en) * | 2008-02-22 | 2009-09-03 | Sharp Corp | Image acquisition system |
FR2928805B1 (en) * | 2008-03-14 | 2012-06-01 | Alcatel Lucent | METHOD FOR IMPLEMENTING VIDEO ENRICHED ON MOBILE TERMINALS |
JP2010004118A (en) * | 2008-06-18 | 2010-01-07 | Olympus Corp | Digital photograph frame, information processing system, control method, program, and information storage medium |
US9480919B2 (en) * | 2008-10-24 | 2016-11-01 | Excalibur Ip, Llc | Reconfiguring reality using a reality overlay device |
KR101082285B1 (en) * | 2010-01-29 | 2011-11-09 | 주식회사 팬택 | Terminal and method for providing augmented reality |
JP2012048597A (en) * | 2010-08-30 | 2012-03-08 | Univ Of Tokyo | Mixed reality display system, image providing server, display device and display program |
JP5180415B2 (en) * | 2011-01-13 | 2013-04-10 | 楽天株式会社 | Object display server, object display method, object display program, and computer-readable recording medium storing the program |
US8872852B2 (en) * | 2011-06-30 | 2014-10-28 | International Business Machines Corporation | Positional context determination with multi marker confidence ranking |
-
2011
- 2011-09-21 JP JP2011205558A patent/JP5927822B2/en not_active Expired - Fee Related
-
2012
- 2012-09-11 US US13/609,910 patent/US9036056B2/en active Active
- 2012-09-20 CN CN201210402381.7A patent/CN103024242B/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9036056B2 (en) | 2015-05-19 |
JP2013069011A (en) | 2013-04-18 |
CN103024242B (en) | 2015-11-25 |
US20130070111A1 (en) | 2013-03-21 |
CN103024242A (en) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5927822B2 (en) | Image communication system | |
JP5510833B2 (en) | Portable terminal device and program | |
JP6450871B2 (en) | Surface condition imaging display system | |
CN108958062B (en) | Clothes matching method and device based on intelligent wardrobe | |
US8948451B2 (en) | Information presentation device, information presentation method, information presentation system, information registration device, information registration method, information registration system, and program | |
CN104205014A (en) | Information processing apparatus, information processing method, and program | |
US9020918B2 (en) | Information registration device, information registration method, information registration system, information presentation device, informaton presentation method, informaton presentaton system, and program | |
KR20110038425A (en) | Content sharing system and method using real-world location for augmented reality | |
CN110033502B (en) | Video production method, video production device, storage medium and electronic equipment | |
CN104217205B (en) | A kind of method and system for identifying User Activity type | |
KR101481323B1 (en) | Providing system for plant information using plant image from mobile terminal | |
CN106233283A (en) | Image processing apparatus, communication system and communication means and camera head | |
JP5954460B2 (en) | Observation device and observation management system | |
JP2013162800A (en) | Communication device and program | |
JP5621880B2 (en) | Observation management system and observation equipment | |
WO2023093480A1 (en) | Species touring method and system, and readable storage medium | |
JP2018195302A (en) | Customer grasping system using virtual object display system, customer grasping system program, and customer grasping method | |
JPWO2009110276A1 (en) | User information presentation system, user information presentation device, user information presentation method, and user information presentation program | |
KR100827845B1 (en) | Apparatus and method for providing person tag | |
JP6063697B2 (en) | Apparatus, method and program for image display | |
JP7074235B2 (en) | Database generation method, additional information registration system, database generator and program | |
US20070124330A1 (en) | Methods of rendering information services and related devices | |
JP5064269B2 (en) | Portable information terminal and portable information system | |
KR101750283B1 (en) | System and method of life-log service for personal black-box with smart media | |
JP2005129002A (en) | Landmark retrieval device, information retrieval system, information generation device, object person identification device, and information distribution system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150603 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160115 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5927822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |