JP4823758B2 - Image management server - Google Patents

Image management server Download PDF

Info

Publication number
JP4823758B2
JP4823758B2 JP2006126195A JP2006126195A JP4823758B2 JP 4823758 B2 JP4823758 B2 JP 4823758B2 JP 2006126195 A JP2006126195 A JP 2006126195A JP 2006126195 A JP2006126195 A JP 2006126195A JP 4823758 B2 JP4823758 B2 JP 4823758B2
Authority
JP
Japan
Prior art keywords
image data
image
management server
database
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006126195A
Other languages
Japanese (ja)
Other versions
JP2007299171A (en
Inventor
陽介 白畑
素 寺横
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006126195A priority Critical patent/JP4823758B2/en
Publication of JP2007299171A publication Critical patent/JP2007299171A/en
Application granted granted Critical
Publication of JP4823758B2 publication Critical patent/JP4823758B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ユーザから画像データを取得して画像データベースに登録し、この画像データをネットワーク上に公開する画像管理サーバに関するものである。   The present invention relates to an image management server that acquires image data from a user, registers it in an image database, and publishes the image data on a network.

近年、インターネット等のネットワークを介してユーザに画像データを公開する画像管理サーバが利用されている。このような画像管理サーバとしては、ユーザの使用端末から検索要求を取得した時に、インターネットを介して、ユーザの検索条件に合致する画像データを配信する画像管理サーバが知られている(例えば、特許文献1参照)。   In recent years, image management servers that make image data available to users via a network such as the Internet have been used. As such an image management server, an image management server that distributes image data that matches a user's search condition via the Internet when a search request is acquired from the user's terminal is known (for example, patents). Reference 1).

しかし、前述のような画像管理サーバによって、一般のユーザによって撮影された画像データを画像データベースに登録して、これらの画像データをネットワーク上に公開する場合、画像データ内に含まれる人物、ロゴ、キャラクタ等の肖像権や著作権を侵害するという問題があった。   However, when the image management server as described above registers image data taken by a general user in the image database and publishes these image data on a network, a person, a logo, There was a problem of infringing the portrait rights and copyrights of characters and the like.

前述の問題を解決するために、肖像権保証サーバ内に、肖像権の保証を望む登録者のデータを予め記憶させておき、一般の撮影者によって撮影された画像データを受信し、この画像データに写っている登録者を特定した後、この登録者の端末装置に肖像使用許諾要求を送信するとともに、端末装置から非同意の返信があった場合、登録者が写っている部分にモザイク処理を施して肖像権を保護する画像処理システムが知られている(例えば、特許文献2参照)。   In order to solve the above-mentioned problem, data of a registrant who wants to guarantee the portrait right is stored in advance in the portrait right guarantee server, and image data taken by a general photographer is received. After identifying the registrant in the image, send a portrait license request to the registrant's terminal device, and if there is a disagreement reply from the terminal device, apply mosaic processing to the registrant's image. An image processing system that protects a portrait right by applying is known (for example, see Patent Document 2).

さらに、肖像権や著作権等の使用許諾を必要とする画像データが、ウェブ(World Wide ウェブ)上で不正使用されていないかを調査して調査依頼者に通知することによって、画像データの不正使用を防止するシステムが知られている(例えば、特許文献3参照)。また、既に登録されているマルチメディアコンテンツに対して類似性のあるものを登録しないように自動的に判定するマルチメディアコンテンツの登録装置が知られている(例えば、特許文献4参照)。
特開2002−91990号公報 特開2005−110004号公報 特開2005−38402号公報 特開2002−63381号公報
In addition, image data that requires a license for portrait rights, copyrights, etc. is illegally used by investigating whether the image data is illegally used on the Web (World Wide Web) and notifying the survey client. A system for preventing the use is known (for example, see Patent Document 3). Also, there is known a multimedia content registration apparatus that automatically determines not to register something similar to already registered multimedia content (see, for example, Patent Document 4).
JP 2002-91990 A JP 2005-110004 A JP-A-2005-38402 JP 2002-63381 A

しかしながら、上記特許文献2に記載の発明では、登録者が端末装置を所有し、さらに、登録者が肖像使用許諾要求に対して返信を行う必要があり、登録者に対して手間が掛かる操作を強いるという問題があった。また、上記特許文献3及び4に記載の発明では、画像データやマルチメディアコンテンツの特徴量に基づいて類似判別処理を行うため、判別処理に時間が掛かるという問題があった。   However, in the invention described in Patent Document 2, the registrant owns the terminal device, and the registrant needs to reply to the portrait use permission request. There was a problem of being forced. Further, in the inventions described in Patent Documents 3 and 4, the similarity determination process is performed based on the feature amount of the image data or the multimedia content, so that the determination process takes time.

本発明は、上記課題を解決するためになされたものであり、肖像権や著作権を侵害する可能性のある画像データを効率良く自動判別し、権利侵害することを防止する画像管理サーバを提供することを目的とする。   The present invention has been made to solve the above problems, and provides an image management server that automatically and efficiently discriminates image data that may infringe portrait rights and copyrights, and prevents infringement of rights. The purpose is to do.

上記目的を達成するために、本発明の画像管理サーバは、ユーザから画像データを取得し、この画像データを画像データベースに登録するとともに、前記画像データをネットワーク上に公開する画像管理サーバにおいて、撮影位置を示す位置情報が付加された前記画像データを取得する画像データ取得手段と、前記画像データ取得手段によって取得された前記画像データを前記画像データベースに登録する登録手段と、前記画像データが特定領域内で撮影されたものであるか否かを判別するための領域情報が登録された特徴情報データベースと、前記位置情報が前記特定領域に含まれる場合には前記画像データの非公開を決定し、前記位置情報が前記特定領域に含まれない場合には前記画像データの公開を決定する判別手段とを備え、前記判別手段によって公開が決定された前記画像データを前記ネットワーク上に公開することを特徴とするものである。 In order to achieve the above object, an image management server of the present invention acquires image data from a user, registers the image data in an image database, and publishes the image data on a network. Image data acquisition means for acquiring the image data to which position information indicating a position is added; registration means for registering the image data acquired by the image data acquisition means in the image database; and A feature information database in which area information for determining whether or not the image data was taken in, and if the position information is included in the specific area, determine whether to unpublish the image data, when the position information is not included in the specific area and a determination means for determining the availability of the image data, said-format Is characterized in that to expose the image data published is determined by means on the network.

また、前記特徴情報データベースには、肖像権または著作権が設定された被写体が前記画像データに含まれるか否かを判定するための特徴情報が登録されており、前記判別手段は、前記特徴情報によってパターン認識を行なって、前記画像データに前記被写体が含まれるか否かを判定し、前記画像データの公開の可否を判別することが好ましい。 In the feature information database, feature information for determining whether or not a subject for which a portrait right or a copyright has been set is included in the image data is registered. It is preferable that pattern recognition is performed to determine whether the subject is included in the image data and to determine whether the image data can be disclosed.

さらに、前記特徴情報データベースには、前記特徴情報毎に権利所有者情報が登録されており、前記判別手段によって、前記画像データに前記被写体が含まれていると判定された時に、前記画像データに対応する前記権利所有者情報に基づいて作成された使用許諾申請情報を権利所有者宛に送信するとともに、前記権利所有者によって前記画像データの使用が許諾承認された時に、前記画像データの公開が可能であると判別することが好ましい。   Furthermore, right owner information is registered for each feature information in the feature information database, and when the determination means determines that the subject is included in the image data, the image data includes The license application information created based on the corresponding right owner information is transmitted to the right owner, and when the use of the image data is approved by the right owner, the image data is disclosed. It is preferable to determine that it is possible.

また、前記特徴情報データベースには、前記画像データ内に含まれる肌色の割合を判別するための肌色判別特徴情報が記憶されており、前記判別手段は、前記肌色判別特徴情報に基づいて前記肌色の割合を判定し、前記画像データの公開の可否を判別することが好ましい。   The feature information database stores skin color discrimination feature information for discriminating a ratio of the skin color included in the image data, and the discrimination means determines the skin color based on the skin color discrimination feature information. It is preferable to determine the ratio and determine whether the image data can be disclosed.

さらに、前記画像データ取得手段によって前記画像データが取得された時に、前記判別手段が前記画像データの判別を行い、前記登録手段は、前記判別手段によって公開可能と判別された前記画像データを前記画像データベースに登録することが好ましい。   Further, when the image data is acquired by the image data acquisition unit, the determination unit determines the image data, and the registration unit determines the image data determined to be openable by the determination unit as the image data. It is preferable to register in the database.

また、前記判別手段は、前記ユーザから前記画像データの公開要求を取得した時に、前記画像データベースに登録された前記画像データのうち、前記公開要求に対応する前記画像データの判別を行うことが好ましい。   Further, it is preferable that the determination unit determines the image data corresponding to the release request among the image data registered in the image database when the release request for the image data is acquired from the user. .

さらに、前記判別手段は、前記位置情報に基づいて、肖像権または著作権が設定された被写体が前記画像データに含まれる可能性を示す障害度合を判定し、この障害度合と、前記公開要求時に前記ユーザによって指定された公開条件とを比較して、前記画像データの公開の可否を判別することが好ましい。 Further, the determining means determines a failure level indicating a possibility that a subject to which a portrait right or a copyright is set is included in the image data based on the position information. It is preferable to determine whether or not the image data can be disclosed by comparing with a disclosure condition designated by the user.

また、前記判別手段の判別結果を前記ユーザの使用端末に通知するとともに、前記登録手段は、前記判別結果を判別結果データベースに登録することが好ましい。   In addition, it is preferable that the determination result of the determination means is notified to the user terminal of the user, and the registration means registers the determination result in a determination result database.

さらに、前記判別結果を修正するデータ修正手段を備え、前記ユーザからデータ修正指示を取得した時に、前記判別結果情報を修正することが好ましい。また、前記画像データベースに登録された前記画像データのうち、前記ユーザによって指定された条件に対応する前記画像データ及び前記判別結果が一覧表示され、前記画像データ毎に前記判別結果の修正操作が可能な判別結果変更画面を作成する画面作成手段を備え、前記データ修正手段は、前記ユーザの使用端末に表示された前記判別結果変更画面にて前記修正操作が行われた時に、前記データ修正指示を取得することが好ましい。   Furthermore, it is preferable that data correction means for correcting the determination result is provided, and the determination result information is corrected when a data correction instruction is acquired from the user. In addition, among the image data registered in the image database, the image data corresponding to the conditions specified by the user and the determination result are displayed in a list, and the determination result can be corrected for each image data. A screen creation unit for creating a determination result change screen, and the data correction unit displays the data correction instruction when the correction operation is performed on the determination result change screen displayed on the terminal used by the user. It is preferable to obtain.

本発明の画像管理サーバによれば、特徴情報データベースに登録された領域情報に、画像データに付加された位置情報が含まれるか否かに基づいて、画像データの公開の可否を効率良く判別することが可能である。また、ネットワーク上に、肖像権や著作権が設定された被写体が写る可能性の高い特定領域で撮影された画像データが公開されないので、肖像権や著作権を侵害することを防止できる。   According to the image management server of the present invention, based on whether or not the area information registered in the feature information database includes position information added to the image data, it is efficiently determined whether or not the image data can be disclosed. It is possible. In addition, since image data taken in a specific area where a subject to which a portrait right or copyright is set is highly likely to be photographed is not disclosed on the network, infringement of the portrait right or copyright can be prevented.

また、特徴情報に基づいてパターン認識を行って、所定の権利が設定された被写体が画像データ内に含まれるか否かを判定し、画像データの公開の可否を判別することが可能であり、肖像権や著作権を侵害することをより確実に防止できる。   It is also possible to perform pattern recognition based on feature information, determine whether or not a subject for which a predetermined right is set is included in the image data, and determine whether or not the image data can be disclosed. Infringement of portrait rights and copyrights can be prevented more reliably.

また、所定の権利が設定された被写体が画像データに含まれると判定された時に、権利所有者に使用許諾申請を自動的に行って、許諾承認された時に画像データの公開が可能であると判別するので、ユーザが手間の掛かる操作を行わずに済む。   In addition, when it is determined that a subject with a predetermined right is included in the image data, a license application is automatically made to the right holder, and the image data can be released when the license is approved. Since the determination is made, the user does not have to perform a troublesome operation.

さらに、画像データに含まれる肌色の割合を判定し、画像データの公開の可否を判別するので、肌の露出度の高い人物の画像データに対して公開を制限することができる。   Furthermore, since the ratio of the skin color included in the image data is determined and whether or not the image data can be disclosed is determined, it is possible to limit the disclosure to the image data of a person with a high degree of skin exposure.

また、ユーザから画像データを取得した時に、画像データの公開の可否を判別し、公開可能と判別された画像データのみを画像データベースに登録するため、必要のない画像データを登録せずに済む。   In addition, when the image data is acquired from the user, it is determined whether or not the image data can be disclosed, and only the image data determined to be disclosed is registered in the image database, so that unnecessary image data need not be registered.

画像データの登録を制限せずに、ユーザから公開要求を取得した時に、公開要求された画像データの判別処理を行うので、全ての画像データに対して判別処理を行う場合と比べて、判別処理の負荷を軽減できる。   When the publishing request is acquired from the user without restricting the registration of the image data, the discrimination processing of the image data requested to publish is performed. Can reduce the load.

さらに、ユーザから公開要求を取得した時に、画像データの障害度合と、ユーザに指定された公開条件とを比較して、画像データの公開の可否を判別するので、障害度合及び公開条件に応じて、公開の可否の判別を適切に行うことが可能である。   Furthermore, when obtaining a publishing request from the user, the degree of failure of the image data is compared with the publishing conditions specified by the user to determine whether or not the image data can be published. Therefore, it is possible to appropriately determine whether or not to disclose.

また、判別手段の判別結果が判別結果データベースに登録されるが、ユーザは、判別結果変更画面にて修正操作を行うことによって、判別結果を容易に変更することが可能である。   The discrimination result of the discrimination means is registered in the discrimination result database, but the user can easily change the discrimination result by performing a correction operation on the discrimination result change screen.

図1に示す画像公開システム10は、一般のユーザから画像データを取得して、この画像データをデータベースに登録するとともに、このデータベースに登録された画像データをウェブ上で公開する。この画像公開システム10は、多数のパーソナルコンピュータ(PC)11と、インターネット12と、画像管理サーバ13とで構成される。PC11は、インターネット12を介して画像管理サーバ13と接続されている。   An image publishing system 10 shown in FIG. 1 acquires image data from a general user, registers the image data in a database, and publishes the image data registered in the database on the web. The image publication system 10 includes a large number of personal computers (PCs) 11, the Internet 12, and an image management server 13. The PC 11 is connected to the image management server 13 via the Internet 12.

PC11は、ユーザ(登録者)によって使用される端末であり、例えば、本体11a、ディスプレイ11b、キーボード11c、及びマウス11d等で構成されている。ユーザは、キーボード11c、及びマウス11dを操作することによって、画像管理サーバ13に対して登録したい画像データをアップロードする。なお、この画像データには、撮影位置を示す位置情報が付加されている。   The PC 11 is a terminal used by a user (registrant) and includes, for example, a main body 11a, a display 11b, a keyboard 11c, a mouse 11d, and the like. The user uploads image data to be registered to the image management server 13 by operating the keyboard 11c and the mouse 11d. Note that position information indicating the shooting position is added to the image data.

また、画像データのアップロードは、ウェブページを介した送信、メール添付ファイル送信、またはFTPソフトを使用した送信等によって行われる。また、画像管理サーバ13によって、CD−ROMやメモリカード等の記憶媒体から画像データを直接取り込んでも良い。   Also, uploading of image data is performed by transmission via a web page, transmission of a mail attachment file, transmission using FTP software, or the like. Alternatively, the image management server 13 may directly capture image data from a storage medium such as a CD-ROM or a memory card.

第1の実施形態である画像管理サーバ13は、制御装置20と、第1記憶部21と、第2記憶部22と、通信装置23とを備えて構成されている。通信装置23は、ネットワークを介して、PC11との間でデータを送受信する通信手段であり、例えば、LANカードや、LANボード等が用いられる。   The image management server 13 according to the first embodiment includes a control device 20, a first storage unit 21, a second storage unit 22, and a communication device 23. The communication device 23 is a communication unit that transmits and receives data to and from the PC 11 via a network. For example, a LAN card or a LAN board is used.

制御装置20は、通信装置23を制御して、PC11からアップロードされた画像データを取得し、この画像データを第1記憶部21に一時的に記憶させる。なお、第1記憶部21としては、例えば、SDRAM、フラッシュメモリ等のメモリが用いられる。また、第2記憶部22は、ハードディスク等のデータストレージであり、特徴情報データベース22aと、画像データベース22bと、判別結果データベース22cとが記憶されている。   The control device 20 controls the communication device 23 to acquire the image data uploaded from the PC 11 and temporarily store the image data in the first storage unit 21. For example, a memory such as an SDRAM or a flash memory is used as the first storage unit 21. The second storage unit 22 is a data storage such as a hard disk, and stores a feature information database 22a, an image database 22b, and a discrimination result database 22c.

特徴情報データベース22aには、領域情報が記憶されている。この領域情報は、例えば、遊園地や、テーマパークや、映画館等の特定領域を示す情報である。例えば、図2に示す地図30内にあるαテーマパーク31を特定領域として、領域情報を登録する場合、このαテーマパーク31の外周の点P1〜P4で囲まれる範囲をαテーマパーク31の領域とする。この場合、テーマパークの外周の点P1〜P4の緯度及び経度情報を領域情報として特徴情報データベースに登録する。この特徴情報データベースには、このような領域情報が多数登録されている。   Area information is stored in the feature information database 22a. This area information is information indicating a specific area such as an amusement park, a theme park, or a movie theater, for example. For example, when registering region information with the α theme park 31 in the map 30 shown in FIG. 2 as a specific region, the range surrounded by the points P1 to P4 on the outer periphery of the α theme park 31 is the region of the α theme park 31. And In this case, the latitude and longitude information of the outer peripheral points P1 to P4 of the theme park is registered in the feature information database as region information. A large number of such region information is registered in this feature information database.

なお、領域情報は、点P1〜P4の4点に囲まれる範囲に限らず、3点や5点以上で囲まれる範囲でも良い。また、多数の点の緯度経度情報を領域情報として特徴情報データベースに登録する場合に限らず、例えば、所定の地点から半径5km以内の場所を領域情報として登録しても良い。この場合、所定の地点の緯度経度情報、及び半径情報を領域情報として、特徴情報データベースに登録すれば良い。   The area information is not limited to the range surrounded by the four points P1 to P4, but may be a range surrounded by three points or five or more points. In addition, the latitude / longitude information of a large number of points is not limited to being registered in the feature information database as region information, and for example, a location within a radius of 5 km from a predetermined point may be registered as region information. In this case, latitude / longitude information and radius information of a predetermined point may be registered in the feature information database as region information.

また、制御装置20は、登録判別部20aを備えている。この登録判別部20aは、第1記憶部21に記憶されている画像データの位置情報を抽出し、特徴情報データベース22aに登録されている領域情報と比較して、特定の領域内に含まれるか否かを判別する。   The control device 20 includes a registration determination unit 20a. The registration determination unit 20a extracts the position information of the image data stored in the first storage unit 21 and compares it with the region information registered in the feature information database 22a. Determine whether or not.

画像データベース22bには、特徴情報データベース22aの領域情報に含まれないと判定された画像データが登録される。また、判別結果データベース22cには、登録判定部20aの判定結果が登録される。なお、これらの登録処理は、登録手段である制御装置20によって行われる。   Image data determined not to be included in the area information of the feature information database 22a is registered in the image database 22b. In addition, the determination result of the registration determination unit 20a is registered in the determination result database 22c. In addition, these registration processes are performed by the control apparatus 20 which is a registration means.

また、制御装置20は、通信装置23を制御して、画像データベース22bに登録された画像データをインターネット12上に公開する。このため、画像データベース22bに登録された画像データは、インターネット12を介して不特定多数のユーザによって閲覧可能である。   Further, the control device 20 controls the communication device 23 to publish the image data registered in the image database 22b on the Internet 12. For this reason, the image data registered in the image database 22 b can be browsed by an unspecified number of users via the Internet 12.

次に、画像管理サーバ13の画像登録処理について、図3のフローチャートを用いて説明する。ユーザ(登録者)は、PC11にインストールされたメールソフト、またはその他のアプリケーションを起動して、位置情報が付加された画像データを画像管理サーバ13にアップロードする。   Next, the image registration process of the image management server 13 will be described with reference to the flowchart of FIG. A user (registrant) activates mail software installed on the PC 11 or other application, and uploads the image data to which the position information is added to the image management server 13.

制御装置20は、アップロードされた画像データを通信装置23によって取得すると、この画像データを第1記憶部21に一時的に記憶させる。その後、登録判定部20aは、画像データから位置情報を取得するとともに、この位置情報が、特徴情報データベース22aに登録された領域情報に含まれるか否かを判定する。   When the uploaded image data is acquired by the communication device 23, the control device 20 temporarily stores the image data in the first storage unit 21. Thereafter, the registration determination unit 20a acquires position information from the image data, and determines whether or not the position information is included in the region information registered in the feature information database 22a.

特定領域に含まれていないと判定された場合、制御装置20は、この画像データを画像データベース22bに登録する。その後、制御装置20は、この画像データの撮影場所が、特定領域に含まれないことを示す情報を判別結果データベース22cに登録する。さらに、制御装置20は、画像データをアップロードしたPC11に対して判別結果を通知して、画像登録処理を終了する。   When it is determined that the image is not included in the specific area, the control device 20 registers this image data in the image database 22b. Thereafter, the control device 20 registers information indicating that the shooting location of the image data is not included in the specific area in the determination result database 22c. Furthermore, the control device 20 notifies the discrimination result to the PC 11 that uploaded the image data, and ends the image registration process.

また、特定領域に含まれていると判定された場合、例えば、αテーマパーク31の領域情報に含まれている場合、制御装置20は、画像データを画像データベース22bに登録せずに、αテーマパーク31内で撮影された画像データであることを示す情報を判定結果データベース22cに登録する。その後、制御装置20は、画像データをアップロードしたPC11に対して判定結果を通知して、画像登録処理を終了する。   If it is determined that the image is included in the specific area, for example, if it is included in the area information of the α theme park 31, the control device 20 does not register the image data in the image database 22 b and the α theme Information indicating that the image data is captured in the park 31 is registered in the determination result database 22c. Thereafter, the control device 20 notifies the PC 11 that uploaded the image data of the determination result, and ends the image registration process.

このように、特定領域で撮影された画像データを画像データベース22bに登録しないことによって、この画像データは、インターネット12上に公開されることがない。このため、αテーマパーク31内で撮影された画像データには、一般に公開するには著作権や肖像権の侵害の対象となるものが写っている可能性があるが、αテーマパーク31を特定領域に設定することによって、著作権や肖像権を侵害することを未然に防止することができる。   As described above, by not registering the image data captured in the specific area in the image database 22b, the image data is not disclosed on the Internet 12. For this reason, there is a possibility that the image data shot in the α theme park 31 may contain a subject of infringement of copyright or portrait right to the public. By setting the area, it is possible to prevent infringement of copyright and portrait right.

上記実施形態において、予め設定された特定領域内で撮影された画像データを登録しない場合を例に説明したが、これに限るものではなく、著作権や肖像権等を侵害する恐れのある被写体が画像データ内に含まれるか否かをパターン認識して、画像データを登録するか否かを判別しても良い。以下に、パターン認識によって、画像データを判別する場合について説明する。   In the above embodiment, the case where image data shot in a preset specific area is not registered has been described as an example. However, the present invention is not limited to this, and there is a subject that may infringe copyright, portrait rights, etc. It may be determined whether or not the image data is to be registered by recognizing whether or not the image data is included in the image data. The case where image data is discriminated by pattern recognition will be described below.

この場合、特徴情報データベース22aには、前述の領域情報の他に、例えば、アニメのキャラクタ等の特徴情報である類似判別特徴データと、有名人の特徴情報である顔認識特徴データと、画像データ内に含まれる肌色の割合を判別するための肌色判別特徴データとが登録されている。   In this case, in the feature information database 22a, in addition to the above-described region information, for example, similarity determination feature data that is feature information of an anime character, etc., face recognition feature data that is feature information of a celebrity, and image data Skin color discrimination feature data for discriminating the ratio of the skin color included in the.

類似判別特徴データは、著作権や肖像権等が設定されたアニメのキャラクタ等の画像データから、特徴的な形状部分の画像データを特徴情報として抽出したものである。例えば、図4に示す画像33において、キャラクタ34のうち、顔を含む領域35内の画像データを特徴情報として抽出し、類似判別特徴データを生成する。このようなアニメのキャラクタは、商用利用に際して著作権上の障害があり、前述したように、類似判別特徴データが特徴情報データベース22aに登録される。この類似判別特徴データは、著作権侵害の恐れのあるものを出来るだけ多く登録しておくことが好ましい。   The similarity determination feature data is obtained by extracting image data of a characteristic shape portion as feature information from image data of an animated character or the like to which a copyright, a portrait right, or the like is set. For example, in the image 33 shown in FIG. 4, image data in the area 35 including the face is extracted as feature information from the character 34 to generate similarity determination feature data. Such an anime character has a copyright obstacle in commercial use, and as described above, similarity determination feature data is registered in the feature information database 22a. It is preferable to register as much similarity discrimination feature data as possible that has a risk of copyright infringement.

また、顔認識特徴データは、例えば、図5に示す画像36において、モデル37のうち、顔を含む領域38内の画像データを特徴情報として抽出したものである。なお、この顔認識特徴データは、モデル37に限らず、肖像権の侵害の恐れがある有名人、例えば、俳優、女優、スポーツ選手等でも良く、出来るだけ多くの有名人の顔認識特徴データを登録しておくことが好ましい。   Further, the face recognition feature data is obtained, for example, by extracting image data in a region 38 including a face from the model 37 as feature information in the image 36 shown in FIG. This face recognition feature data is not limited to the model 37, and may be celebrities who may infringe on portrait rights, such as actors, actresses, athletes, etc., and register face recognition feature data of as many celebrities as possible. It is preferable to keep it.

また、肌の露出度の高い人物の画像データは、商用利用に際して障害があり、このような肌の露出度を判別するには、肌色情報と、この肌色が画像データ内で占める割合の閾値とを設定すれば良い。つまり、前述の肌色判別特徴データは、肌色情報及び閾値を特徴情報として設定したものである。なお、肌色は、人種によって異なるため、複数の肌色情報を設定することが好ましい。   In addition, image data of a person with high skin exposure has an obstacle in commercial use, and in order to determine such skin exposure, skin color information and a threshold value of the ratio of the skin color in the image data Should be set. That is, the above-described skin color discrimination feature data is obtained by setting skin color information and a threshold value as feature information. In addition, since skin color changes with races, it is preferable to set several skin color information.

以下に、パターン認識する場合の画像登録処理について、図6のフローチャートを用いて説明する。登録判別部20aは、画像データから位置情報を抽出して、この位置情報が、特徴情報データベース22aに登録された領域情報に含まれるか否かを判定する。   Hereinafter, image registration processing in the case of pattern recognition will be described with reference to the flowchart of FIG. The registration determination unit 20a extracts position information from the image data, and determines whether or not this position information is included in the area information registered in the feature information database 22a.

位置情報が領域情報に含まれていないと判定された場合、登録判別部20aは、画像データの特徴情報が、類似判別特徴データ、顔認識特徴データ、及び肌色判別特徴データに一致するか否かを判別する。   When it is determined that the position information is not included in the region information, the registration determination unit 20a determines whether the feature information of the image data matches the similarity determination feature data, the face recognition feature data, and the skin color determination feature data. Is determined.

類似判別特徴データ、顔認識特徴データ、及び肌色判別特徴データと一致しないと判別された場合、制御装置20は、この画像データを画像データベース22aに登録する。その後、制御装置20は、位置情報の判別結果と、類似判別、顔認識、及び肌色判別の判別結果とを判別結果データベース22cに登録する。   When it is determined that the similarity determination feature data, the face recognition feature data, and the skin color determination feature data do not match, the control device 20 registers the image data in the image database 22a. Thereafter, the control device 20 registers the determination result of the position information and the determination results of the similarity determination, the face recognition, and the skin color determination in the determination result database 22c.

また、類似判別特徴データ、顔認識特徴データ、及び肌色判別特徴データと一致すると判別された場合には、制御装置20は、この画像データを画像データベース22aに登録せずに、判別結果を判別結果データベース22cに登録する処理に進む。   When it is determined that the similarity determination feature data, the face recognition feature data, and the skin color determination feature data match, the control device 20 does not register the image data in the image database 22a, and determines the determination result. The process proceeds to registration in the database 22c.

さらに、位置情報が領域情報に含まれていると判定された場合も、登録判別部20aは、画像データの特徴情報が、類似判別特徴データ、顔認識特徴データ、及び肌色判別特徴データと一致するか否かを判別する処理を行う。その後、この画像データを画像データベース22bに登録せずに、判別結果を判別結果データベース22cに登録する処理に進む。   Further, even when it is determined that the position information is included in the region information, the registration determination unit 20a matches the feature information of the image data with the similarity determination feature data, the face recognition feature data, and the skin color determination feature data. A process of determining whether or not is performed. Then, without registering the image data in the image database 22b, the process proceeds to processing for registering the determination result in the determination result database 22c.

判別結果の登録処理が終了すると、制御装置20は、通信装置23を制御して、画像データをアップロードしたPC11に対して、これらの判定結果を通知して、画像登録処理が終了する。   When the determination result registration process ends, the control device 20 controls the communication device 23 to notify the PC 11 that uploaded the image data of these determination results, and the image registration process ends.

上記画像登録処理の説明において、位置情報の判別処理を先に行い、類似判別、顔認識、及び肌色判別を後に行う場合を例に説明したが、これに限るものではなく、位置情報の判別処理を後で行っても良い。つまり、いずれの判別処理でも、特徴情報データベース22aの特徴情報と一致しないと判別された時にのみ、画像データを画像データベースに登録すれば良い。   In the description of the image registration process, the position information determination process is performed first, and the similarity determination, the face recognition, and the skin color determination are performed later. However, the present invention is not limited to this, and the position information determination process is not limited thereto. May be done later. That is, in any determination process, image data may be registered in the image database only when it is determined that it does not match the feature information in the feature information database 22a.

次に、第2の実施形態である画像管理サーバ40について説明する。図7に示す画像管理サーバ40は、第1の実施形態である画像管理サーバ13とは異なり、第2記憶部22内に、権利所得者データベース22dが記憶されている。   Next, the image management server 40 according to the second embodiment will be described. Unlike the image management server 13 according to the first embodiment, the image management server 40 shown in FIG. 7 stores a rights earner database 22 d in the second storage unit 22.

この権利所有者データベース22dには、著作権や肖像権等の権利所有者に対して、使用許諾申請を行うために必要な宛先情報が、類似判別特徴データ、及び顔認識特徴データに関連付して登録されている。例えば、特徴情報データベース22aには、類似判別特徴データとして、図8に示すように、「ID」毎に、「登録名」、「所有者ID」、及び「特徴情報」が登録されている。また、権利所有者データベース22dには、「所有者ID」毎に、「登録名」、「部署名」、「代表者氏名」、「メールアドレス」、「電話番号」、及び「住所」で構成されている。   In this right owner database 22d, destination information necessary for applying for a license to a right holder such as a copyright or a portrait right is associated with the similarity determination feature data and the face recognition feature data. Registered. For example, as shown in FIG. 8, “registration name”, “owner ID”, and “feature information” are registered in the feature information database 22a as similarity discrimination feature data for each “ID”. Further, the right owner database 22d includes “registered name”, “department name”, “representative name”, “mail address”, “phone number”, and “address” for each “owner ID”. Has been.

次に、上記構成の画像管理サーバ40の画像登録処理について、図10のフローチャートを用いて説明する。ユーザによって、位置情報付き画像データがアップロードされると、制御装置20は、この画像データを第1記憶部21に記憶させる。その後、登録判別部20aは、画像データの特徴情報が特徴情報データベース22a内の特徴情報に一致するか否かを判別する。つまり、位置情報による判別と、類似判別、顔認識、及び肌色判別とを行って、これらの判別によって、いずれかに対応する特徴情報があるか否かを判定する。   Next, the image registration processing of the image management server 40 having the above configuration will be described with reference to the flowchart of FIG. When the image data with position information is uploaded by the user, the control device 20 stores the image data in the first storage unit 21. Thereafter, the registration determination unit 20a determines whether or not the feature information of the image data matches the feature information in the feature information database 22a. That is, determination based on position information, similarity determination, face recognition, and skin color determination are performed, and it is determined whether there is feature information corresponding to any of these determinations.

特徴情報データベース22a内の特徴情報に一致するものがないと判別された場合、制御装置20は、この画像データを画像データベース22bに登録する。その後、制御装置20は、登録判別部20aの判別結果データベース22cに判別結果を登録する。   If it is determined that there is no match in the feature information in the feature information database 22a, the control device 20 registers this image data in the image database 22b. Thereafter, the control device 20 registers the discrimination result in the discrimination result database 22c of the registration discrimination unit 20a.

特徴情報データベース22a内の特徴情報に一致すると判定された場合、登録判別部20aは、この特徴情報に、著作権や肖像権等の権利情報があるか否かを判定する。この特徴情報に権利情報がないと判定された場合、判別結果を登録する処理に進む。   When it is determined that the feature information matches the feature information in the feature information database 22a, the registration determination unit 20a determines whether or not the feature information includes rights information such as a copyright or a portrait right. If it is determined that there is no right information in the feature information, the process proceeds to a process for registering the determination result.

また、特徴情報に権利情報があると判定された場合、制御装置20は、特徴情報データベース22aから所有者IDを抽出し、この所有者IDに対応する権利所有者の宛先情報を権利所有者データベース22dから取得する。   When it is determined that the feature information has the right information, the control device 20 extracts the owner ID from the feature information database 22a, and uses the right owner database as the destination information of the right owner corresponding to the owner ID. 22d.

例えば、登録判別部20aによって、画像データ内に、類似判別特徴データである「キャラクタβ」(ID:009999)と一致するデータが含まれると判別された場合、制御装置20は、特徴情報データベース22aからID「009999」に対応する所有者ID「001234」を抽出する。その後、制御装置20は、権利所有者データベース22dから、所有者ID「001234」に対応する宛先情報(「登録名」、「部署名」、「代表者氏名」、「メールアドレス」、「電話番号」、及び「住所」)を取得する。   For example, if the registration determination unit 20a determines that the image data includes data that matches the similarity determination feature data “character β” (ID: 009999), the control device 20 determines that the feature information database 22a The owner ID “001234” corresponding to the ID “009999” is extracted. Thereafter, the control device 20 sends the destination information (“registered name”, “department name”, “name of representative”), “mail address”, “phone number” corresponding to the owner ID “001234” from the right owner database 22d. ”And“ address ”).

制御装置20は、この宛先情報に基づいて、権利所有者に使用許諾申請を行うための申請フォーマットを作成し、さらに、通信装置23を制御することによって、この申請フォーマットを権利所有者に送信する。   Based on this destination information, the control device 20 creates an application format for making a license application to the right holder, and further transmits the application format to the right owner by controlling the communication device 23. .

その後、使用許諾申請に対する返信があった時に、制御装置20は、権利所有者によって権利使用が許諾承認されたか否かを判定する。許諾承認されたと判定された場合、この画像データを画像データベース22bに登録した後、判別結果を登録する処理に進む。また、許諾承認されなかったと判定された場合、画像データを登録せずに、判別結果を登録する処理に進む。   Thereafter, when a reply to the license application is received, the control device 20 determines whether or not the right usage has been approved by the right owner. If it is determined that the license has been approved, the image data is registered in the image database 22b, and then the process proceeds to processing for registering the determination result. If it is determined that the permission has not been approved, the process proceeds to a process of registering the determination result without registering the image data.

判別結果を登録する処理が終了すると、制御装置20は、通信装置23を制御して、アップロード元のPC11に対して、登録判別部20aの判別結果を通知して、画像登録処理を終了する。   When the process of registering the determination result is completed, the control device 20 controls the communication device 23 to notify the upload source PC 11 of the determination result of the registration determination unit 20a, and ends the image registration process.

なお、判別結果の登録処理では、公開に障害があるか否かを示す情報だけでなく、例えば、位置情報が「αテーマパーク」の領域に含まれていた場合には、撮影場所が「αテーマパーク」であることを示す情報を判別結果に付加して登録する。また、類似判別によって、例えば、「キャラクタβ」が含まれていた場合には、「キャラクタβ」が含まれていることを示す情報を判別結果に付加して登録する。さらに、顔認識によって、例えば、有名なモデルが含まれていた場合には、モデルが含まれていることを示す情報を判別結果に付加して登録する。また、露出度の高い人物画像である場合には、露出度の高い人物画像であることを示す情報を判定結果に付加して登録する。   In the registration process of the determination result, not only the information indicating whether or not there is a failure in disclosure, but if the location information is included in the area of “α theme park”, the shooting location is “α Information indicating “theme park” is added to the determination result and registered. For example, when “character β” is included in the similarity determination, information indicating that “character β” is included is added to the determination result and registered. Further, for example, when a famous model is included by face recognition, information indicating that the model is included is added to the determination result and registered. In the case of a person image with high exposure, information indicating that the image is a person image with high exposure is added to the determination result and registered.

次に、第3の実施形態である画像管理サーバ50について説明する。上記実施形態では、画像登録時に、画像データの公開の可否を判別して、公開可能な画像データのみを画像データベース22bに登録する場合について説明したが、画像管理サーバ50は、画像データの登録を制限せずに、登録された画像データに対して、公開の可否を判別する。   Next, an image management server 50 according to the third embodiment will be described. In the above embodiment, a case has been described in which whether image data can be disclosed at the time of image registration and only image data that can be disclosed is registered in the image database 22b. However, the image management server 50 registers image data. Without limitation, it is determined whether or not the registered image data can be disclosed.

図11に示すように、画像管理サーバ50は、画像管理サーバ13,40とは異なり、制御装置51には、公開判別部51aが設けられている。さらに、第2記憶部22には、特徴情報データベース22a、画像データベース22b、判別結果データベース22c、及び権利所有者データベース22dの他に、公開情報データベース22eが記憶されている。この画像管理サーバ50では、画像データの登録に制限はなく、PC11からアップロードされた画像データは、画像データベース22bに全て登録される。   As shown in FIG. 11, the image management server 50 is different from the image management servers 13 and 40, and the control device 51 is provided with a disclosure determination unit 51 a. Further, the second storage unit 22 stores a public information database 22e in addition to the feature information database 22a, the image database 22b, the discrimination result database 22c, and the right owner database 22d. In the image management server 50, registration of image data is not limited, and all image data uploaded from the PC 11 is registered in the image database 22b.

公開判別部51aは、画像管理サーバ13,40と略同様の方法で判別処理を行うが、この際、公開の可否の判定だけでなく、公開に対する障害度合を複数のレベルに分類する。以下に、画像データに付加された位置情報に基づいて、障害度合を複数のレベルに分類する方法について説明する。   The disclosure discriminating unit 51a performs the discriminating process by a method substantially similar to that of the image management servers 13 and 40. At this time, the disclosure determination unit 51a classifies the degree of failure with respect to disclosure into a plurality of levels. Hereinafter, a method for classifying the failure degree into a plurality of levels based on the position information added to the image data will be described.

例えば、図12に示す地図60において、αテーマパーク31内の特定の施設が含まれる狭い領域Aとする。この領域A内において撮影が行われると、αテーマパーク31が権利を有する被写体が撮影画像内に写り込む可能性が非常に高い。このため、画像データに付加された位置情報に基づいて、撮影場所が領域A内に含まれると判定された場合、障害度合を最も高い障害レベルAに設定する。   For example, in the map 60 shown in FIG. 12, it is set as the narrow area | region A in which the specific facility in the alpha theme park 31 is included. When shooting is performed in this area A, there is a high possibility that a subject to which the α theme park 31 is entitled will appear in the shot image. Therefore, when it is determined that the shooting location is included in the area A based on the position information added to the image data, the failure level is set to the highest failure level A.

また、前述の領域Aを含み、この領域よりも大きな範囲を領域Bとすると、領域Bよりも内側、かつ領域Aよりも外側で撮影が行われると、権利上障害となる被写体が撮影画像内に写り込む可能性はあるが、αテーマパーク31の敷地外も含まれており、領域Aよりも可能性が低い。このため、撮影場所が、領域Bよりも内側、かつ領域Aよりも外側であると判定された場合、障害度合を障害レベルAよりも低い障害レベルBに設定する。   Further, if the area B including the above-described area A and the area larger than this area is defined as the area B, when shooting is performed inside the area B and outside the area A, a subject that is obstructed in terms of rights is included in the captured image. However, the possibility is lower than that in the area A because the outside of the site of the α theme park 31 is also included. For this reason, when it is determined that the shooting location is inside the region B and outside the region A, the failure degree is set to a failure level B lower than the failure level A.

さらに、前述の領域A,Bを含み、これらの領域A,Bよりも大きな範囲を領域Cとすると、領域Cよりも内側、かつ領域A,Bよりも外側で撮影が行われると、領域Cには、領域Bよりもαテーマパークの敷地外が多く含まれており、権利上障害となる被写体が撮影画像内に写り込む可能性が、領域Bよりもさらに低い。このため、撮影場所が、領域Cよりも内側、かつ領域A,Bよりも外側であると判定された場合、障害度合を障害レベルBよりも、さらに低い障害レベルCに設定する。   Furthermore, if the area A and B is included and the area larger than these areas A and B is the area C, the area C is captured when the image is taken inside the area C and outside the areas A and B. Includes more outside the site of the α theme park than the area B, and the possibility that a subject that is obstructive in the right is reflected in the captured image is lower than that in the area B. For this reason, when it is determined that the shooting location is inside the region C and outside the regions A and B, the failure degree is set to a failure level C lower than the failure level B.

前述のように、公開判別部51aが、画像データに付加された位置情報に基づいて障害度合を複数のレベルに分類すると、制御装置20は、この判別処理結果を画像データの属性情報として付加して、判別結果データベース22cに登録する。この判別結果データベース22cは、例えば、図13に示すように、「ID」、「画像名」、「緯度経度」、「障害判別結果」、及び「特徴情報」で構成される。   As described above, when the disclosure determination unit 51a classifies the failure degree into a plurality of levels based on the position information added to the image data, the control device 20 adds the determination processing result as the attribute information of the image data. And registered in the discrimination result database 22c. For example, as shown in FIG. 13, the discrimination result database 22c includes “ID”, “image name”, “latitude / longitude”, “failure discrimination result”, and “feature information”.

また、公開情報データベース22eは、例えば、図14に示すように、「ID」、「公開の名称」、及び「許容障害レベル」で構成される。この公開情報データベース22eは、障害度合によって、公開する範囲を規定するものであり、例えば、障害度合が最も低い障害レベルCに分類された画像データは、ID:001の「全てに公開」が許可されるが、障害度合が最も高い障害レベルAに分類された画像は、ID:007の「自分だけに公開」、及びID:004の「10人以内に公開」しか許可されない。   Further, the public information database 22e includes, for example, “ID”, “public name”, and “allowable failure level” as shown in FIG. The public information database 22e defines the range to be disclosed according to the degree of failure. For example, the image data classified into the failure level C with the lowest degree of failure is permitted to be "public to all" of ID: 001. However, the images classified into the failure level A having the highest failure level are only allowed to be “open to yourself” with ID: 007 and “open within 10 people” with ID: 004.

次に、上記構成の画像管理サーバ50の公開判別処理について、図15のフローチャートを用いて説明する。画像データベース22bには、ユーザによってアップロードされた位置情報付きの画像データが登録されており、画像データの登録には制限がなく、アップロードされた画像データの全てが登録されている。   Next, the disclosure determination process of the image management server 50 configured as described above will be described with reference to the flowchart of FIG. In the image database 22b, image data with position information uploaded by the user is registered, and there is no restriction on the registration of the image data, and all of the uploaded image data is registered.

ユーザ(登録者)は、PC11にインストールされたメールソフト、または、その他のアプリケーションを起動して、ユーザ自身によってアップロードを行った画像データの公開要求を送信する。この公開要求は、画像データを指定する情報(画像データ名)、及び公開規模の情報である。公開規模の情報とは、例えば、図14に示す「公開の名称」に対応する情報である。   A user (registrant) activates mail software installed on the PC 11 or other application, and transmits a request for publishing image data uploaded by the user himself / herself. This publication request is information (image data name) for designating image data and information on the publication scale. The public scale information is, for example, information corresponding to the “public name” shown in FIG.

制御装置51は、ユーザから公開要求を取得すると、画像データベース22bから、指定された画像データを読み出して、この画像データを第1記憶部21に一時的に記憶させる。公開判別部51aは、画像データの特徴情報が、特徴情報データベース22a内の特徴情報に一致するか否かを判別する。つまり、位置情報による判別と、類似判別、顔認識、及び肌色判別とを行って、これらの判別によって、いずれかに対応する特徴情報があるか否かを判別する。   When acquiring the disclosure request from the user, the control device 51 reads the designated image data from the image database 22 b and temporarily stores the image data in the first storage unit 21. The disclosure determining unit 51a determines whether or not the feature information of the image data matches the feature information in the feature information database 22a. That is, determination based on position information, similarity determination, face recognition, and skin color determination are performed, and it is determined whether there is feature information corresponding to any of these determinations.

その後、特徴情報データベース22a内に登録されている特徴情報と一致するものがないと判別された場合、制御装置50は、公開規模の制限なしで公開可能であることを示す判別結果を判別結果データベース22cに登録する。   After that, when it is determined that there is no feature information that matches the feature information registered in the feature information database 22a, the control device 50 displays a determination result indicating that the feature information database 22a can be disclosed without limitation on the disclosure scale. 22c is registered.

特徴情報データベース22a内の特徴情報に一致すると判定された場合、登録判別部20aは、この特徴情報に、著作権や肖像権等の権利情報があるか否かを判定する。この特徴情報に権利情報がないと判定された場合、つまり、位置情報のみが特徴情報データベース22aの領域情報に一致する場合、障害判別結果(障害レベルA,B,C)を画像データの属性情報に付加して、判別結果データベース22cに登録する。   When it is determined that the feature information matches the feature information in the feature information database 22a, the registration determination unit 20a determines whether or not the feature information includes rights information such as a copyright or a portrait right. If it is determined that there is no right information in the feature information, that is, if only the position information matches the area information in the feature information database 22a, the failure determination result (failure level A, B, C) is used as the attribute information of the image data. And is registered in the discrimination result database 22c.

また、前述の特徴情報に、権利情報があると判定された場合、制御装置51は、特徴情報データベース22aから所有者IDを抽出し、この所有者IDに対応する権利所有者の宛先情報を権利所有者データベース22dから取得する。   In addition, when it is determined that the above-described feature information includes the right information, the control device 51 extracts the owner ID from the feature information database 22a, and uses the right owner's destination information corresponding to this owner ID as the right. Obtained from the owner database 22d.

制御装置51は、この宛先情報に基づいて、権利所有者に使用許諾申請を行うための申請フォーマットを作成し、さらに、通信装置23を制御することによって、この申請フォーマットを権利所有者に送信する。   Based on the destination information, the control device 51 creates an application format for applying to the rights owner for a license, and further controls the communication device 23 to transmit the application format to the rights owner. .

その後、使用許諾申請に対する返信があった時に、制御装置20は、権利所有者によって権利使用が許諾承認されたか否かの判別結果を判別結果データベース22cに登録する。公開判別部51aは、障害判別結果と、公開要求された許容障害レベルとを比較して、(障害判別結果のレベル)≦(許容障害レベル)の場合、公開許可を示すメッセージを公開要求元のPC11に通知する。その他の場合、公開拒否を示すメッセージを公開要求元のPC11に通知する。この時、公開可能か否かを示す判別結果が、判別結果データベース22cに登録されて、公開判別処理が終了する。   Thereafter, when a reply to the license application is received, the control device 20 registers the determination result on whether or not the right use has been approved by the right owner in the determination result database 22c. The disclosure determination unit 51a compares the failure determination result with the allowable failure level requested to be released, and if (failure determination result level) ≦ (allowable failure level), a message indicating the release permission is sent to the release request source. Notify the PC 11. In other cases, a message indicating refusal of disclosure is notified to the PC 11 of the publishing request source. At this time, the determination result indicating whether or not it can be disclosed is registered in the determination result database 22c, and the disclosure determination process ends.

次に、第4の実施形態である画像管理サーバ70について説明する。この画像管理サーバ70は、制御装置71と、画像入力装置72と、入力操作装置73と、表示装置74と、第1記憶部21と、第2記憶部22と、通信装置23とで構成されている。   Next, an image management server 70 according to the fourth embodiment will be described. The image management server 70 includes a control device 71, an image input device 72, an input operation device 73, a display device 74, a first storage unit 21, a second storage unit 22, and a communication device 23. ing.

制御装置71は、判別制御部71aと、データ修正手段であるデータ修正制御部71bとを備えて構成されている。判別制御部71aは、前述の登録判別部、及び公開判別部の両方の機能を有しており、画像データの登録時と、ユーザからの公開要求を取得した時との両方で、画像データの判別処理を行うことが可能である。また、データ修正制御部71bは、後述するように、画像データに関連する情報、例えば、障害レベルの修正を行う。   The control device 71 includes a discrimination control unit 71a and a data correction control unit 71b that is a data correction unit. The discrimination control unit 71a has the functions of both the registration discrimination unit and the disclosure discrimination unit described above. Both the registration of the image data and the acquisition of the disclosure request from the user acquire the image data. A discrimination process can be performed. Further, as will be described later, the data correction control unit 71b corrects information related to image data, for example, a failure level.

画像入力装置72は、画像データをサーバ70に直接入力するための装置であり、この画像入力装置72としては、例えば、メモリカードリーダや、CD−ROMドライブ等が用いられる。また、画像入力装置72として、ネットワークを介してデータを送受信するためのLANカードなどの通信機器を用いても良い。   The image input device 72 is a device for directly inputting image data to the server 70. As the image input device 72, for example, a memory card reader, a CD-ROM drive, or the like is used. Further, as the image input device 72, a communication device such as a LAN card for transmitting and receiving data via a network may be used.

入力操作装置73は、ユーザによって操作される操作手段であり、例えば、キーボードやマウス等である。画像入力装置72によって入力された画像データに位置情報が付加されていない場合、この入力操作装置73を操作して位置情報を画像データに付加することが可能である。   The input operation device 73 is an operation means operated by a user, and is, for example, a keyboard or a mouse. When position information is not added to the image data input by the image input device 72, the position information can be added to the image data by operating the input operation device 73.

表示装置74は、入力された処理要求結果や、登録画像や、公開画像等を表示させるための表示手段であり、例えば、LCDや、CRTディスプレイ等である。また、第1記憶部21は、判別処理を行う際に画像データが一時的に記憶される。第2記憶部22には、特徴情報データベース22a、画像データベース22b、判別結果データベース22c、権利所有者データベース22d、及び公開情報データベース22eが記憶されている。   The display device 74 is display means for displaying an input processing request result, a registered image, a public image, and the like, and is, for example, an LCD, a CRT display, or the like. The first storage unit 21 temporarily stores image data when performing the discrimination process. The second storage unit 22 stores a feature information database 22a, an image database 22b, a discrimination result database 22c, a right owner database 22d, and a public information database 22e.

以下に、データ修正処理について説明する。データ修正制御部71bは、ユーザのPC11から修正要求を取得する。制御装置71は、判別結果変更画面を作成する画面作成手段であり、例えば、図17に示す障害レベル変更画面(判別結果変更画面)80を表示するための情報を作成し、通信装置23を介して、この情報をPC11に送信する。なお、この情報を送信する場合、ウェブページとして送信しても良いし、PC11側のアプリケーションの通信形式に従って送信しても良い。   The data correction process will be described below. The data correction control unit 71b acquires a correction request from the user's PC 11. The control device 71 is a screen creation unit that creates a discrimination result change screen. For example, the control device 71 creates information for displaying a failure level change screen (discrimination result change screen) 80 shown in FIG. Then, this information is transmitted to the PC 11. When this information is transmitted, it may be transmitted as a web page, or may be transmitted according to the communication format of the application on the PC 11 side.

PC11に前述の情報が受信されると、障害レベル変更画面80がディスプレイ11bに表示される。この障害レベル変更画面80は、条件指定部81と、画像表示部82と、更新ボタン83とで構成されている。条件指定部81は、4つのプルダウンメニュー81a〜81dが設けられている。   When the above information is received by the PC 11, a failure level change screen 80 is displayed on the display 11b. The failure level change screen 80 includes a condition designation unit 81, an image display unit 82, and an update button 83. The condition designating unit 81 is provided with four pull-down menus 81a to 81d.

プルダウンメニュー81aは、撮影領域を指定する際に操作される。プルダウンメニュー81bは、障害レベルを指定する際に操作される。また、プルダウンメニュー81cは、障害レベル変更画面80に表示される画像数を指定する際に操作される。さらに、プルダウンメニュー81dは、障害レベル変更画面80の表示頁を指定する際に操作される。   The pull-down menu 81a is operated when a shooting area is designated. The pull-down menu 81b is operated when a failure level is designated. The pull-down menu 81c is operated when designating the number of images displayed on the failure level change screen 80. Further, the pull-down menu 81d is operated when a display page of the failure level change screen 80 is designated.

ユーザは、入力操作装置73を操作することによって、前述のプルダウンメニュー81a〜81dから所望の項目を選択する。この時、プルダウンメニュー81a〜81dによって指定された条件に合致する登録画像90A〜90Kが、画像表示部82に表示される。   The user operates the input operation device 73 to select a desired item from the pull-down menus 81a to 81d described above. At this time, registered images 90 </ b> A to 90 </ b> K that match the conditions specified by the pull-down menus 81 a to 81 d are displayed on the image display unit 82.

また、登録画像90A〜90Kの各々の下には、障害レベルを変更するためのプルダウンメニュー91が設けられている。ユーザが、各登録画像90A〜90Kの障害レベルを変更する場合、マウス等を操作することによって、各登録画像90A〜90Kに対応するプルダウンメニュー91のボタン91aを操作して、障害レベルの一覧を表示させ、その中から障害レベルを選択する。この時、各プルダウンメニュー90A〜90Kには、選択された障害レベルが表示される。   A pull-down menu 91 for changing the failure level is provided below each of the registered images 90A to 90K. When the user changes the failure level of each of the registered images 90A to 90K, the user operates the mouse 91 or the like to operate the button 91a of the pull-down menu 91 corresponding to each of the registered images 90A to 90K to display a list of failure levels. Display and select the failure level. At this time, the selected failure level is displayed in each pull-down menu 90A to 90K.

その後、更新ボタン83が操作されると、PC11は、インターネット12を介して、修正指示情報を画像管理サーバ70に送信する。データ修正制御部71bは、通信装置23を介して、この修正指示情報を取得して、この修正指示情報に基づいて、判定結果データベース22c内の対応するデータを更新する。また、PC11から修正指示情報を送信する場合、この修正指示情報は、データベースに対するSQL(Structured Query Language)などである。なお、このSQLとは、データベースの定義や操作などを実現するためのデータベース言語の一つである。   Thereafter, when the update button 83 is operated, the PC 11 transmits correction instruction information to the image management server 70 via the Internet 12. The data correction control unit 71b acquires the correction instruction information via the communication device 23, and updates the corresponding data in the determination result database 22c based on the correction instruction information. Further, when the correction instruction information is transmitted from the PC 11, the correction instruction information is SQL (Structured Query Language) for the database. The SQL is one of database languages for realizing database definition and operation.

上記データ修正処理の説明において、PC11によって、データ修正操作を行う場合を例に説明したが、これに限るものではなく、画像管理サーバ70に設けられた入力操作装置73によって、データ修正操作を行っても良い。この場合、画像管理サーバ70に設けられた表示装置74に、障害レベル変更画面を表示すれば良い。   In the description of the data correction processing, the case where the data correction operation is performed by the PC 11 has been described as an example. However, the present invention is not limited to this, and the data correction operation is performed by the input operation device 73 provided in the image management server 70. May be. In this case, the failure level change screen may be displayed on the display device 74 provided in the image management server 70.

また、上記実施形態において、ユーザの使用端末としてパーソナルコンピュータを用いる場合を例に説明したが、これに限るものではなく、例えば、インターネット12に接続可能な携帯電話でも良い。   In the above embodiment, the case where a personal computer is used as a user terminal has been described as an example. However, the present invention is not limited to this. For example, a mobile phone that can be connected to the Internet 12 may be used.

さらに、上記実施形態において、画像管理サーバが、画像データとして静止画像データを公開する場合を例に説明したが、静止画像データに限らず、動画像データでも良い。動画像データの場合、例えば、映画館で撮影された動画像データが海賊版の映画となり、著作権侵害となる。しかし、前述のように、映画館の場所を指定領域として登録したり、動画像データをパターン認識したりすることによって、このような問題を防止することができる。   Furthermore, in the above embodiment, the case where the image management server discloses still image data as image data has been described as an example. However, the image management server is not limited to still image data, and may be moving image data. In the case of moving image data, for example, moving image data shot in a movie theater becomes a pirated movie, which infringes copyright. However, as described above, such a problem can be prevented by registering the location of a movie theater as a designated area or by recognizing moving image data as a pattern.

また、上記実施形態において、画像データの特徴情報に権利情報が含まれる時に、画像管理サーバ側が、使用許諾の申請フォーマットを作成して、これらを権利保有者宛に送信する場合を例に説明したが、公開要求元のPCによって、申請フォーマットを権利所有者宛に送信できるようにしても良い。   Further, in the above embodiment, when the rights information is included in the feature information of the image data, the case where the image management server side creates an application format for use permission and transmits these to the right holder is described as an example However, the application format may be transmitted to the right holder by the PC as the publication request source.

画像公開システムの構成を示すブロック図であり、第1の実施形態である画像管理サーバの構成を示している。It is a block diagram which shows the structure of an image disclosure system, and has shown the structure of the image management server which is 1st Embodiment. αテーマパークの領域情報を示す説明図である。It is explanatory drawing which shows the area | region information of alpha theme park. 登録判別処理を説明するフローチャートであり、位置情報に基づいて登録判別を行う場合を示している。It is a flowchart explaining a registration discrimination | determination process, and shows the case where registration discrimination | determination is performed based on position information. 類似判別特徴データを示す説明図である。It is explanatory drawing which shows similarity discrimination | determination feature data. 顔認識特徴データを示す説明図である。It is explanatory drawing which shows face recognition characteristic data. 登録判別処理を説明するフローチャートであり、位置情報、類似判別特徴データ、顔認識特徴データ、及び肌色判別特徴データに基づいて登録判別を行う場合を示している。It is a flowchart explaining a registration discrimination | determination process, and has shown the case where registration discrimination | determination is performed based on position information, similarity discrimination | determination feature data, face recognition feature data, and skin color discrimination | determination feature data. 第2の実施形態である画像管理サーバの構成を示すブロック図である。It is a block diagram which shows the structure of the image management server which is 2nd Embodiment. 特徴情報データベースの構成を示す説明図である。It is explanatory drawing which shows the structure of a feature information database. 権利所有者データベースの構成を示す説明図である。It is explanatory drawing which shows the structure of a right owner database. 登録判別処理を説明するフローチャートであり、権利情報が特徴情報に含まれる時に、権利所有者に申請フォーマットを送信する場合を示している。It is a flowchart explaining a registration discrimination | determination process, and shows the case where an application format is transmitted to a rights owner when rights information is included in characteristic information. 第3の実施形態である画像管理サーバの構成を示すブロック図である。It is a block diagram which shows the structure of the image management server which is 3rd Embodiment. 位置情報に基づいて障害レベルを判別する場合の特定領域を示す説明図である。It is explanatory drawing which shows the specific area | region in the case of discriminating a failure level based on positional information. 画像データベースの構成を示す説明図である。It is explanatory drawing which shows the structure of an image database. 公開情報データベースの構成を示す説明図である。It is explanatory drawing which shows the structure of a public information database. 公開判別処理を説明するフローチャートである。It is a flowchart explaining a public discrimination process. 第4の実施形態である画像管理サーバの構成を示すブロック図である。It is a block diagram which shows the structure of the image management server which is 4th Embodiment. 障害レベル変更画面を示す説明図である。It is explanatory drawing which shows a failure level change screen.

符号の説明Explanation of symbols

10 画像公開システム
11 パソコン
12 インターネット
13,40,50,70 画像管理サーバ
20,51,71 制御装置
20a 登録判別部
21 第1記憶部
22 第2記憶部
22a 特徴情報データベース
22b 画像データベース
22c 判別結果データベース
22d 権利所有者データベース
22e 公開情報データベース
51a 公開判別部
71a 判別制御部
80 障害レベル変更画面
DESCRIPTION OF SYMBOLS 10 Image disclosure system 11 Personal computer 12 Internet 13, 40, 50, 70 Image management server 20, 51, 71 Control device 20a Registration discrimination | determination part 21 1st memory | storage part 22 2nd memory | storage part 22a Feature information database 22b Image database 22c Discrimination result database 22d Rights Owner Database 22e Public Information Database 51a Public Discrimination Unit 71a Discrimination Control Unit 80 Failure Level Change Screen

Claims (10)

ユーザから画像データを取得し、この画像データを画像データベースに登録するとともに、前記画像データをネットワーク上に公開する画像管理サーバにおいて、
撮影位置を示す位置情報が付加された前記画像データを取得する画像データ取得手段と、
前記画像データ取得手段によって取得された前記画像データを前記画像データベースに登録する登録手段と、
前記画像データが特定領域内で撮影されたものであるか否かを判別するための領域情報が登録された特徴情報データベースと、
前記位置情報が前記特定領域に含まれる場合には前記画像データの非公開を決定し、前記位置情報が前記特定領域に含まれない場合には前記画像データの公開を決定する判別手段とを備え、
前記判別手段によって公開が決定された前記画像データを前記ネットワーク上に公開することを特徴とする画像管理サーバ。
In an image management server that acquires image data from a user, registers the image data in an image database, and publishes the image data on a network,
Image data acquisition means for acquiring the image data to which position information indicating a shooting position is added;
Registration means for registering the image data acquired by the image data acquisition means in the image database;
A feature information database in which region information for determining whether or not the image data is taken within a specific region;
Determining means for determining whether the image data is not disclosed when the position information is included in the specific area, and determining whether the image data is disclosed when the position information is not included in the specific area. ,
An image management server, wherein the image data determined to be disclosed by the determining means is disclosed on the network.
前記特徴情報データベースには、肖像権または著作権が設定された被写体が前記画像データに含まれるか否かを判定するための特徴情報が登録されており、前記判別手段は、前記特徴情報によってパターン認識を行なって、前記画像データに前記被写体が含まれるか否かを判定し、前記画像データの公開の可否を判別することを特徴とする請求項1記載の画像管理サーバ。 In the feature information database, feature information for determining whether or not a subject for which a portrait right or a copyright is set is included in the image data is registered. 2. The image management server according to claim 1, wherein recognition is performed to determine whether or not the subject is included in the image data, and to determine whether or not the image data can be disclosed. 前記特徴情報データベースには、前記特徴情報毎に権利所有者情報が登録されており、前記判別手段によって、前記画像データに前記被写体が含まれていると判定された時に、前記画像データに対応する前記権利所有者情報に基づいて作成された使用許諾申請情報を権利所有者宛に送信するとともに、前記権利所有者によって前記画像データの使用が許諾承認された時に、前記画像データの公開が可能であると判別することを特徴とする請求項2記載の画像管理サーバ。   In the feature information database, right owner information is registered for each feature information, and when the determination unit determines that the subject is included in the image data, it corresponds to the image data. The license application information created based on the right owner information is transmitted to the right owner, and when the use of the image data is approved by the right owner, the image data can be disclosed. The image management server according to claim 2, wherein the image management server is determined to be present. 前記特徴情報データベースには、前記画像データ内に含まれる肌色の割合を判別するための肌色判別特徴情報が記憶されており、前記判別手段は、前記肌色判別特徴情報に基づいて前記肌色の割合を判定し、前記画像データの公開の可否を判別することを特徴とする請求項1または3のいずれか記載の画像管理サーバ。   The feature information database stores skin color discrimination feature information for discriminating the proportion of the skin color included in the image data, and the discrimination means determines the skin color rate based on the skin color discrimination feature information. 4. The image management server according to claim 1, wherein the image management server determines and determines whether the image data can be disclosed. 5. 前記画像データ取得手段によって前記画像データが取得された時に、前記判別手段が前記画像データの判別を行い、前記登録手段は、前記判別手段によって公開可能と判別された前記画像データを前記画像データベースに登録することを特徴とする請求項1ないし4のいずれか記載の画像管理サーバ。   When the image data is acquired by the image data acquisition means, the determination means determines the image data, and the registration means stores the image data determined to be openable by the determination means in the image database. 5. The image management server according to claim 1, wherein the image management server is registered. 前記判別手段は、前記ユーザから前記画像データの公開要求を取得した時に、前記画像データベースに登録された前記画像データのうち、前記公開要求に対応する前記画像データの判別を行うことを特徴とする請求項1ないし5のいずれか記載の画像管理サーバ。   The determining means determines the image data corresponding to the publishing request among the image data registered in the image database when the publishing request for the image data is acquired from the user. The image management server according to claim 1. 前記判別手段は、前記位置情報に基づいて、肖像権または著作権が設定された被写体が前記画像データに含まれる可能性を示す障害度合を判定し、この障害度合と、前記公開要求時に前記ユーザによって指定された公開条件とを比較して、前記画像データの公開の可否を判別することを特徴とする請求項6記載の画像管理サーバ。 The determination means determines a failure degree indicating a possibility that a subject to which a portrait right or a copyright is set is included in the image data based on the position information, and the failure degree and the user at the time of the publication request. The image management server according to claim 6, wherein the image management server determines whether or not the image data can be disclosed by comparing with a disclosure condition designated by the method. 前記判別手段の判別結果を前記ユーザの使用端末に通知するとともに、前記登録手段は、前記判別結果を判別結果データベースに登録することを特徴とする請求項1ないし7のいずれか記載の画像管理サーバ。   The image management server according to any one of claims 1 to 7, wherein the discrimination result of the discrimination means is notified to a user terminal of the user, and the registration means registers the discrimination result in a discrimination result database. . 前記判別結果を修正するデータ修正手段を備え、前記ユーザからデータ修正指示を取得した時に、前記判別結果情報を修正することを特徴とする請求項1ないし8のいずれか記載の画像管理サーバ。   9. The image management server according to claim 1, further comprising a data correction unit configured to correct the determination result, wherein the determination result information is corrected when a data correction instruction is acquired from the user. 前記画像データベースに登録された前記画像データのうち、前記ユーザによって指定された条件に対応する前記画像データ及び前記判別結果が一覧表示され、前記画像データ毎に前記判別結果の修正操作が可能な判別結果変更画面を作成する画面作成手段を備え、前記データ修正手段は、前記ユーザの使用端末に表示された前記判別結果変更画面にて前記修正操作が行われた時に、前記データ修正指示を取得することを特徴とする請求項9記載の画像管理サーバ。 Among the image data registered in the image database, the image data corresponding to the condition specified by the user and the determination result are displayed in a list, and the determination for which the determination result can be corrected for each image data Screen creation means for creating a result change screen, wherein the data correction means obtains the data correction instruction when the correction operation is performed on the determination result change screen displayed on the user's terminal. The image management server according to claim 9 .
JP2006126195A 2006-04-28 2006-04-28 Image management server Active JP4823758B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006126195A JP4823758B2 (en) 2006-04-28 2006-04-28 Image management server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006126195A JP4823758B2 (en) 2006-04-28 2006-04-28 Image management server

Publications (2)

Publication Number Publication Date
JP2007299171A JP2007299171A (en) 2007-11-15
JP4823758B2 true JP4823758B2 (en) 2011-11-24

Family

ID=38768619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006126195A Active JP4823758B2 (en) 2006-04-28 2006-04-28 Image management server

Country Status (1)

Country Link
JP (1) JP4823758B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552701B2 (en) 2008-02-01 2020-02-04 Oath Inc. System and method for detecting the source of media content with application to business rules
JP5348682B2 (en) * 2008-11-17 2013-11-20 Necビッグローブ株式会社 Image management apparatus, control method thereof, and program
WO2011007554A1 (en) * 2009-07-16 2011-01-20 パナソニック株式会社 Access control device, access control method, program, storage medium, and integrated circuit
JP6135121B2 (en) * 2012-12-19 2017-05-31 コニカミノルタ株式会社 Data management apparatus, data management program, recording medium, and data management method
JP6312386B2 (en) * 2013-09-02 2018-04-18 キヤノン株式会社 Server apparatus, information processing method, and program
JPWO2016195060A1 (en) * 2015-06-05 2018-05-24 日本電気株式会社 Image processing system, server apparatus, server apparatus control method, and program
JP6496832B2 (en) * 2015-09-30 2019-04-10 富士フイルム株式会社 Image registration apparatus, image registration method, and image registration system
JP7013750B2 (en) * 2017-09-15 2022-02-01 大日本印刷株式会社 Examination processing equipment and imprint production system
JP2019053689A (en) * 2017-09-19 2019-04-04 大日本印刷株式会社 Examination processing device and printed matter production system
JP7108253B1 (en) 2021-09-28 2022-07-28 double jump.tokyo株式会社 Information processing program and information processing device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153386A (en) * 1997-08-06 1999-02-26 Omron Corp System and method for image retrieval and image retrieval program recording medium
JP2002091990A (en) * 2000-07-13 2002-03-29 Sony Corp On-demand picture distribution server, picture resource database, client terminal, and method for displaying retrieval result
JP4483049B2 (en) * 2000-08-18 2010-06-16 ヤマハ株式会社 Multimedia content registration system
JP4292283B2 (en) * 2002-04-03 2009-07-08 三菱電機株式会社 Image management method and image management system
JP2003317079A (en) * 2002-04-24 2003-11-07 Fuji Xerox Co Ltd Construction site photograph managing apparatus and photograph managing program
JP2004054452A (en) * 2002-07-18 2004-02-19 Fuji Photo Film Co Ltd Image censoring system
JP3908171B2 (en) * 2003-01-16 2007-04-25 富士フイルム株式会社 Image storage method, apparatus, and program
JP4357178B2 (en) * 2003-01-23 2009-11-04 三洋電機株式会社 Image server
JP2005038402A (en) * 2003-06-27 2005-02-10 Ricoh Co Ltd Illicit use investigation service providing system of image data, device, method, program and recording medium
JP4137756B2 (en) * 2003-09-30 2008-08-20 株式会社リコー Electronic picture book generation method and electronic picture book generation program
JP4206888B2 (en) * 2003-09-30 2009-01-14 カシオ計算機株式会社 Image processing apparatus and program
JP2005250796A (en) * 2004-03-03 2005-09-15 Ricoh Co Ltd Image buying/selling system
JP2006101279A (en) * 2004-09-30 2006-04-13 Hitachi Ltd Video acquiring system and video imaging apparatus or the like

Also Published As

Publication number Publication date
JP2007299171A (en) 2007-11-15

Similar Documents

Publication Publication Date Title
JP4823758B2 (en) Image management server
US10007798B2 (en) Method for managing privacy of digital images
JP5134664B2 (en) Annotation device
US11169675B1 (en) Creator profile user interface
KR101712742B1 (en) System and method for authenticating user using history of user
US8301996B2 (en) Annotating images with instructions
US20110292231A1 (en) System for managing privacy of digital images
US9189966B2 (en) System for learning trail application creation
US9479914B2 (en) Intuitive computing methods and systems
US10810657B2 (en) System and method adapted to facilitate sale of digital images while preventing theft thereof
CN115552403B (en) Inviting media overlays for private collections of media content items
WO2012137397A1 (en) Content-processing device, content-processing method, content-processing program, and integrated circuit
JP5178392B2 (en) Information processing apparatus and information processing apparatus control method
US11694411B2 (en) Passing augmented reality content between devices
CN116783575A (en) Media content detection and management
KR102131895B1 (en) Method and program for tracking replicated webtoon
JP2022051923A (en) Method and system for offering rewards based on point-of-interest list subscription and review information
WO2017219066A1 (en) System and methods for delivery of audio and video content
JP5664346B2 (en) Image processing apparatus, information providing system, and program
TWI744962B (en) Information processing device, information processing system, information processing method, and program product
JP5538066B2 (en) Management server, virtual space management system, virtual space management method and program
JP2004054452A (en) Image censoring system
JP2015154218A (en) Server system, and program
CN116669823A (en) Multi-user AR experience with offline synchronization
JP7013750B2 (en) Examination processing equipment and imprint production system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110907

R150 Certificate of patent or registration of utility model

Ref document number: 4823758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250