JP5947196B2 - Imaging service system and imaging control method - Google Patents

Imaging service system and imaging control method Download PDF

Info

Publication number
JP5947196B2
JP5947196B2 JP2012250552A JP2012250552A JP5947196B2 JP 5947196 B2 JP5947196 B2 JP 5947196B2 JP 2012250552 A JP2012250552 A JP 2012250552A JP 2012250552 A JP2012250552 A JP 2012250552A JP 5947196 B2 JP5947196 B2 JP 5947196B2
Authority
JP
Japan
Prior art keywords
user
image data
imaging
photographing
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012250552A
Other languages
Japanese (ja)
Other versions
JP2014099763A (en
Inventor
千智 富田
千智 富田
将司 外山
将司 外山
駿介 車谷
駿介 車谷
一深 千葉
一深 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012250552A priority Critical patent/JP5947196B2/en
Publication of JP2014099763A publication Critical patent/JP2014099763A/en
Application granted granted Critical
Publication of JP5947196B2 publication Critical patent/JP5947196B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影サービスシステム及び撮影制御方法に関する。   The present invention relates to a photographing service system and a photographing control method.

近年、街頭や施設内等の公共の場にカメラが設置され、利用されている。このようなカメラは、カメラ周辺の撮影領域内の対象物を撮影し、撮影した撮影画像データを記憶装置に蓄積させる。対象物とは、例えば、人物や物体、景色等である。そして、例えば、事故が発生した場合に、蓄積された撮影画像データが警察などの捜査機関に提供される。そして、手がかりとなる人物や物体の画像データと撮影画像データとが照合されることで、その人物や物体がいつ、どのような様子であったのか等の情報が解析される。   In recent years, cameras have been installed and used in public places such as streets and facilities. Such a camera takes an image of an object in a shooting area around the camera, and stores the taken image data in a storage device. The object is, for example, a person, an object, a landscape, or the like. For example, when an accident occurs, the stored image data is provided to an investigation organization such as the police. Then, by comparing the image data of the person or object serving as a clue with the captured image data, information such as when and how the person or object was is analyzed.

石橋雄一郎、山口修、助川寛，「顔認証技術によるハンズフリーの次世代物理セキュリティシステム」，東芝レビュー，Ｖｏｌ．６０，Ｎｏ．７（２００５）Yuichiro Ishibashi, Osamu Yamaguchi, Hiroshi Sukekawa, "Hands-free next-generation physical security system using face recognition technology", Toshiba Review, Vol. 60, no. 7 (2005)

開示の技術が解決しようとする課題は、公共の場等に設置されたカメラの撮影画像を有効に活用することである。   A problem to be solved by the disclosed technique is to effectively use a captured image of a camera installed in a public place or the like.

開示の技術は、上記に鑑みてなされたものであって、公共の場等に設置されたカメラの撮影画像を有効に活用することができる撮影サービスシステム及び撮影制御方法を提供することを目的とする。   The disclosed technology has been made in view of the above, and an object thereof is to provide a photographing service system and a photographing control method capable of effectively utilizing a photographed image of a camera installed in a public place or the like. To do.

本願の開示する技術は、一つの態様において、撮影部と、検知部と、判定部とを備える。撮影部は、撮影領域内の対象物を撮影する。検知部は、撮影サービスの利用者によって利用される端末を検知する。判定部は、前記検知部によって検知された端末から前記利用者が撮影された利用者画像データを取得し、取得した利用者画像データと類似する画像が前記撮影領域内を撮影した撮影画像に含まれるか否かを判定する。   The technique which this application discloses is provided with an imaging part, a detection part, and a judgment part in one mode. The imaging unit captures an object in the imaging area. The detection unit detects a terminal used by a user of the imaging service. The determination unit acquires user image data taken by the user from the terminal detected by the detection unit, and an image similar to the acquired user image data is included in the taken image taken in the shooting region It is determined whether or not.

本願の開示する技術の一つの態様によれば、公共の場等に設置されたカメラの撮影画像を有効に活用することができるという効果を奏する。   According to one aspect of the technology disclosed in the present application, it is possible to effectively use a captured image of a camera installed in a public place or the like.

図１は、第１の実施形態に係る撮影サービスシステムの機能構成を示すブロック図である。FIG. 1 is a block diagram illustrating a functional configuration of the imaging service system according to the first embodiment. 図２は、第１の実施形態に係る撮影サービスシステムによる撮影処理の流れを示すシーケンス図である。FIG. 2 is a sequence diagram showing a flow of shooting processing by the shooting service system according to the first embodiment. 図３は、第１の実施形態に係る撮影サービスシステムによる表示処理の流れを示すシーケンス図である。FIG. 3 is a sequence diagram showing a flow of display processing by the photographing service system according to the first embodiment. 図４は、第２の実施形態に係る撮影サービスシステムによる撮影処理の流れを示すシーケンス図である。FIG. 4 is a sequence diagram illustrating a flow of shooting processing by the shooting service system according to the second embodiment. 図５は、第２の実施形態に係る撮影サービスシステムの効果について説明するための図である。FIG. 5 is a diagram for explaining the effects of the imaging service system according to the second embodiment. 図６は、第３の実施形態に係る撮影サービスシステムによる撮影処理の流れを示すシーケンス図である。FIG. 6 is a sequence diagram showing a flow of shooting processing by the shooting service system according to the third embodiment.

以下に、本願の開示する撮影サービスシステム及び撮影制御方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。   Hereinafter, embodiments of a photographing service system and a photographing control method disclosed in the present application will be described in detail with reference to the drawings. In addition, this invention is not limited by this embodiment. Each embodiment can be appropriately combined as long as the processing contents do not contradict each other.

（第１の実施形態）
第１の実施形態に係る撮影サービスシステムについて説明する。第１の実施形態に係る撮影サービスシステムは、街頭や施設内等の公共の場に設置された公共カメラを用いて、利用者自身の写真を撮影する撮影サービスを提供する。なお、第１の実施形態では、撮影サービスシステムが既存の防犯カメラを用いて撮影サービスを提供する場合を説明する。 (First embodiment)
The imaging service system according to the first embodiment will be described. The photographing service system according to the first embodiment provides a photographing service for photographing a user's own photograph using a public camera installed in a public place such as a street or a facility. In the first embodiment, a case where the shooting service system provides a shooting service using an existing security camera will be described.

第１の実施形態に係る撮影サービスシステムの機能構成の一例について説明する。図１は、第１の実施形態に係る撮影サービスシステムの機能構成を示すブロック図である。図１に示すように、この撮影サービスシステム１は、サービスサーバ２０と、カメラ装置１００とを有する。また、携帯端末１０、サービスサーバ２０及びカメラ装置１００は、ネットワーク５を介して接続される。なお、ネットワーク５としては、有線又は無線を問わず、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用しても良い。また、携帯端末１０及びカメラ装置１００は、それぞれ任意数の携帯端末１０又はカメラ装置１００がネットワーク５に接続されていても良い。   An example of a functional configuration of the imaging service system according to the first embodiment will be described. FIG. 1 is a block diagram illustrating a functional configuration of the imaging service system according to the first embodiment. As illustrated in FIG. 1, the imaging service system 1 includes a service server 20 and a camera device 100. Further, the mobile terminal 10, the service server 20, and the camera device 100 are connected via the network 5. The network 5 may be any type of communication network such as the Internet (Internet), LAN (Local Area Network), or VPN (Virtual Private Network), regardless of whether it is wired or wireless. In addition, the mobile terminal 10 and the camera device 100 may each have an arbitrary number of mobile terminals 10 or camera devices 100 connected to the network 5.

第１の実施形態に係る撮影サービスシステム１において、例えば、カメラ装置１００は、利用者を撮影した撮影画像データをサービスサーバ２０へ送信し、サービスサーバ２０へ格納する。利用者は、携帯端末１０を用いてサービスサーバ２０へアクセスし、利用者自身が撮影された撮影画像データを取得する。なお、本実施形態に係る撮影サービスシステム１は、静止画を撮影する場合にも、動画を撮影する場合にも適用可能である。   In the photographing service system 1 according to the first embodiment, for example, the camera device 100 transmits photographed image data obtained by photographing a user to the service server 20 and stores it in the service server 20. The user accesses the service server 20 using the mobile terminal 10 and acquires captured image data obtained by capturing the user himself / herself. Note that the shooting service system 1 according to the present embodiment can be applied to shooting still images and moving images.

携帯端末１０は、利用者によって利用される情報通信装置であり、例えば、携帯電話、スマートフォン、ＰＨＳ（Personal Handy-phone System）端末、移動体通信端末またはＰＤＡ（Personal Digital Assistant）などの情報通信装置に対応する。携帯端末１０には、携帯端末１０を利用する利用者によって、公共に設置されたカメラ装置１００を利用して利用者自身を撮影する撮影サービスを利用するためのアプリケーション（撮影アプリ）が予めインストールされている。なお、撮影アプリは、利用者が撮影サービスを用いて撮影を行う間、起動した状態であるか、バックグラウンドで起動した状態である。   The mobile terminal 10 is an information communication device used by a user. For example, an information communication device such as a mobile phone, a smartphone, a PHS (Personal Handy-phone System) terminal, a mobile communication terminal, or a PDA (Personal Digital Assistant). Corresponding to An application (photographing application) for using a photographing service for photographing the user himself / herself using the camera device 100 installed in the public by the user using the portable terminal 10 is installed in the portable terminal 10 in advance. ing. Note that the shooting application is activated while the user performs shooting using the shooting service, or is activated in the background.

また、携帯端末１０は、その利用者が撮影された利用者画像データ及び利用者ＩＤ（Identification）を記憶する。一例としては、携帯端末１０は、撮影アプリに割り当てられた所定の記憶領域に、利用者が撮影された利用者画像データと、利用者ＩＤとを記憶する。このうち、利用者画像データは、例えば、利用者の顔が撮影された画像データであり、撮影アプリを用いて利用者自身を撮影することにより生成される。また、利用者ＩＤは、利用者を識別するための識別情報であり、例えば、携帯端末１０とサービスサーバ２０との初回通信時に、利用者によって任意の文字列が指定されることにより、携帯端末１０及びサービスサーバ２０に登録される。なお、利用者画像データは、利用者の顔が識別可能な状態であれば、利用者の衣服や持ち物を含んでいても良い。   Further, the mobile terminal 10 stores user image data and a user ID (Identification) taken by the user. As an example, the mobile terminal 10 stores user image data in which a user is photographed and a user ID in a predetermined storage area assigned to the photographing application. Among these, the user image data is, for example, image data obtained by photographing a user's face, and is generated by photographing the user himself using a photographing application. The user ID is identification information for identifying the user. For example, when the mobile terminal 10 and the service server 20 communicate with each other for the first time, an arbitrary character string is designated by the user. 10 and the service server 20. The user image data may include the user's clothes and belongings as long as the user's face can be identified.

サービスサーバ２０は、撮影サービスを提供するためのサーバ装置である。例えば、サービスサーバ２０は、利用者を識別するための利用者ＩＤを記憶する。この利用者ＩＤは、携帯端末１０とサービスサーバ２０との初回通信時に登録される。一例としては、サービスサーバ２０は、携帯端末１０との初回通信時に、利用者によって指定された文字列を利用者ＩＤとして登録する。そして、サービスサーバ２０は、特録済みの利用者ＩＤのリストをカメラ装置１００に配信しておく。   The service server 20 is a server device for providing a shooting service. For example, the service server 20 stores a user ID for identifying the user. This user ID is registered at the first communication between the mobile terminal 10 and the service server 20. As an example, the service server 20 registers a character string designated by the user as a user ID at the first communication with the mobile terminal 10. Then, the service server 20 distributes the specially registered user ID list to the camera device 100.

また、サービスサーバ２０は、例えば、カメラ装置１００から送信される撮影画像データを記憶するための記憶装置を備える。具体的には、サービスサーバ２０は、撮影された利用者の利用者ＩＤと、撮影日時と、撮影画像データとを対応付けて、記憶装置に記憶する。また、サービスサーバ２０は、上記の情報に加えて撮影場所を記憶装置に記憶しても良い。撮影場所は、例えば、撮影を行ったカメラ装置１００の座標情報であっても良いし、そのカメラ装置１００を識別するための識別情報であっても良い。   In addition, the service server 20 includes a storage device for storing captured image data transmitted from the camera device 100, for example. Specifically, the service server 20 stores the user ID of the photographed user, the photographing date and time, and the photographed image data in association with each other in the storage device. The service server 20 may store the shooting location in a storage device in addition to the above information. The shooting location may be, for example, coordinate information of the camera device 100 that has performed shooting, or may be identification information for identifying the camera device 100.

また、サービスサーバ２０は、例えば、撮影画像データの送信を要求する送信要求を携帯端末１０から受信する。この送信要求は、利用者ＩＤ及び撮影日時を指定するものである。サービスサーバ２０は、送信要求によって指定された利用者ＩＤ及び撮影日時に対応する撮影画像データを記憶装置から取得し、取得した撮影画像データを携帯端末１０へ送信する。   In addition, the service server 20 receives, for example, a transmission request for requesting transmission of captured image data from the mobile terminal 10. This transmission request specifies the user ID and the shooting date and time. The service server 20 acquires captured image data corresponding to the user ID and the shooting date and time specified by the transmission request from the storage device, and transmits the acquired captured image data to the mobile terminal 10.

カメラ装置１００は、例えば、防犯カメラであり、図１に示すように、撮影部１０１と、画像記憶部１０２と、検知部１０３と、ＩＤ記憶部１０４と、判定部１０５と、通信制御部１０６とを有する。   The camera device 100 is, for example, a security camera, and as illustrated in FIG. 1, the photographing unit 101, the image storage unit 102, the detection unit 103, the ID storage unit 104, the determination unit 105, and the communication control unit 106. And have.

撮影部１０１は、撮影領域内の対象物を撮影する。例えば、撮影部１０１は、カメラ装置１００に電源が供給される間、撮影領域内の動画を常時撮影する。この動画は、静止画である撮影画像データが１フレームごとに撮影されたものである。つまり、撮影部１０１は、１フレームごとの撮影画像データを逐次生成する。撮影部１０１は、逐次生成した撮影画像データと、当該撮影画像データが撮影された撮影日時とを対応付けて、後述の画像記憶部１０２に格納する。   The imaging unit 101 captures an object in the imaging area. For example, the photographing unit 101 always photographs a moving image in the photographing region while power is supplied to the camera device 100. This moving image is obtained by capturing captured image data that is a still image for each frame. That is, the imaging unit 101 sequentially generates captured image data for each frame. The imaging unit 101 associates the sequentially generated captured image data with the imaging date and time when the captured image data was captured, and stores them in the image storage unit 102 described later.

画像記憶部１０２は、撮影画像データを記憶する。例えば、画像記憶部１０２は、撮影部１０１によって逐次生成された撮影画像データを、撮影時刻とともに記憶する。画像記憶部１０２に記憶された撮影画像データは、記憶されてから一定期間が経過するごとに削除される。   The image storage unit 102 stores captured image data. For example, the image storage unit 102 stores the captured image data sequentially generated by the imaging unit 101 together with the imaging time. The captured image data stored in the image storage unit 102 is deleted every time a certain period has elapsed since the storage.

検知部１０３は、撮影サービスの利用者が利用する携帯端末１０を検知する。例えば、検知部１０３は、近距離無線通信を行って、所定範囲内に存在する携帯端末１０を検知する。この近距離無線通信としては、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＲＦＩＤ（Radio Frequency Identification）等が適用される。   The detection unit 103 detects the mobile terminal 10 used by the user of the imaging service. For example, the detection unit 103 detects the mobile terminal 10 existing within a predetermined range by performing short-range wireless communication. As this near field communication, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), RFID (Radio Frequency Identification) or the like is applied.

ここで、検知部１０３がＷｉ−Ｆｉ（登録商標）を用いて携帯端末１０を検知する場合を説明する。検知部１０３は、携帯端末１０を検知するためのビーコン信号を、カメラ装置１００から所定範囲以内に定期的に送信する。ビーコン信号には、例えば、近距離無線通信においてカメラ装置１００を識別するＳＳＩＤ（Service Set Identifier）が含まれ、カメラ装置１００及び携帯端末１０のそれぞれにＳＳＩＤが設定されることにより、Ｗｉ−Ｆｉ（登録商標）による近距離無線通信が確立される。つまり、携帯端末１０は、検知部１０３からのビーコン信号を受信すると、ビーコン信号に含まれるＳＳＩＤを設定する。そして、携帯端末１０がＳＳＩＤを設定すると、携帯端末１０は、近距離無線通信によって利用者ＩＤを検知部１０３へ送信する。検知部１０３は、携帯端末１０の撮影アプリから利用者ＩＤを受信すると、受信した利用者ＩＤが後述のＩＤ記憶部１０４に登録されているか確認することにより、撮影サービスに登録済みの利用者の携帯端末１０を検知する。   Here, a case where the detection unit 103 detects the mobile terminal 10 using Wi-Fi (registered trademark) will be described. The detection unit 103 periodically transmits a beacon signal for detecting the mobile terminal 10 within a predetermined range from the camera device 100. The beacon signal includes, for example, an SSID (Service Set Identifier) that identifies the camera device 100 in short-range wireless communication. By setting the SSID in each of the camera device 100 and the mobile terminal 10, Wi-Fi ( (Registered Trademark) is established. That is, when the mobile terminal 10 receives the beacon signal from the detection unit 103, the mobile terminal 10 sets the SSID included in the beacon signal. And if the portable terminal 10 sets SSID, the portable terminal 10 will transmit user ID to the detection part 103 by near field communication. When the detection unit 103 receives the user ID from the photographing application of the mobile terminal 10, the detection unit 103 checks whether the received user ID is registered in an ID storage unit 104 to be described later. The mobile terminal 10 is detected.

また、検知部１０３は、利用者の携帯端末１０を検知すると、携帯端末１０に利用者画像データを送信させる。一例としては、検知部１０３は、利用者画像データの送信要求を、携帯端末１０へ送信する。この送信要求を受信すると、携帯端末１０は、利用者画像データをカメラ装置１００へ送信する。   Moreover, the detection part 103 will transmit user image data to the portable terminal 10, if a user's portable terminal 10 is detected. As an example, the detection unit 103 transmits a transmission request for user image data to the mobile terminal 10. Upon receiving this transmission request, the mobile terminal 10 transmits user image data to the camera device 100.

ＩＤ記憶部１０４は、利用者ＩＤを記憶する。例えば、ＩＤ記憶部１０４は、サービスサーバ２０において登録された利用者ＩＤが、サービスサーバ２０から配信され、登録される。   The ID storage unit 104 stores a user ID. For example, in the ID storage unit 104, the user ID registered in the service server 20 is distributed from the service server 20 and registered.

判定部１０５は、検知部１０３によって検知された端末から利用者が撮影された利用者画像データを取得し、取得した利用者画像データと類似する画像が撮影領域内を撮影した撮影画像に含まれるか否かを判定する。   The determination unit 105 acquires user image data in which the user is captured from the terminal detected by the detection unit 103, and an image similar to the acquired user image data is included in the captured image captured in the imaging region. It is determined whether or not.

例えば、判定部１０５は、携帯端末１０から送信された利用者画像データを受信する。そして、判定部１０５は、利用者画像データが送信された送信日時と概ね同一の日時に撮影された撮影画像データを、画像記憶部１０２から取得する。そして、判定部１０５は、受け付けた利用者画像データと、取得した撮影画像データとを比較し、同一人物が写っているか否かを判定する。   For example, the determination unit 105 receives user image data transmitted from the mobile terminal 10. Then, the determination unit 105 acquires, from the image storage unit 102, captured image data that is captured at substantially the same date and time as the transmission date and time when the user image data is transmitted. Then, the determination unit 105 compares the received user image data with the acquired captured image data, and determines whether or not the same person is captured.

一態様としては、判定部１０５は、比較対象となる利用者画像データ及び撮影画像データそれぞれから、顔が撮影された顔画像を検出する。具体的には、判定部１０５は、エッジ抽出やパターンマッチング、フレーム間差分やニューラルネットワークなどの既存技術を用いて、利用者画像データ及び撮影画像データそれぞれから顔画像を検出する。このとき、利用者画像データから複数の顔画像が検出された場合には、判定部１０５は、複数の顔画像のうち代表的な顔画像、例えば、最も大きく撮影されている顔画像を選択し、以下の処理に利用する。これに対して、撮影画像データから複数の顔画像が検出された場合には、判定部１０５は、検出した全ての顔画像を以下の処理に利用する。   As one aspect, the determination unit 105 detects a face image in which a face is captured from each of user image data and captured image data to be compared. Specifically, the determination unit 105 detects a face image from each of the user image data and the captured image data using existing techniques such as edge extraction, pattern matching, inter-frame difference, and neural network. At this time, when a plurality of face images are detected from the user image data, the determination unit 105 selects a representative face image, for example, the most photographed face image from the plurality of face images. Used for the following processing. On the other hand, when a plurality of face images are detected from the captured image data, the determination unit 105 uses all the detected face images for the following processing.

続いて、判定部１０５は、利用者画像データから検出された顔画像と、撮影画像データから検出された一つ以上の顔画像それぞれとの顔認証を行う。一例としては、判定部１０５は、エッジ抽出やパターンマッチングを用いて、それぞれの顔画像から顔の部品の画像を抽出する。顔の部品としては、例えば、顔の輪郭、目、鼻及び口等が利用される。そして、判定部１０５は、抽出した顔の部品の位置や形に基づいて、顔の部品の特徴量をそれぞれ算出する。そして、判定部１０５は、算出した顔の部品の特徴量をそれぞれ比較することで、利用者画像データから検出された顔画像と類似する顔画像が、撮影画像データに撮影されているか否かを判定する。   Subsequently, the determination unit 105 performs face authentication between the face image detected from the user image data and each of one or more face images detected from the captured image data. As an example, the determination unit 105 extracts an image of a facial part from each face image using edge extraction or pattern matching. As the facial parts, for example, facial contours, eyes, nose and mouth are used. Then, the determination unit 105 calculates the feature amount of the facial part based on the extracted position and shape of the facial part. Then, the determination unit 105 compares the calculated feature amounts of the facial parts to determine whether a face image similar to the face image detected from the user image data is captured in the captured image data. judge.

このように、判定部１０５は、利用者画像データ及び撮影画像データに同一人物が写っているか否かを判定する。なお、判定部１０５は、同一人物が写っているか判定するために、利用者の顔だけでなく、利用者の衣服や持ち物をさらに利用しても良い。この場合、例えば、携帯端末１０に記憶される利用者画像データは、利用者が撮影サービスを用いた撮影を開始した際に、その日に身につけている衣服や持ち物を含むように、更新することが望ましい。   As described above, the determination unit 105 determines whether or not the same person appears in the user image data and the captured image data. Note that the determination unit 105 may further use not only the user's face but also the user's clothes and belongings to determine whether the same person is captured. In this case, for example, the user image data stored in the mobile terminal 10 is updated to include clothes and belongings worn on the day when the user starts shooting using the shooting service. Is desirable.

また、判定部１０５は、例えば、利用者画像データ及び撮影画像データに同一人物が写っていると判定すると、その撮影画像データと、利用者ＩＤと、撮影日時とを対応付けてサービスサーバ２０へ送信し、サービスサーバ２０の記憶装置に格納する。なお、判定部１０５は、撮影画像データ、利用者ＩＤ及び撮影日時に加えて、更に撮影場所を対応付けて記憶装置に格納しても良い。また、判定部１０５は、撮影画像データだけでなく、同一人物が写っていると判定した時刻から所定時間内、例えば、判定後１０分間に撮影された撮影画像データを記憶装置に格納しても良い。   For example, if the determination unit 105 determines that the same person appears in the user image data and the captured image data, the determination unit 105 associates the captured image data, the user ID, and the captured date and time with the service server 20. The data is transmitted and stored in the storage device of the service server 20. Note that the determination unit 105 may store the shooting location in association with the shooting location in addition to the shooting image data, the user ID, and the shooting date and time. The determination unit 105 may store not only the captured image data but also the captured image data captured within a predetermined time, for example, 10 minutes after the determination, from the time when it is determined that the same person is captured. good.

通信制御部１０６は、ネットワーク５を介した通信を制御する。一例としては、通信制御部１０６は、判定部１０５から送信される撮影画像データ、利用者ＩＤ及び撮影日時をサービスサーバ２０へ送信する。通信制御部１０６は、例えば、ネットワークインタフェースカード（ＮＩＣ：Network Interface Card）である。   The communication control unit 106 controls communication via the network 5. As an example, the communication control unit 106 transmits the captured image data, the user ID, and the shooting date / time transmitted from the determination unit 105 to the service server 20. The communication control unit 106 is, for example, a network interface card (NIC).

なお、図１に例示した撮影部１０１、検知部１０３及び判定部１０５の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。   The functions of the imaging unit 101, the detection unit 103, and the determination unit 105 illustrated in FIG. 1 are, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), or a CPU (Central Processing Unit). ) Can be realized by executing a predetermined program.

また、図１に例示した画像記憶部１０２及びＩＤ記憶部１０４は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、ハードディスク装置や光ディスク装置などの記憶装置に対応する。   Further, the image storage unit 102 and the ID storage unit 104 illustrated in FIG. 1 correspond to, for example, a semiconductor memory element such as a RAM (Random Access Memory) and a flash memory, and a storage device such as a hard disk device and an optical disk device. To do.

次に、図２及び図３を用いて、第１の実施形態に係る撮影サービスシステム１による処理を説明する。図２は、第１の実施形態に係る撮影サービスシステム１による撮影処理の流れを示すシーケンス図である。図２において、携帯端末１０では、撮影アプリが起動した状態である。また、画像記憶部１０２には、撮影部１０１によって逐次生成された撮影画像データが逐次格納される。   Next, processing by the imaging service system 1 according to the first embodiment will be described with reference to FIGS. 2 and 3. FIG. 2 is a sequence diagram showing a flow of shooting processing by the shooting service system 1 according to the first embodiment. In FIG. 2, in the mobile terminal 10, the photographing application is activated. The image storage unit 102 sequentially stores captured image data sequentially generated by the imaging unit 101.

携帯端末１０は、例えば、検知部１０３から定期的に送信されるビーコン信号を受信することで、カメラ装置１００を検知する（ステップＳ１０１）。そして、携帯端末１０は、ビーコン信号に含まれるＳＳＩＤを設定すると、近距離無線通信によって利用者ＩＤを検知部１０３へ送信する（ステップＳ１０２）。   For example, the mobile terminal 10 detects the camera device 100 by receiving a beacon signal periodically transmitted from the detection unit 103 (step S101). And the portable terminal 10 will transmit user ID to the detection part 103 by near field communication, if SSID contained in a beacon signal is set (step S102).

検知部１０３は、携帯端末１０の撮影アプリから利用者ＩＤを受信すると、受信した利用者ＩＤがＩＤ記憶部１０４に登録されているか確認することにより、撮影サービスに登録済みの利用者の携帯端末１０を検知する（ステップＳ１０３）。そして、検知部１０３は、利用者画像データの送信要求を携帯端末１０へ送信する（ステップＳ１０４）。携帯端末１０は、利用者画像データの送信要求を受信すると、利用者画像データをカメラ装置１００へ送信する（ステップＳ１０５）。   When the detection unit 103 receives the user ID from the imaging application of the mobile terminal 10, the detection unit 103 confirms whether the received user ID is registered in the ID storage unit 104, so that the mobile terminal of the user registered in the imaging service 10 is detected (step S103). Then, the detection unit 103 transmits a transmission request for user image data to the mobile terminal 10 (step S104). Upon receiving the user image data transmission request, the portable terminal 10 transmits the user image data to the camera device 100 (step S105).

判定部１０５は、携帯端末１０から送信された利用者画像データを受信すると、利用者画像データが送信された送信日時と同一の日時に撮影された撮影画像データを、画像記憶部１０２から取得する（ステップＳ１０６）。そして、携帯端末１０は、受信した利用者画像データと、取得した撮影画像データとを比較し、同一人物が写っているか否かを判定する（ステップＳ１０７）。   When the determination unit 105 receives the user image data transmitted from the mobile terminal 10, the determination unit 105 acquires, from the image storage unit 102, captured image data captured at the same date and time as the transmission date and time when the user image data was transmitted. (Step S106). Then, the mobile terminal 10 compares the received user image data with the acquired captured image data, and determines whether or not the same person is captured (step S107).

そして、判定部１０５は、同一人物が写っていると判定すると、比較対象の撮影画像データと、利用者ＩＤと、撮影日時とを対応付けてサービスサーバ２０へ送信する（ステップＳ１０８）。サービスサーバ２０は、撮影画像データ、利用者ＩＤ及び撮影日時を判定部１０５から受信し、記憶装置に格納する（ステップＳ１０９）。   Then, when determining that the same person is captured, the determination unit 105 associates the captured image data to be compared, the user ID, and the imaging date and time with each other and transmits the associated data to the service server 20 (step S108). The service server 20 receives the photographed image data, the user ID, and the photographing date / time from the determination unit 105 and stores them in the storage device (step S109).

図３は、第１の実施形態に係る撮影サービスシステム１による表示処理の流れを示すシーケンス図である。図３に示すように、携帯端末１０は、撮影アプリを起動し、利用者ＩＤを用いてサービスサーバ２０へアクセスすることで、撮影サービスにログインする（ステップＳ２０１）。そして、携帯端末１０は、撮影画像データの閲覧要求をサービスサーバ２０へ送信する（ステップＳ２０２）。この閲覧要求は、例えば、利用者ＩＤ及び撮影日時を指定する情報である。   FIG. 3 is a sequence diagram showing a flow of display processing by the photographing service system 1 according to the first embodiment. As shown in FIG. 3, the mobile terminal 10 logs in to the imaging service by starting the imaging application and accessing the service server 20 using the user ID (step S201). Then, the portable terminal 10 transmits a browse request for the captured image data to the service server 20 (step S202). This browsing request is information specifying a user ID and a shooting date and time, for example.

サービスサーバ２０は、撮影画像データの閲覧要求を携帯端末１０から受信すると、閲覧要求に指定された利用者ＩＤ及び撮影日時を用いて、記憶装置から写真を抽出する（ステップＳ２０３）。そして、サービスサーバ２０は、抽出した撮影画像データを携帯端末１０へ送信する（ステップＳ２０４）。そして、携帯端末１０は、サービスサーバ２０から受信した撮影画像データを表示する（ステップＳ２０５）。   When the service server 20 receives a browse request for captured image data from the mobile terminal 10, the service server 20 extracts a photograph from the storage device using the user ID and the capture date / time specified in the browse request (step S203). Then, the service server 20 transmits the extracted captured image data to the mobile terminal 10 (step S204). Then, the mobile terminal 10 displays the captured image data received from the service server 20 (step S205).

上述してきたように、第１の実施形態に係る撮影サービスシステム１は、撮影領域内の対象物を撮影する。そして、撮影サービスシステム１は、撮影サービスの利用者によって利用される端末を検知する。そして、撮影サービスシステム１は、検知した端末から利用者が撮影された利用者画像データを取得し、取得した利用者画像データと類似する画像が撮影領域内を撮影した撮影画像に含まれるか否かを判定する。このため、撮影サービスシステム１は、利用者本人が撮影領域内にいることを判定することができる。これは、利用者本人の利用者画像データを予め登録した携帯端末１０を利用者本人が持ち歩くことにより、利用者がその場にいることを証明できるからである。すなわち、ある撮影領域内の対象物を撮影した撮影画像データに、利用者画像データが記憶された携帯端末１０を保持する利用者が映っていれば、利用者がその撮影領域内にいることが証明されることとなる。   As described above, the imaging service system 1 according to the first embodiment images an object in the imaging area. The photographing service system 1 detects a terminal used by a user of the photographing service. Then, the imaging service system 1 acquires user image data acquired by the user from the detected terminal, and whether or not an image similar to the acquired user image data is included in the captured image acquired in the imaging area. Determine whether. For this reason, the imaging service system 1 can determine that the user is in the imaging area. This is because when the user himself / herself carries the portable terminal 10 in which the user image data of the user himself / herself is registered, it can be proved that the user is on the spot. That is, if a user holding the mobile terminal 10 storing the user image data is shown in the captured image data obtained by capturing an object in a certain capturing area, the user may be in the capturing area. It will be proved.

また、例えば、撮影サービスシステム１は、利用者画像データをサービスサーバ２０に記憶させることなく、利用者本人が撮影領域内にいることを判定することができる。このため、撮影サービスシステム１は、自分自身の顔写真をサービスサーバ２０に登録したくないという要望に配慮しつつ、利用者本人が撮影領域内にいることを判定することができる。   Further, for example, the imaging service system 1 can determine that the user himself / herself is in the imaging area without storing the user image data in the service server 20. For this reason, the photographing service system 1 can determine that the user himself / herself is in the photographing region while considering the desire not to register his / her own face photograph in the service server 20.

また、例えば、撮影サービスシステム１は、利用者本人が撮影領域内にいることを判定すると、比較対象の撮影画像データをサービスサーバ２０へ送信し、格納する。このため、撮影サービスシステム１は、公共カメラによって撮影された撮影画像データを利用者に提供することができる。   Further, for example, when the photographing service system 1 determines that the user himself / herself is in the photographing region, the photographing image data to be compared is transmitted to the service server 20 and stored. For this reason, the imaging service system 1 can provide the user with captured image data captured by a public camera.

（第２の実施形態）
第２の実施形態に係る撮影サービスシステムについて説明する。第１の実施形態では、既存の防犯カメラを用いて撮影サービスを提供する場合を説明したが、撮影サービスシステム１には、撮影サービスを提供するために特化した撮影サービス用カメラが適用されても良い。そこで、第２の実施形態では、撮影サービスシステム１が撮影サービス用カメラを用いて撮影サービスを提供する場合を説明する。 (Second Embodiment)
A photographing service system according to the second embodiment will be described. In the first embodiment, the case where a shooting service is provided using an existing security camera has been described. However, a shooting service camera specialized for providing a shooting service is applied to the shooting service system 1. Also good. Therefore, in the second embodiment, a case where the photographing service system 1 provides a photographing service using a photographing service camera will be described.

第２の実施形態に係る撮影サービスシステム１は、図１に示した撮影サービスシステム１と基本的には同様の機能構成を有するので、機能構成の説明は省略する。なお、第２の実施形態に係る撮影サービスシステム１は、画像記憶部１０２を有しなくても良い。   Since the imaging service system 1 according to the second embodiment has basically the same functional configuration as the imaging service system 1 shown in FIG. 1, description of the functional configuration is omitted. Note that the imaging service system 1 according to the second embodiment may not include the image storage unit 102.

次に、図４を用いて、第２の実施形態に係る撮影サービスシステム１による撮影処理を説明する。図４は、第２の実施形態に係る撮影サービスシステム１による撮影処理の流れを示すシーケンス図である。図４において、携帯端末１０では、撮影アプリが起動した状態である。また、撮影部１０１は、撮影画像データを逐次生成するごとに、判定部１０５へ出力している。   Next, imaging processing by the imaging service system 1 according to the second embodiment will be described with reference to FIG. FIG. 4 is a sequence diagram showing a flow of shooting processing by the shooting service system 1 according to the second embodiment. In FIG. 4, in the mobile terminal 10, the photographing application is activated. In addition, the imaging unit 101 outputs the captured image data to the determination unit 105 every time it sequentially generates captured image data.

判定部１０５は、撮影部１０１によって逐次生成された撮影画像データを取得する（ステップＳ３０１）。なお、判定部１０５は、取得した撮影画像データを一定期間が経過するごとに削除する。   The determination unit 105 acquires captured image data sequentially generated by the imaging unit 101 (step S301). Note that the determination unit 105 deletes the acquired captured image data every time a certain period elapses.

ここで、図４に示すステップＳ３０２からステップＳ３０６までの各処理は、図２に示したステップＳ１０１からステップＳ１０５までの各処理とそれぞれ同じであるので、説明を省略する。   Here, each process from step S302 to step S306 shown in FIG. 4 is the same as each process from step S101 to step S105 shown in FIG.

ステップＳ３０６の処理により判定部１０５が携帯端末１０から利用者画像データを受信すると、判定部１０５は、受信した利用者画像データと、利用者画像データの送信日時と同一の日時に撮影された撮影画像データとを比較し、同一人物が写っているか否かを判定する（ステップＳ３０７）。   When the determination unit 105 receives user image data from the mobile terminal 10 through the process of step S306, the determination unit 105 captures the received user image data and a photograph taken at the same date and time as the transmission date and time of the user image data. The image data is compared to determine whether the same person is shown (step S307).

そして、判定部１０５は、同一人物が写っていると判定すると、撮影を行う旨の撮影要求を撮影部１０１へ出力する（ステップＳ３０８）。この撮影要求は、例えば、同一人物が写っていると判定された顔画像について、この顔画像の撮影領域における位置を示す位置情報を含む。そして、撮影部１０１は、撮影要求が判定部１０５から入力されると、撮影領域内の対象物を撮影する（ステップＳ３０９）。例えば、撮影部１０１は、撮影領域における位置情報にピントを合わせて撮影領域内の対象物を撮影する。そして、撮影部１０１、撮影した撮影画像データと、利用者ＩＤと、撮影日時とを対応付けて判定部１０５へ出力する。   If the determination unit 105 determines that the same person is captured, the determination unit 105 outputs a shooting request for performing shooting to the shooting unit 101 (step S308). This photographing request includes, for example, position information indicating the position of the face image in the photographing region for the face image determined to include the same person. When the imaging request is input from the determination unit 105, the imaging unit 101 captures an object in the imaging area (Step S309). For example, the imaging unit 101 captures an object in the imaging area by focusing on position information in the imaging area. Then, the photographing unit 101, the photographed photographed image data, the user ID, and the photographing date and time are associated with each other and output to the determination unit 105.

判定部１０５は、撮影部１０１によって撮影された撮影画像データを取得する（ステップＳ３１０）。判定部１０５は、取得した撮影画像データと、利用者ＩＤと、撮影日時とを対応付けてサービスサーバ２０へ送信する（ステップＳ３１１）。サービスサーバ２０は、撮影画像データ、利用者ＩＤ及び撮影日時を判定部１０５から受信し、記憶装置に格納する（ステップＳ３１２）。   The determination unit 105 acquires captured image data captured by the capturing unit 101 (step S310). The determination unit 105 associates the acquired photographed image data, the user ID, and the photographing date and time with each other and transmits them to the service server 20 (step S311). The service server 20 receives the captured image data, the user ID, and the shooting date / time from the determination unit 105 and stores them in the storage device (step S312).

図５は、第２の実施形態に係る撮影サービスシステム１の効果について説明するための図である。図５には、第２の実施形態に係る撮影サービスシステム１がテーマパークに適用された場合を例示する。図５に示すように、撮影サービスを利用する利用者は、テーマパークに入園する際に、自分本人の顔写真を自分の携帯端末１０に登録しておく。そして、園内で利用者がアトラクションを楽しんだり食事をしたりしている間、カメラ装置１００は、利用者の携帯端末１０を検知するごとに携帯端末１０から顔写真を取得する。そして、カメラ装置１００は、顔写真に写っている人と、自装置の撮影領域内にいる人とが同一人物であるか判定し、同一人物であれば写真を撮影する。撮影された写真は、サービスサーバ２０の記憶装置で保管される。利用者は、アトラクションの待ち時間などに携帯端末１０を用いてサービスサーバ２０にアクセスし、撮影された写真を閲覧することができる。さらに、利用者は、閲覧した写真に良く撮れているものや気に入ったものがあれば、その写真を端末にダウンロードすることができる。   FIG. 5 is a diagram for explaining the effects of the imaging service system 1 according to the second embodiment. FIG. 5 illustrates a case where the photographing service system 1 according to the second embodiment is applied to a theme park. As shown in FIG. 5, a user who uses a photographing service registers his / her own face photo in his / her mobile terminal 10 when entering a theme park. Then, while the user enjoys an attraction or eats in the park, the camera device 100 acquires a facial photograph from the mobile terminal 10 each time the user's mobile terminal 10 is detected. Then, the camera device 100 determines whether the person shown in the face photo and the person in the shooting area of the own device are the same person, and if the person is the same person, takes a picture. The taken photograph is stored in the storage device of the service server 20. The user can access the service server 20 by using the mobile terminal 10 during an attraction waiting time and view the photograph taken. In addition, the user can download a photograph that has been taken or liked to the terminal if the photograph has been taken well.

（第３の実施形態）
上記の第１及び第２の実施形態では、近距離無線通信で携帯端末１０を検知できるということを、すなわち、撮影領域内に携帯端末１０が入っているものと仮定して取り扱ってきたが、実施形態はこれに限定されるものではない。例えば、カメラ装置１００が広いエリアや会場全体を撮影する目的・用途の場合には、上記の仮定をすることはできない。このため、携帯端末１０から利用者ＩＤに加えて位置情報を取得して、これらを用いて判定することで、携帯端末１０が撮影領域内に入ったことを検知しても良い。この位置情報は、例えば、ＧＰＳ（Global Positioning System）やＷｉ−Ｆｉ（登録商標）によって取得される。以下、位置情報を用いて携帯端末１０を検知する場合の撮影処理について説明する。 (Third embodiment)
In the first and second embodiments described above, it has been handled on the assumption that the mobile terminal 10 can be detected by short-range wireless communication, that is, the mobile terminal 10 is in the imaging region. The embodiment is not limited to this. For example, the above assumption cannot be made when the camera device 100 is used for the purpose / use of photographing a wide area or the entire venue. For this reason, it may be detected that the mobile terminal 10 has entered the imaging region by acquiring position information from the mobile terminal 10 in addition to the user ID and making a determination using these. This position information is acquired by, for example, GPS (Global Positioning System) or Wi-Fi (registered trademark). Hereinafter, a photographing process when the mobile terminal 10 is detected using the position information will be described.

図６は、第３の実施形態に係る撮影サービスシステム１による撮影処理の流れを示すシーケンス図である。図６において、携帯端末１０では、撮影アプリが起動した状態である。また、画像記憶部１０２には、撮影部１０１によって逐次生成された撮影画像データが逐次格納される。   FIG. 6 is a sequence diagram illustrating a flow of shooting processing by the shooting service system 1 according to the third embodiment. In FIG. 6, in the mobile terminal 10, the photographing application is activated. The image storage unit 102 sequentially stores captured image data sequentially generated by the imaging unit 101.

携帯端末１０は、例えば、撮影アプリの指示に応じて、ＧＰＳを用いて位置情報を一定時間間隔で取得する（ステップＳ４０１）。そして、携帯端末１０は、位置情報を取得するごとに、利用者ＩＤ及び位置情報をサービスサーバ２０へ送信する（ステップＳ４０２）。   For example, the mobile terminal 10 acquires position information at regular time intervals using GPS in accordance with an instruction from the imaging application (step S401). And the portable terminal 10 transmits user ID and position information to the service server 20 whenever it acquires position information (step S402).

サービスサーバ２０は、携帯端末１０の撮影アプリから利用者ＩＤを受信すると、受信した利用者ＩＤがＩＤ記憶部１０４に登録されているか確認することにより、撮影サービスに登録済みの利用者の携帯端末１０を検知する（ステップＳ４０３）。   When the service server 20 receives the user ID from the photographing application of the mobile terminal 10, the service server 20 checks whether the received user ID is registered in the ID storage unit 104, so that the mobile terminal of the user who has been registered in the photographing service 10 is detected (step S403).

そして、サービスサーバ２０は、携帯端末１０が、いずれかのカメラ装置１００の撮影領域内に入ったことを検知する（ステップＳ４０４）。具体的には、サービスサーバ２０は、撮影サービスシステム１が有する各カメラ装置１００の撮影領域を表す座標情報を記憶している。そして、サービスサーバ２０は、受信した携帯端末１０の位置情報が、いずれかのカメラ装置１００の撮影領域内に含まれる場合に、そのカメラ装置１００の撮影領域内に入ったことを検知する。   Then, the service server 20 detects that the mobile terminal 10 has entered the imaging area of any camera device 100 (step S404). Specifically, the service server 20 stores coordinate information representing a shooting area of each camera device 100 included in the shooting service system 1. Then, the service server 20 detects that the received position information of the mobile terminal 10 is included in the shooting area of the camera device 100 when it is included in the shooting area of any of the camera devices 100.

そして、サービスサーバ２０は、携帯端末１０が入った撮影領域を撮影するカメラ装置１００のＩＰアドレス及び利用者ＩＤの送信要求を携帯端末１０へ送信する（ステップＳ４０５）。なお、この送信要求は、利用者ＩＤをカメラ装置１００へ送信する旨の要求である。   Then, the service server 20 transmits a transmission request for the IP address and user ID of the camera device 100 that captures the imaging region in which the mobile terminal 10 is entered to the mobile terminal 10 (step S405). This transmission request is a request for transmitting the user ID to the camera apparatus 100.

カメラ装置１００のＩＰアドレス及び利用者ＩＤの送信要求を受信すると、携帯端末１０は、受信したＩＰアドレスを宛先として、ネットワーク５経由で利用者ＩＤをカメラ装置１００へ送信する（ステップＳ４０６）。   When receiving the transmission request for the IP address and user ID of the camera device 100, the mobile terminal 10 transmits the user ID to the camera device 100 via the network 5 with the received IP address as the destination (step S406).

検知部１０３は、携帯端末１０から利用者ＩＤを受信すると、受信した利用者ＩＤがＩＤ記憶部１０４に登録されているか確認することにより、撮影サービスに登録済みの利用者の携帯端末１０を検知する（ステップＳ４０７）。そして、検知部１０３は、ネットワーク５経由で、利用者画像データの送信要求を携帯端末１０へ送信する（ステップＳ４０８）。携帯端末１０は、利用者画像データの送信要求を受信すると、ネットワーク５経由で、利用者画像データをカメラ装置１００へ送信する（ステップＳ４０９）。   When the detection unit 103 receives the user ID from the mobile terminal 10, the detection unit 103 detects whether the received user ID is registered in the ID storage unit 104, thereby detecting the mobile terminal 10 of the user registered in the imaging service. (Step S407). Then, the detection unit 103 transmits a transmission request for user image data to the mobile terminal 10 via the network 5 (step S408). Upon receiving the user image data transmission request, the portable terminal 10 transmits the user image data to the camera device 100 via the network 5 (step S409).

なお、以降のステップＳ４１０からステップＳ４１３までの各処理は、図２に示したステップＳ１０６からステップＳ１０９までの各処理とそれぞれ同じであるので、説明を省略する。   The subsequent processes from step S410 to step S413 are the same as the processes from step S106 to step S109 shown in FIG.

このように、撮影サービスシステム１は、位置情報を用いて携帯端末１０を検知し、撮影処理を行うことができる。なお、図５では、位置情報を用いて携帯端末１０を検知する方法を第１の実施形態に適用する場合を説明したが、第２の実施形態に対しても同様に適用可能である。   As described above, the imaging service system 1 can detect the mobile terminal 10 using the position information and perform imaging processing. In addition, although FIG. 5 demonstrated the case where the method of detecting the portable terminal 10 using positional information was applied to 1st Embodiment, it is applicable similarly to 2nd Embodiment.

（その他の実施形態）
これまでいくつかの実施形態を説明したが、本願が開示する技術はこれらの実施形態に限定されるものではない。すなわち、これらの実施形態は、その他の様々な形態で実施されることが可能であり、種々の省略、置き換え、変更を行うことができる。 (Other embodiments)
Although several embodiments have been described so far, the technology disclosed in the present application is not limited to these embodiments. That is, these embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made.

例えば、上記の実施形態では、判定部１０５が利用者画像データ及び撮影画像データに同一人物が写っていると判定すると、撮影領域内を撮影する場合を説明したが、実施形態はこれに限定されるものではなく、判定の結果を撮影以外の処理（例えば、本人認証システム）に用いても良い。例えば、撮影サービスシステム１は、撮影サービスシステム１によって施錠された領域内への通行の可否を判定するための本人認証システムとして利用することもできる。   For example, in the above embodiment, the case where the determination unit 105 determines that the same person is captured in the user image data and the captured image data has been described, but the embodiment is limited to this. The determination result may be used for processing other than shooting (for example, a personal authentication system). For example, the imaging service system 1 can also be used as a personal authentication system for determining whether or not traffic within an area locked by the imaging service system 1 is permitted.

具体例を挙げると、カメラ装置１００は、撮影サービスシステム１によって施錠された扉の前に設置される。そして、利用者が扉の前に来ると、カメラ装置１００は、利用者の携帯端末１０を検知する。そして、カメラ装置１００は、検知した携帯端末１０から利用者画像データを取得し、取得した利用者画像データと類似する画像が撮影領域内を撮影した撮影画像に含まれるか否かを判定する。そして、利用者画像データと類似する画像が撮影領域内を撮影した撮影画像に含まれると、利用者がその撮影領域内にいることが証明されるため、判定部１０５は、撮影サービスシステム１によって施錠された扉を解錠する。   As a specific example, the camera device 100 is installed in front of a door locked by the photographing service system 1. When the user comes in front of the door, the camera device 100 detects the user's mobile terminal 10. Then, the camera device 100 acquires user image data from the detected mobile terminal 10 and determines whether or not an image similar to the acquired user image data is included in the captured image captured in the imaging region. When an image similar to the user image data is included in the captured image captured in the imaging area, it is proved that the user is in the imaging area. Unlock the locked door.

このように、撮影サービスシステム１は、撮影サービスシステム１によって通行が制限された領域内への通行の可否を判定するための本人認証システムとして利用することもできる。   Thus, the imaging service system 1 can also be used as a personal authentication system for determining whether or not traffic within an area restricted by the imaging service system 1 is permitted.

また、例えば、上記の実施形態において、判定部１０５が利用者画像データ及び撮影画像データに同一人物が写っていると判定した後に、笑顔を認識する笑顔認識技術をさらに適用することで、利用者が笑顔の写真を撮影することもできる。   In addition, for example, in the above-described embodiment, after the determination unit 105 determines that the same person is included in the user image data and the captured image data, the smile recognition technology for recognizing a smile is further applied, so that the user You can also take a smile photo.

一例として、笑顔認識技術を第１の実施形態に適用する場合を説明する。第１の実施形態において、判定部１０５は、利用者画像データ及び撮影画像データに同一人物が写っていると判定した後に、その撮影画像データに含まれる利用者の顔画像を検出する。そして、判定部１０５は、検出した顔画像から口角及び目尻を抽出し、抽出した口角が上がったか、目尻が下がったか等に応じて、顔画像が笑顔であるか否かをさらに判定する。これにより、第１の実施形態に係る撮影サービスシステム１は、利用者が笑顔だったらサービスサーバ２０へ格納することができる。   As an example, a case where a smile recognition technique is applied to the first embodiment will be described. In the first embodiment, after determining that the same person is included in the user image data and the captured image data, the determination unit 105 detects the face image of the user included in the captured image data. Then, the determination unit 105 extracts the mouth corner and the corner of the eye from the detected face image, and further determines whether or not the face image is a smile according to whether the extracted mouth corner is raised or the corner of the eye is lowered. As a result, the imaging service system 1 according to the first embodiment can store in the service server 20 if the user is smiling.

また、他の例として、笑顔認識技術を第２の実施形態に適用する場合を説明する。第２の実施形態において、判定部１０５は、利用者画像データ及び撮影画像データに同一人物が写っていると判定した後に、その人物にピントを合わせてから撮影画像データを撮影させる。そして、判定部１０５は、撮影させた撮影画像データに含まれる前記利用者の顔画像を検出する。そして、判定部１０５は、検出した顔画像から口角及び目尻を抽出し、抽出した口角が上がったか、目尻が下がったか等に応じて、顔画像が笑顔であるか否かをさらに判定する。これにより、第１の実施形態に係る撮影サービスシステム１は、利用者が笑顔だったらサービスサーバ２０へ格納することができる。   As another example, a case where a smile recognition technique is applied to the second embodiment will be described. In the second embodiment, after determining that the same person is included in the user image data and the captured image data, the determination unit 105 causes the person to focus and then captures the captured image data. Then, the determination unit 105 detects the face image of the user included in the photographed image data. Then, the determination unit 105 extracts the mouth corner and the corner of the eye from the detected face image, and further determines whether or not the face image is a smile according to whether the extracted mouth corner is raised or the corner of the eye is lowered. As a result, the imaging service system 1 according to the first embodiment can store in the service server 20 if the user is smiling.

また、他の例として、笑顔認識技術を第２の実施形態に適用する場合を説明する。第２の実施形態において、判定部１０５は、利用者画像データ及び撮影画像データに同一人物が写っていると判定した後に、撮影部１０１に撮影画像データを撮影させる。そして、判定部１０５は、撮影させた撮影画像データに含まれる前記利用者の顔画像を検出する。そして、判定部１０５は、検出した顔画像から口角及び目尻を抽出し、抽出した口角が上がったか、目尻が下がったか等に応じて、顔画像が笑顔であるか否かをさらに判定する。これにより、第１の実施形態に係る撮影サービスシステム１は、利用者が笑顔だったらサービスサーバ２０へ格納することができる。   As another example, a case where a smile recognition technique is applied to the second embodiment will be described. In the second embodiment, the determination unit 105 causes the image capturing unit 101 to capture the captured image data after determining that the same person is included in the user image data and the captured image data. Then, the determination unit 105 detects the face image of the user included in the photographed image data. Then, the determination unit 105 extracts the mouth corner and the corner of the eye from the detected face image, and further determines whether or not the face image is a smile according to whether the extracted mouth corner is raised or the corner of the eye is lowered. As a result, the imaging service system 1 according to the first embodiment can store in the service server 20 if the user is smiling.

また、例えば、各装置の分散・統合の具体的形態（例えば、図１の形態）は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合することができる。一例を挙げると、判定部１０５は、サービスサーバ２０にて機能しても良い。   Further, for example, the specific form of distribution / integration of each device (for example, the form shown in FIG. 1) is not limited to the one shown in the figure, and all or a part thereof can be arbitrarily set according to various loads or usage conditions. It can be distributed or integrated functionally or physically in units. For example, the determination unit 105 may function in the service server 20.

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともできる。例えば、図２における生成情報を生成する処理は手動で行っても良い。或いは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。また、上記の実施形態において説明した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に更新することができる。   In addition, among the processes described in the embodiment, all or a part of the processes described as being automatically performed can be manually performed. For example, the process for generating the generation information in FIG. 2 may be performed manually. Alternatively, all or part of the processing described as being performed manually can be automatically performed by a known method. In addition, the processing procedure described in the above embodiment, specific names, information including various data and parameters can be arbitrarily updated unless otherwise specified.

これらの実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。   These embodiments and modifications thereof are included in the invention disclosed in the claims and equivalents thereof as well as included in the technology disclosed in the present application.

２０ サービスサーバ
１００ カメラ装置
１０１ 撮影部
１０３ 検知部
１０５ 判定部 20 Service Server 100 Camera Device 101 Imaging Unit 103 Detection Unit 105 Determination Unit

Claims (5)

撮影領域内の対象物を撮影する撮影部と、
撮影サービスの利用者によって利用される端末を検知する検知部と、
前記検知部によって検知された端末から前記利用者が撮影された利用者画像データを取得し、取得した利用者画像データと類似する画像が前記撮影領域内を撮影した撮影画像に含まれるか否かを判定し、前記撮影画像に含まれる場合に、判定した時刻から所定時間内に撮影された撮影画像データと、利用者ＩＤと、撮影日時とを対応付けて記憶装置に格納する判定部と
を備えたことを特徴とする撮影サービスシステム。 An imaging unit for imaging an object in the imaging area;
A detection unit for detecting a terminal used by a user of the shooting service;
Whether or not user image data taken by the user from the terminal detected by the detection unit is acquired, and an image similar to the acquired user image data is included in the taken image taken in the shooting area. And when the image is included in the captured image, a determination unit that stores the captured image data captured within a predetermined time from the determined time, the user ID, and the captured date and time in the storage device in association with each other A photography service system characterized by comprising. 前記撮影部は、撮影を行う旨の撮影要求が前記判定部から入力されると、前記撮影領域内の対象物を撮影し、
前記判定部は、前記撮影画像に含まれる場合に、前記撮影要求を前記撮影部へ出力し、前記撮影部によって撮影された撮影画像データと、利用者ＩＤと、撮影日時とを対応付けて記憶装置に格納することを特徴とする請求項１に記載の撮影サービスシステム。 When the photographing request for performing photographing is input from the determination unit, the photographing unit photographs the object in the photographing region,
The determination unit outputs the photographing request to the photographing unit when included in the photographed image, and stores the photographed image data photographed by the photographing unit, the user ID, and the photographing date and time in association with each other. The imaging service system according to claim 1, wherein the imaging service system is stored in an apparatus. 前記判定部は、前記撮影画像に含まれる場合に、当該撮影画像に含まれる前記利用者の顔画像を検出し、検出した顔画像の表情が笑顔であるか否かをさらに判定することを特徴とする請求項１又は２に記載の撮影サービスシステム。 The determination unit, when included in the captured image, detects the face image of the user included in the captured image, and further determines whether or not the facial expression of the detected face image is a smile. The imaging service system according to claim 1 or 2 . 前記判定部は、前記撮影画像に含まれる場合に、前記撮影要求の入力によって前記撮影部が撮影した撮影画像に含まれる前記利用者の顔画像を検出し、検出した顔画像の表情が笑顔であるか否かをさらに判定することを特徴とする請求項２に記載の撮影サービスシステム。   The determination unit, when included in the captured image, detects the face image of the user included in the captured image captured by the capturing unit in response to an input of the capture request, and the facial expression of the detected face image is a smile The photographing service system according to claim 2, further comprising determining whether or not there is. コンピュータによって実行される撮影方法であって、
撮影領域内の対象物を撮影する撮影工程と、
撮影サービスの利用者によって利用される端末を検知する検知工程と、
前記検知工程によって検知された端末から前記利用者が撮影された利用者画像データを取得し、取得した利用者画像データと類似する画像が前記撮影領域内を撮影した撮影画像に含まれるか否かを判定し、前記撮影画像に含まれる場合に、判定した時刻から所定時間内に撮影された撮影画像データと、利用者ＩＤと、撮影日時とを対応付けて記憶装置に格納する判定工程と
を含むことを特徴とする撮影制御方法。 A shooting method executed by a computer,
A shooting process for shooting an object in the shooting area;
A detection process for detecting a terminal used by a user of the imaging service;
Whether or not the user image data taken by the user from the terminal detected by the detection step is acquired, and an image similar to the acquired user image data is included in the shot image taken in the shooting area. And when the image is included in the captured image, a determination step of associating the captured image data captured within a predetermined time from the determined time, the user ID, and the capturing date and time in a storage device, A photographing control method comprising:
JP2012250552A 2012-11-14 2012-11-14 Imaging service system and imaging control method Active JP5947196B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012250552A JP5947196B2 (en) 2012-11-14 2012-11-14 Imaging service system and imaging control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012250552A JP5947196B2 (en) 2012-11-14 2012-11-14 Imaging service system and imaging control method

Publications (2)

Publication Number Publication Date
JP2014099763A JP2014099763A (en) 2014-05-29
JP5947196B2 true JP5947196B2 (en) 2016-07-06

Family

ID=50941434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012250552A Active JP5947196B2 (en) 2012-11-14 2012-11-14 Imaging service system and imaging control method

Country Status (1)

Country Link
JP (1) JP5947196B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6112346B2 (en) * 2013-03-25 2017-04-12 株式会社メガチップス Information collection system, program, and information collection method
JP6273185B2 (en) * 2014-09-30 2018-01-31 日本電信電話株式会社 Monitoring information sharing system, monitoring apparatus and program
JP6567946B2 (en) * 2014-11-04 2019-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Remote camera control method, remote shooting system, and server
JP5830729B1 (en) * 2014-11-07 2015-12-09 株式会社ビアンコネロ Shooting and video distribution system that automatically or manually captures a user with a portable communication terminal
JP6459059B2 (en) 2015-03-30 2019-01-30 パナソニックＩｐマネジメント株式会社 Camera control method and camera control system
CN105761374A (en) * 2016-01-07 2016-07-13 杭州写智专业摄影有限公司 Automatic timing and settlement system for selfie studio
JP2018137608A (en) * 2017-02-22 2018-08-30 株式会社日立国際八木ソリューションズ Monitoring camera system
JP7124411B2 (en) * 2018-04-19 2022-08-24 サクサ株式会社 Imaging control device and imaging system
JP7207586B2 (en) * 2018-04-19 2023-01-18 サクサ株式会社 Imaging control device and imaging system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3992909B2 (en) * 2000-07-03 2007-10-17 富士フイルム株式会社 Personal image providing system
JP2003331323A (en) * 2002-05-17 2003-11-21 Nippon Signal Co Ltd:The Automatic gate system
JP4416017B2 (en) * 2007-07-18 2010-02-17 ソニー株式会社 Imaging system

Also Published As

Publication number Publication date
JP2014099763A (en) 2014-05-29

Similar Documents

Publication Publication Date Title
JP5947196B2 (en) Imaging service system and imaging control method
WO2013182101A1 (en) Method, device and mobile terminal for determining target person
JP4229111B2 (en) Inquiry system
TW201011696A (en) Information registering device for detection, target sensing device, electronic equipment, control method of information registering device for detection, control method of target sensing device, information registering device for detection control progr
TW201516939A (en) Method and device for inquiring user identity, method and device for acquiring user identity, and method and device for adding friend in instant messaging
KR20170023747A (en) Photo sharing method and device
JP2007219948A (en) User abnormality detection equipment and user abnormality detection method
JP6028457B2 (en) Terminal device, server, and program
KR101534808B1 (en) Method and System for managing Electronic Album using the Facial Recognition
US9716820B2 (en) Remote-camera control method, remote photography system, and server
CN106537799A (en) Camera control and image streaming
JP5782918B2 (en) Communication terminal device, server device, and program
JP2015233204A (en) Image recording device and image recording method
KR100705164B1 (en) System and method for user registration using portable device
JP6504896B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND IMAGE TRANSFER SYSTEM
WO2018092378A1 (en) Information processing device, information processing method, and program
CN106326328B (en) Picture transmitter device, image sending method and recording medium
JP2009124539A (en) Photographic image providing server, photographic image providing system and method
JP2011009898A (en) Image distribution system, imaging apparatus, receiver and server
JP2015015570A (en) System, apparatus and program for image management
US20080298690A1 (en) Digital Photo Content Processing System and Method and Apparatus for Transmitting/Receiving Digital Photo Contents Thereof
JP2005167504A (en) System and method for photograph management
CN109242748A (en) A kind of photographic method based on Internet of Things
JP6476148B2 (en) Image processing apparatus and image processing method
JP2010231450A (en) Photographing data authentication device, photographing data authentication system, photographing data authentication method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150126

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160602

R150 Certificate of patent or registration of utility model

Ref document number: 5947196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150