JP6909902B1 - 画像管理装置、画像管理システム及び画像管理方法 - Google Patents

画像管理装置、画像管理システム及び画像管理方法 Download PDF

Info

Publication number
JP6909902B1
JP6909902B1 JP2020109133A JP2020109133A JP6909902B1 JP 6909902 B1 JP6909902 B1 JP 6909902B1 JP 2020109133 A JP2020109133 A JP 2020109133A JP 2020109133 A JP2020109133 A JP 2020109133A JP 6909902 B1 JP6909902 B1 JP 6909902B1
Authority
JP
Japan
Prior art keywords
image data
information
event
unit
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020109133A
Other languages
English (en)
Other versions
JP2022006723A (ja
Inventor
圭 河村
圭 河村
隆治 高崎
隆治 高崎
佳伸 滝田
佳伸 滝田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2020109133A priority Critical patent/JP6909902B1/ja
Application granted granted Critical
Publication of JP6909902B1 publication Critical patent/JP6909902B1/ja
Publication of JP2022006723A publication Critical patent/JP2022006723A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】イベントで撮影されて作成された撮像画像を閲覧しやすくする。【解決手段】画像管理装置3は、撮像画像データを管理する対象となるイベントを識別するための登録イベント識別情報を取得する識別情報取得部331と、イベントで撮像された撮像画像データと、イベントが開催された場所において提示された提示イベント識別情報と、を関連付けて取得する画像データ取得部332と、提示イベント識別情報が登録イベント識別情報と一致していることを条件として、提示イベント識別情報に関連付けて画像データ取得部が取得した撮像画像データを情報端末に提示する対象である提示対象画像データとして記憶部に記憶させる画像管理部337と、を有する。【選択図】図7

Description

本発明は、画像管理装置、画像管理システム及び画像管理方法に関する。
複数のユーザがインターネット等のネットワークを介して送信した画像を公開する画像公開装置が知られている(例えば、特許文献1を参照)。
特開2013−191035号公報
入学式、運動会、コンサート等のイベントにおいては、多数の参加者がイベントの様子を撮影することにより多数の撮像画像が作成される。各参加者が撮像画像をサーバにアップロードすることにより、各参加者が撮影した画像が閲覧可能になる。この際、イベントに関係ない撮像画像がアップロードされてしまうと、例えばイベントに参加した人が、イベントに関係する撮像画像を閲覧しづらいという問題があった。
そこで、本発明はこれらの点に鑑みてなされたものであり、イベントで撮影されて作成された撮像画像を閲覧しやすくするための画像管理装置、画像管理システム及び画像管理方法を提供することを目的とする。
本発明の第1の態様に係る画像管理装置は、イベントが撮像されて生成された撮像画像データを管理する画像管理装置であって、前記撮像画像データを管理する対象となる前記イベントを識別するための登録イベント識別情報を取得する識別情報取得部と、前記イベントで撮像された前記撮像画像データと、前記イベントが開催された場所において提示された提示イベント識別情報と、を関連付けて取得する画像データ取得部と、前記提示イベント識別情報が前記登録イベント識別情報と一致していることを条件として、前記提示イベント識別情報に関連付けて前記画像データ取得部が取得した前記撮像画像データを情報端末に提示する対象である提示対象画像データとして記憶部に記憶させる画像管理部と、を有する。
前記撮像画像データが動画像データであり、前記画像データ取得部は、前記撮像画像データに含まれている前記提示イベント識別情報を前記撮像画像データから抽出してもよい。
前記提示対象画像データの閲覧要求を示す閲覧要求情報を情報端末から受信した場合に、前記閲覧要求情報が前記登録イベント識別情報に対応する情報を含むことを条件として前記提示対象画像データを前記情報端末に送信する画像提供部をさらに有してもよい。
前記提示対象画像データの利用可能範囲を示す利用許諾情報を取得する許諾情報取得部をさらに有し、前記画像提供部は、前記閲覧要求情報を前記情報端末から受信した場合に、前記利用許諾情報が示す利用可能範囲であることを前記閲覧要求情報が示していることを条件として、前記提示対象画像データを前記情報端末に送信してもよい。
前記撮像画像データが動画像データであり、前記許諾情報取得部は、前記撮像画像データに含まれている情報格納画像を解析することにより前記利用許諾情報を取得してもよい。前記許諾情報取得部は、前記情報格納画像に含まれている電子透かしデータを解析することにより前記利用許諾情報を取得してもよい。
前記許諾情報取得部は、前記撮像画像データを前記画像データ取得部に送信した撮像装置に関連付けられた前記情報端末から前記利用許諾情報を取得し、前記撮像画像データと前記利用許諾情報とを関連付けて前記記憶部に記憶させてもよい。
前記許諾情報取得部は、前記撮像画像データに対応する撮像画像を撮像した位置を示す第1位置情報を取得し、前記画像管理部は、前記第1位置情報と前記提示イベント識別情報に含まれる前記イベントの位置を示す第2位置情報との差が所定の範囲内である場合に、前記撮像画像データを前記記憶部に記憶してもよい。
前記画像管理部は、前記提示イベント識別情報に対応する前記イベントが行われた時間帯を示すイベント時間帯情報と前記撮像画像データを受信した時刻を示す受信時刻とを取得し、前記受信時刻が、前記イベント時間帯情報が示す時間帯に基づく所定の範囲内である場合に、前記撮像画像データを前記記憶部に記憶してもよい。
本発明の第2の態様に係る画像管理システムは、撮像装置と、前記撮像装置が生成した撮像画像データを管理する画像管理装置と、を備え、前記画像管理装置は、イベントが撮像されて生成された前記撮像画像データを管理する対象となる前記イベントを識別するための登録イベント識別情報を取得する識別情報取得部と、前記イベントで撮像された前記撮像画像データと、前記イベントが開催された場所において提示された提示イベント識別情報と、を関連付けて取得する画像データ取得部と、前記提示イベント識別情報が前記登録イベント識別情報と一致していることを条件として、前記提示イベント識別情報に関連付けて前記画像データ取得部が取得した前記撮像画像データを情報端末に提示する対象である提示対象画像データとして記憶部に記憶させる画像管理部と、を有し、前記撮像装置は、前記イベントが行われる会場に提示された前記提示イベント識別情報に関連付けられた撮像画像データを生成する画像生成部と、前記撮像画像データを送信する画像送信部と、を有する。
本発明の第3の態様に係る画像管理システムは、情報端末と、撮像画像データを管理する画像管理装置と、を備え、前記画像管理装置は、イベントが撮像されて生成された前記撮像画像データを管理する対象となる前記イベントを識別するための登録イベント識別情報を取得する識別情報取得部と、前記イベントで撮像された前記撮像画像データと、前記イベントが開催された場所において前記情報端末が提示した提示イベント識別情報と、を関連付けて取得する画像データ取得部と、前記提示イベント識別情報が前記登録イベント識別情報と一致していることを条件として、前記提示イベント識別情報に関連付けて前記画像データ取得部が取得した前記撮像画像データを情報端末に提示する対象である提示対象画像データとして記憶部に記憶させる画像管理部と、を有し、前記情報端末は、現在位置及び現在時刻を前記画像管理装置に送信することにより前記画像管理装置から取得した前記登録イベント識別情報を前記提示イベント識別情報として表示する。
本発明の第4の態様に係る画像管理方法は、コンピュータが、イベントが撮像されて生成された撮像画像データを管理する対象となる前記イベントを識別するための登録イベント識別情報を取得するステップと、前記イベントで撮像された前記撮像画像データと、前記イベントが開催された場所において提示された提示イベント識別情報と、を関連付けて取得するステップと、前記提示イベント識別情報が前記登録イベント識別情報と一致していることを条件として、前記提示イベント識別情報に関連付けられた前記撮像画像データを情報端末に提示する対象である提示対象画像データとして記憶部に記憶させるステップと、を実行する。
本発明によれば、イベントで撮影されて作成された撮像画像を閲覧しやすくするという効果を奏する。
本発明の実施の形態に係る画像管理システムS1の構成を示す図である。 画像管理システムS1の動作のシーケンスを示す図である。 情報端末1が第2のQRコード(登録商標)と時刻情報とを表示する場合の画面の一例を示す図である。 ユーザ端末4が画像管理装置3から取得した提示対象画像データを表示する場合の画面の一例を示す図である。 情報端末1の構成を示す図である。 撮像装置2の構成を示す図である。 画像管理装置3の構成を示す図である。 同期処理部336が複数の動画像データを同期させる動作について説明するための図である。 画像管理装置3が撮像画像データを記憶部32に記憶させる動作のフローチャートである。 画像管理装置3が複数の動画像データを同期させてユーザ端末4に送信する動作のフローチャートである。 画像提供部338が複数の動画像データと音データとを同期させた状態で情報端末に送信する動作について説明するための図である。 動画像データに含まれる時刻情報に関連付けられた音楽データを提供する場合の画像管理装置3の構成を示す図である。 画像管理システムS2の構成を示す図である。
[画像管理システムS1の構成]
図1は、本発明の実施の形態に係る画像管理システムS1の構成を示す図である。画像管理システムS1は、一以上の情報端末1と、複数の撮像装置2(2a,2b,2c)と、画像管理装置3と、ユーザ端末4とを有する。画像管理システムS1は、例えば小学校の運動会や音楽ライブ等のイベントにおいて、複数の撮像装置2が撮像した撮像画像データと情報端末1が生成するイベントを識別するための識別情報とを関連付けて画像管理装置3が有する記憶部に記憶させる画像管理システムである。本明細書においては、撮像画像データが動画像データである場合を例示するが、撮像画像データに静止画像データが含まれていてもよい。
情報端末1と画像管理装置3とはネットワークNを介して接続されている。複数の撮像装置2と画像管理装置3とはネットワークNを介して接続されている。ユーザ端末4と画像管理装置3とはネットワークNを介して接続されている。ネットワークNは、例えばインターネットである。情報端末1と複数の撮像装置2とは、例えばBluetooth(登録商標)等の無線通信方式を用いて接続されていてもよい。
情報端末1は、例えば撮像装置2のユーザが使用する端末である。情報端末1は、被写体を撮像する撮像デバイス、ユーザの操作を受け付けるタッチパネル等の操作入力用デバイス、受け付けたユーザの操作に基づいて情報を表示するディスプレイ、現在位置を特定するための電波をGPS(Global Positioning System)衛星のような外部装置から受信する受信機、並びにネットワークNを介して情報を送信するための通信デバイス等を有する端末である。情報端末1は、例えばタブレット又はスマートフォンである。以下の説明においては、情報端末1が、複数の撮像装置2を使用する複数のユーザの代表ユーザの端末である場合を想定して説明するが、複数のユーザそれぞれが自身の情報端末1を使用してもよい。
情報端末1は、ユーザの操作に応じて、例えばイベント会場に設置されている第1のQRコードを示す物体を撮像する。第1のQRコードを示す物体は、例えば第1のQRコードが印刷されたポスター、又は第1のQRコードが表示されているタブレットである。情報端末1は、撮像した第1のQRコードから、イベントが開催された場所において提示された提示イベント識別情報である提示イベントIDを抽出する。提示イベントIDは、例えばイベントがA小学校の運動会の場合、「A小学校運動会」を示すデータである。
続いて、情報端末1は、提示イベントIDと、情報端末1に予め設定されている利用許諾情報とを含む第2のQRコードを生成する。利用許諾情報は、例えば「A小学校運動会6年1組」を示すデータであり、利用許諾情報が示す範囲内でのみ撮像画像データを閲覧可能にすることが可能とされる。
そして、情報端末1は、生成した第2のQRコードと時刻を示す時刻情報を含む時刻画像データとを情報端末1が有するディスプレイに表示する。情報端末1が有する時刻表示部は、例えば、通信回線を経由して取得した時刻や日本標準時刻(JJY)、GPS衛星等から取得した電波に基づく絶対時刻又は端末アプリケーションが生成する相対時刻(所定のタイミングを基準とする時刻)を表示する。なお、情報端末1は、第2のQRコードとして、提示イベントIDを含むQRコード(すなわち、第1のQRコード)を生成し、利用許諾情報を別途表示してもよい。また、情報端末1は、例えば受信機がGPS衛星から受信した電波に基づいて特定した現在位置を示す位置情報を画像管理装置3に送信してもよい。
なお、情報端末1は、第1のQRコードを撮影することなく、現在位置及び現在時刻に基づいて第2のQRコードを生成してもよい。一例として、情報端末1は、現在位置及び現在時刻を画像管理装置3に送信することにより画像管理装置3から取得した登録イベントIDを提示イベントIDとして表示する。登録イベントIDの詳細については後述する。情報端末1は、受信した登録イベントIDを提示イベントIDとして含む第2のQRコードを生成し、生成した第2のQRコードを表示する。この場合、情報端末1のユーザが第1のQRコードを示す物体を撮影する必要がない。
撮像装置2は、動画像を撮像することができるカメラであり、例えばカムコーダ、デジタルカメラ又はアクションカメラである。撮像装置2は、情報端末1が表示している第2のQRコード、時刻画像、及び第2のQRコードに関連付けられたイベントを撮像する。撮像装置2は、例えば、第2のQRコード及び時刻画像が表示された情報端末1の画面とイベントとを撮像して生成した動画像データを生成する。撮像装置2は、生成した動画像データを、ネットワークNを介して画像管理装置3に送信する。撮像装置2は、現在位置を特定するための電波をGPS衛星のような外部装置から受信する受信機を有しており、特定した現在位置を示す位置情報を画像管理装置3に送信してもよい。
画像管理装置3は、イベントが撮像されて生成された撮像画像データを管理するサーバ又はパーソナルコンピュータである。画像管理装置3は、撮像装置2から受信した撮像画像データと予め登録された登録イベントIDとを記憶部に記憶させる。登録イベントIDは、撮像画像データを管理する対象となるイベントを識別するための登録イベント識別情報であり、例えば、イベントの主催者や撮影者などにより画像管理装置3に登録される。
画像管理装置3は、受信した動画像データから第2のQRコードを取得する。画像管理装置3は、取得した第2のQRコードから提示イベントIDを抽出する。画像管理装置3は、抽出した提示イベントIDが、予め取得していた登録イベントIDと一致していることを条件として、抽出した第2のQRコードに関連付けられた動画像データを、情報端末に提示する対象である提示対象画像データとして記憶部に記憶させる。
ユーザ端末4は、画像管理装置3が管理する動画像データを閲覧するユーザが使用する情報端末であり、例えばパーソナルコンピュータ又はスマートフォンである。情報端末1がユーザ端末4として用いられてもよい。画像管理装置3は、ユーザ端末4から提示対象画像データの閲覧要求を示す閲覧要求情報を受信した場合、受信した閲覧要求情報が登録イベントIDに対応する情報を含むことを条件として提示対象画像データをユーザ端末4に送信する。ユーザ端末4は、送信された提示対象画像データをディスプレイに表示する。
図2は、画像管理システムS1の動作のシーケンスを示す図である。図2に示すシーケンス図は、イベントの会場で、情報端末1を使用するユーザが第1のQRコードを撮影した時点から開始している。図2においては、撮像装置2として撮像装置2a及び撮像装置2bを例示しているが、より多くの撮像装置2があってもよい。
情報端末1は、生成した提示イベントIDと予め設定された利用許諾情報に基づいて第2のQRコードを生成する。情報端末1は、第2のQRコードと時刻を示す時刻情報とを情報端末1のディスプレイに表示する(S11)。
撮像装置2aは、第1ユーザが使用する撮像装置であり、情報端末1のディスプレイに表示された第2のQRコードを撮像する(S12)。撮像装置2aは、第2のQRコードを撮像した後にイベントを撮像して動画像データを生成することにより、第2のQRコードと動画像データとを含む撮像画像データを生成する(S13)。撮像装置2aは、生成した撮像画像データである動画像データP1を画像管理装置3に送信する。なお、本実施の形態においては、第2のQRコードに続いてイベントが撮像されることが想定されているが、イベントの画像の途中に第2のQRコードが撮像されてもよい。
撮像装置2bは、第2ユーザが使用する撮像装置であり、情報端末1のディスプレイに表示された第2のQRコードを撮像する(S14)。撮像装置2bは、第2のQRコードを撮像した後にイベントを撮像して動画像データを生成することにより、第2のQRコードと動画像データとを含む撮像画像データを生成する(S15)。撮像装置2bは、生成した撮像画像データである動画像データP2を画像管理装置3に送信する。
画像管理装置3は、動画像データP1と動画像データP2とを受信する。画像管理装置3は、第2のQRコードを撮像した画像であるイベント情報画像を、動画像データP1と動画像データP2のそれぞれから取得する。画像管理装置3は、取得した動画像データP1と動画像データP2とのそれぞれのイベント情報画像から動画像データP1と動画像データP2とのそれぞれに対応する提示イベントIDを抽出する(S16)。
続いて、画像管理装置3は、動画像データP1と動画像データP2とのそれぞれのイベント情報画像から動画像データP1と動画像データP2のそれぞれに対応する利用許諾情報を抽出する(S17)。
画像管理装置3は、予め記憶部に記憶されている登録イベントIDと抽出した提示イベントIDとが一致している場合(S18のYES)、抽出した提示イベントIDに対応する動画像データを、当該動画像データに対応する利用許諾情報と関連付けて記憶部に記憶させる(S19)。一方、登録イベントIDと提示イベントIDとが一致しない場合(S18のNO)、画像管理装置は、登録イベントIDと一致しない提示イベントIDに対応する動画像データを記憶部に記憶させずに処理を終了する。
例えば、登録イベントIDと動画データP1に含まれる提示イベントIDとが「A小学校運動会」を示すデータである場合、画像管理装置3は、動画像データP1に含まれる動画像データと当該動画像データに対応する利用許諾情報とを関連付けて記憶部に記憶させる。一方、登録イベントIDが「A小学校運動会」であり、提示イベントIDが「B小学校運動会」である場合、画像管理装置3は、動画像データP2に含まれる撮像画像データを記憶部に記憶させずに処理を終了する。
図3は、情報端末1が第2のQRコードと時刻情報とを表示する場合の画面の一例を示す図である。情報端末1の画面の上段には、第2のQRコードが表示されている。情報端末1の画面の中段には、利用許諾情報である「A小学校運動会6年1組」を示す文字列が表示されている。利用許諾情報「A小学校運動会6年1組」を示すデータは、情報端末1の画面の上段に表示されている第2のQRコードに含まれている。情報端末1の画面の下段には、時刻(現在の時刻又は端末アプリケーションが生成する相対時刻)を示す時刻情報が表示されている。
図4は、ユーザ端末4が画像管理装置3から取得した提示対象画像データを表示する場合の画面の一例を示す図である。図4に示す画面は、ユーザがイベント終了後にユーザ端末4を用いて閲覧することが想定されている。ユーザ端末4は、例えば画像管理装置3とネットワークNを介して接続されているパーソナルコンピュータである。画面Dには、複数の提示対象画像データP(P1,P2,P3,P4)が表示されている。複数の提示対象画像データPのそれぞれは、撮影者と撮影時刻とを示す情報が同時に表示されている。
複数の提示対象画像データPのそれぞれは、利用許諾情報である「A小学校運動会6年1組」を示すデータに関連付けられて記憶部に記憶されている。複数の提示対象画像データPは、画像管理装置3が「A小学校運動会6年1組」を含む閲覧要求情報をユーザ端末4から取得することにより、ユーザ端末4に送信される。
このように、撮像装置2が送信する動画像データには提示イベントIDが含まれており、画像管理装置3は、提示イベントIDが登録イベントIDと一致していることを条件として、動画像データを管理する。したがって、ユーザが、例えばイベントの終了後に自宅のユーザ端末4で動画像データを閲覧する場合に、イベントに参加した人がイベントで撮影した画像を閲覧できるが、イベントに参加していない人が不正に送信した画像はユーザ端末4に表示されない。
また、動画像データには利用許諾情報が含まれており、画像管理装置3は、利用許諾情報が示す範囲に含まれないユーザのユーザ端末4に対しては、動画像データを提供しない。画像管理装置3がこのように動作することで、利用許諾範囲外の人(例えば、「A小学校運動会6年1組」以外の人)に動画像データを見られることを防止できる。
[情報端末1の構成]
図5は、情報端末1の構成を示す図である。情報端末1は、撮像部10と、記憶部11と、表示部12と、通信部13と、制御部14とを有する。制御部14は、許諾情報生成部141及びコード生成部142を有する。
撮像部10は、被写体を撮像する撮像素子を含む。撮像部10は、例えば第1のQRコードを撮像し、第1のQRコードが含まれる撮像画像データを生成する。撮像部10は、作成した撮像画像データをコード生成部142に入力する。
記憶部11は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体を有する。記憶部11は、制御部14が実行するプログラムを記憶している。記憶部11は、ユーザが表示部12を操作することにより設定した利用許諾情報を記憶する。
表示部12は、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等である。表示部12は、制御部14の制御に基づいて第2のQRコードと現在の時刻とを表示する。また、表示部12は、例えば表示部12の表面にタッチパネルを有しており、ユーザがタッチした位置を示す信号に基づいてユーザの操作内容を特定し、特定したユーザの操作内容をコード生成部142に通知する。
通信部13は、ネットワークNを介して情報を送信するための通信デバイスを含む。通信デバイスは、例えば無線LANコントローラである。
制御部14は、例えばCPU(Central Processing Unit)である。制御部14は、記憶部11に記憶されているプログラムを実行することにより、許諾情報生成部141及びコード生成部142として機能する。制御部14は、現在の時刻又は端末アプリケーションが生成する相対時刻を示す時刻情報を表示部12に表示させる。
許諾情報生成部141は、表示部12から取得したユーザの操作内容に基づいて、提示対象画像データの利用可能範囲を示す利用許諾情報を生成する。許諾情報生成部141は、生成した利用許諾情報を記憶部11に記憶させるとともに、コード生成部142に通知する。
コード生成部142は、撮像部10が生成した撮像画像データに含まれる第1のQRコードから抽出した提示イベントIDと許諾情報生成部141が生成する利用許諾情報に基づいて第2のQRコードを生成する。コード生成部142は、生成した第2のQRコードを表示部12に表示させる。
[撮像装置2の構成]
図6は、撮像装置2の構成を示す図である。撮像装置2は、撮像部21と、通信部22と、記憶部23と、制御部24とを有する。撮像部21は、CCD(Charge Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子、及びレンズを含む。撮像部21は、レンズに入力された光信号を電気信号に変換した後に当該電気信号をデジタルデータに変換して制御部24に出力する。デジタルデータは、例えば動画像データ又は静止画像データである。
通信部22は、ネットワークNを介して情報を送信するための通信デバイスを含む。通信デバイスは、例えば無線LANコントローラである。通信部22は、例えば無線LAN通信網を用いて、制御部14が生成した動画像データを画像管理装置3に送信する。
記憶部23は、ROM、RAM及びハードディスク等の記憶媒体を有する。記憶部23は、後述する制御部24が実行するプログラムを記憶している。記憶部23は、制御部24の制御に基づいて、撮像部21が撮像した、第2のQRコードと現在の時刻又は端末アプリケーションが生成する相対時刻を示す時刻情報とが表示された情報端末1の画面の画像に基づく動画像データを記憶する。
制御部24は、例えばCPUである。制御部24は、記憶部23に記憶されているプログラムを実行することにより、画像生成部241及び画像送信部242として機能する。
画像生成部241は、イベントが行われる会場に提示された提示イベント識別情報である提示イベントIDに関連付けられた動画像データを生成する。また、画像生成部241は、時刻を示す時刻画像データを含む動画像データを生成する。画像生成部241は、例えば、提示イベントIDを含む第2のQRコードの画像データ及び時刻画像データが所定の時間(例えば動画像データの冒頭の時間帯)に含まれている動画像データを生成する。画像生成部241は、第1時間にわたって第2のQRコードの画像データが含まれており、第1時間の前後の第2時間にわたって時刻画像データが含まれた動画像データを生成してもよい。画像生成部241は、生成した撮像画像データを画像送信部242に出力する。
画像送信部242は、画像生成部241から取得した動画像データを、通信部22を介して画像管理装置3に送信する。
[画像管理装置3の構成]
図7は、画像管理装置3の構成を示す図である。画像管理装置3は、通信部31と、記憶部32と、制御部33とを有する。
通信部31は、インターネット等の通信ネットワークに接続するためのインタフェースであり、ネットワークNを介して情報を送受信するための通信デバイスを含む。通信デバイスは、例えばLANコントローラである。通信部31は、複数の撮像装置2から動画像データを受信する。通信部31は、受信した動画像データに関連付けられる登録イベントIDを情報端末1から受信する。
記憶部32は、ROM、RAM及びハードディスク等の記憶媒体を有する。記憶部32は、後述する制御部33が実行するプログラムを記憶している。記憶部32は、複数の撮像装置2から取得した動画像データを記憶する。また、記憶部32は、予め取得した登録イベントID、並びに情報端末1から受信した提示イベントID及び利用許諾情報を記憶する。
制御部33は、例えばCPUである。制御部33は、記憶部32に記憶されているプログラムを実行することにより、識別情報取得部331、画像データ取得部332、許諾情報取得部333、時刻特定部334、音データ取得部335、同期処理部336、画像管理部337、画像提供部338、操作受付部339として機能する。
識別情報取得部331は、撮像画像データを管理する対象となるイベントを識別するための登録イベント識別情報である登録イベントIDを取得する。識別情報取得部331は、取得した登録イベントIDを画像管理部337に通知する。識別情報取得部331は、例えば、画像管理部337がアクセス可能な記憶部32に記憶させることにより、登録イベントIDを画像管理部337に通知する。
画像データ取得部332は、撮像装置2から動画像データを取得する。画像データ取得部332は、撮像装置2から取得した動画像データに含まれている情報格納画像データであるイベント情報画像データを解析することにより、イベント情報画像データに含まれている提示イベントIDを特定する。イベント情報画像データは、第2のQRコードが含まれている画像データである。
画像データ取得部332は、第2のQRコードに含まれている提示イベントIDを特定する。画像データ取得部332は、特定した提示イベントIDと動画像データとを画像管理部337に出力する。
また、画像データ取得部332は、時刻を示す時刻画像データを含む動画像データを取得する。時刻画像データは、例えばイベント情報画像に含まれていると同一であってもよい。画像データ取得部332は、取得した時刻を示す時刻画像データを時刻特定部334に出力する。
許諾情報取得部333は、提示対象画像データの利用可能範囲を示す利用許諾情報を取得する。具体的には、許諾情報取得部333は、イベント情報画像を解析することにより利用許諾情報を取得する。より具体的には、許諾情報取得部333は、第2のQRコードに含まれている利用許諾情報を取得する。許諾情報取得部333は、例えば、イベント情報画像に電子透かしデータが含まれている場合、電子透かしデータを解析することにより利用許諾情報を取得してもよい。許諾情報取得部333は、抽出した利用許諾情報を画像管理部337に通知する。
なお、許諾情報取得部333は、動画像データを画像データ取得部332に送信した撮像装置2に関連付けられた情報端末1から利用許諾情報を取得し、動画像データと、情報端末1から取得した利用許諾情報とを関連付けて記憶部32に記憶させてもよい。このように動作することで、画像管理装置3は、例えば動画像データを記憶部32に記憶させた後でも動画像データと利用許諾情報とを関連付けることができる。
さらに、許諾情報取得部333は、動画像データに対応する撮像画像を撮像装置2が撮像した位置を示す第1位置情報である撮像位置情報を、動画像データを送信した撮像装置2から取得してもよい。許諾情報取得部333は、取得した撮像位置情報を画像管理部337に通知する。
時刻特定部334は、画像データ取得部332から取得した時刻画像データが示す時刻を特定することにより、当該時刻画像データに対応する動画像データが撮像された時刻を特定する。具体的には、時刻特定部334は、例えば時刻画像データに撮像されている数字の画像を抽出した後に、抽出した数字の画像を数字のデータに変換することにより時刻を特定する。時刻特定部334は、特定した時刻を同期処理部336に通知する。
音データ取得部335は、複数の動画像データのそれぞれに含まれる時刻画像データが示す時刻に同期した音データを取得する。時刻画像データが示す時刻に同期した音データは、動画像データの撮像と同じ時刻及び同じ場所で集音された音データであり、例えば、「A小学校運動会のリレー競技」の撮像において「リレー開始」の声音及び歓声音を含む音データである。音データ取得部335は、取得した音データを同期処理部336に出力する。なお、音データは、動画像データと同一のデータフレームにより撮像装置2から画像管理装置3に伝送されてもよい。この場合、例えば画像データ取得部332において音データが分離され、画像データ取得部332から音データ取得部335に音データが入力される。
音データ取得部335は、取得した音データに関連付けられた提示イベントIDを特定してもよい。音データ取得部335は、例えば、取得した音データに「A小学校運動会のリレー競技を開催します」というアナウンスが含まれていた場合、提示イベントIDを「A小学校運動会」と特定する。音データ取得部335は、特定した提示イベントIDを取得した音データに関連付けて同期処理部336に通知する。
同期処理部336は、画像データ取得部332が時刻画像データを含む複数の動画像データを取得した場合、時刻特定部334が特定した動画像データそれぞれの時刻に基づいて、複数の動画像データを同期させる。同期処理部336は、時刻特定部334が特定した時刻に基づいて、当該特定した時刻に対応する動画像データと、当該動画像データと異なる画像データである他データとを同期させる。他データは、例えば、当該動画像データを送信した撮像装置2と異なる撮像装置2が送信した動画像データである。同期処理部336は、画像データ取得部332が取得した動画像データに関連付けられた提示イベントIDと他データに関連付けられた提示イベントIDとが一致していることを条件として、動画像データと他データとを同期させる。
ここで、同期処理部336が複数の動画像データを同期させる処理について図8を用いて説明する。図8は、同期処理部336が複数の動画像データを同期させる動作について説明するための図である。図8(a)は、画像データ取得部332が取得した複数の動画像データP(P1,P2)を示している。動画像データP1は、例えば撮像装置2aが生成した動画像データであり、動画像データP2は、例えば撮像装置2bが生成した動画像データである。
動画像データPのそれぞれは、イベント情報画像データと、イベントの内容を含むイベント画像データとを含む。例えば、動画像データP1は、イベント情報画像データとイベント画像データA11からA14とを含む。イベント画像データA11からA14のそれぞれは、例えば、動画像データを構成する画像フレームである。動画像データのフレームレートが60fpsである場合、1つのイベント画像データの長さは約0.17秒である。図8においては、1つのイベント画像データの長さが0.17秒である場合を例示している。
画像データ取得部332が取得した動画像データPは、一例として、イベント情報画像データに含まれる時刻画像データが示す時刻の最小単位よりもフレームが更新される時間間隔が大きい動画像である。具体的には、1秒間に60枚のイベント画像データを有する動画像データの場合、時刻画像データが示す時刻の最小単位は、60分の1秒未満であり、例えば0.01秒である。このように、フレームが更新される時間間隔よりも小さい単位で変化する時刻を取得することで、同期処理部336は、イベント画像データの時刻を特定する精度を高くすることができる。
イベント情報画像においては、実線矢印の位置で時刻が切り替わる。同期処理部336は、動画像データPのそれぞれの実線矢印が示す時刻を、時刻特定部334が特定した時刻として時刻特定部334から取得する。同期処理部336は、実線矢印が示す時刻を基準として、内部のタイマーにより時間をカウントすることにより、破線矢印で示すように、イベント画像データそれぞれに対応する撮像時刻を特定する。同期処理部336は、例えば、動画像データP1のイベント画像データA11の開始時刻が「10時30分49秒17」であると特定する。
同期処理部336は、イベント画像データごとに撮像時刻を特定してもよく、複数のイベント画像データごとに撮像時刻を特定してもよい。また、同期処理部336は、時刻画像データにおいて時刻が0.01秒ごとに変化する場合、各フレームの撮像時刻を0.01秒単位で特定してもよく、変化する時刻の時間間隔の整数倍ごとに各フレームの撮像時刻を特定してもよい。
同期処理部336は、同期処理部336が特定したイベント画像データのそれぞれの撮像時刻に基づいて、動画像データPのそれぞれに含まれるイベント画像データの時刻の位置を揃える。
図8(b)は、同期処理部336が、動画像データPのそれぞれに含まれるイベント画像データの時刻の位置を揃えた状態を示している。提示対象画像データP1は、動画像データP1に対応し、提示対象画像データP2は、動画像データP2に対応する。
同期処理部336は、例えば、イベント画像データA12とイベント画像データB11との撮像時刻が「10時30分49秒34」と特定する。そして、イベント画像データA12とイベント画像データB11とが同じ時刻に画像管理装置3から出力されるように時刻の位置を揃える。このようにして、同期処理部336は、複数の動画像データを同期させる。
例えば「A小学校運動会の第1競技」を複数の撮像装置が撮像して動画像データを生成する場合、複数の動画像データのそれぞれは、異なる時刻から生成が開始されている可能性が高い。このように、開始時刻が異なる動画像データがユーザ端末4で同時に再生されると、動画像データごとに異なるシーンが表示されてしまう。
そこで、同期処理部336は、時刻特定部334が特定した時刻に対応する動画像データと他データとを同期させることで、同一のシーンに対応する複数の異なる動画像データがユーザ端末4に表示されるようになる。また、同期処理部336は、複数の動画像データのそれぞれに含まれる提示イベントIDが一致することを条件として同期させることで、同じイベントの動画像データがユーザ端末4に表示されるようになる。
ところで、画像管理装置3は、複数の異なるイベント会場で撮影された動画像データを管理する。画像管理装置3は、例えば「A小学校の第2競技」の動画像データ、及び「B小学校の第1競技」の動画像データを管理する。異なるイベント会場で撮影された動画像データが同時にユーザ端末4に表示されることがない場合、同期処理部336は異なるイベント会場で撮影された動画像データを同期させる必要がない。そこで、同期処理部336は、画像管理装置3が複数のイベントの動画像データを管理する場合に同一の競技を撮像して生成した複数の動画像データを同期させるために、動画像データに関連付けられた提示イベントIDを用いて、同期させる複数の動画像データを特定する。
また、同期処理部336は、音データ取得部335が取得した動画像データに関連付けられた音データに基づいて複数の動画像データを同期させてもよい。例えば、音データ取得部335は、動画像データに関連付けられた第1音データと、当該動画像データとは異なる他データに関連付けられた第2音データとを取得する。同期処理部336は、第1音データ及び第2音データの両方に含まれている特徴的な音(例えばピストル音)に対応する画像フレームが一致するように複数の動画像データを同期させてもよい。
また、同期処理部336は、複数の動画像データを同期させるか否かの判定に、第1音データ及び第2音データを用いてもよい。音データ取得部335は、第1音データに含まれる音声に基づいて、動画像データが撮像された場所において行われたイベントを識別するための第1提示イベント識別情報である第1提示イベントIDを特定する。続いて、音データ取得部335は、他データが撮像された場所において行われたイベントを識別するための第2提示イベント識別情報である第2イベントIDを特定する。音データ取得部335は、特定した第1イベントIDと第2イベントIDとを同期処理部336に通知する。同期処理部336は、音データ取得部335から取得した第1イベントIDと第2イベントIDとが一致していることを条件として、動画像データと他データとを同期させる。
さらに、同期処理部336は、画像データ取得部332が時刻に関連付けられた表示データをさらに取得した場合、動画像データと、時刻特定部334が特定した時刻に関連付けられた表示データとを同期させた状態で合成した合成動画像データを生成してもよい。表示データは、例えば時刻に関連付けられたテキストデータやCG画像データ等であり、一例としてイベントのタイトルを示すテキストデータである。
図7に戻って、画像管理部337は、撮像装置2が送信する動画像データを管理する。画像管理部337は、識別情報取得部331部から通知された提示イベントIDが、記憶部32に記憶された登録イベントIDと一致していることを条件として、提示イベントIDに関連付けて画像データ取得部332が取得した動画像データをユーザ端末4に提示する対象である提示対象画像データとして記憶部32に記憶させる。
すなわち、画像管理部337は、登録イベントIDと同一の提示イベントIDを含む第2のQRコードの画像データが含まれている動画像データを提示対象画像データとして記憶部32に記憶させる。画像管理部337は、登録イベントIDと同一の提示イベントIDを含む第2のQRコードの画像データが含まれていない撮像画像データを提示対象画像データとして記憶部32に記憶させない。画像管理部337は、動画像データを提示対象画像データとして記憶部32に記憶させる場合、許諾情報取得部333から取得した利用許諾情報を動画像データに関連付けて記憶部32に記憶させる。
画像管理部337がこのように動作することで、画像管理装置3は、利用許諾情報と閲覧要求情報とに基づいて撮像画像データを送信するかの判定を行うことにより、閲覧可能なユーザを制限することができる。
画像管理部337は、提示イベントIDにイベントの位置を示す第2位置情報であるイベント位置情報が含まれている場合、イベント位置情報と動画像データに対応する撮像位置情報との差を算出してもよい。その場合、画像管理部337は、算出したイベント位置情報と撮像位置情報との差が所定の範囲内である場合に、動画像データを記憶部32に記憶する。所定の範囲は、例えばイベントが「A小学校の運動会」の場合、A小学校の敷地が含まれる最小の円の直径以下の範囲である。
画像管理部337がこのように動作することで、画像管理装置3は、イベントが開催されている場所で撮像された動画像データを関連付けて記憶することができる。また、画像管理装置3は、提示イベントIDが示すイベントとは異なるイベントを撮像した撮像画像データが関連付けられていたとしても、当該撮像画像データをユーザ端末4に提供することを抑制できる。
また、画像管理部337は、イベントが行われた時間帯から所定の範囲内の時刻に送信された動画像データであることを条件として動画像データを記憶部32に記憶させてもよい。このようにするために、画像管理部337は、例えば、提示イベントIDに対応するイベントが行われた時間帯を示すイベント時間帯情報を情報端末1から取得し、動画像データを受信した時刻を示す受信時刻を画像データ取得部332から取得する。画像管理部337は、取得した受信時刻が、取得したイベント時間帯情報が示す時間帯に基づく所定の範囲内である場合に、動画像データを記憶部32に記憶させる。
イベント時間帯情報が示す時間帯に基づく所定の範囲は、例えば「A小学校の運動会」が開始された時刻から、「A小学校の運動会」が終了してから1時間が経過した時刻までの時間帯である。画像管理部337がこのように動作することで、イベントに関係ない動画像データが誤って記憶部32に記憶されることが抑制される。
画像提供部338は、ネットワークNを介してユーザ端末4に提示対象画像を送信する。画像提供部338は、例えば、提示対象画像データの閲覧要求を示す閲覧要求情報をユーザ端末4から受信した場合に、閲覧要求情報が登録イベントIDに対応する情報を含むことを条件として提示対象画像データをユーザ端末4に送信する。
具体的には、例えば登録イベントIDが「A小学校運動会」であり、閲覧要求情報が「A小学校運動会6年1組」である場合、閲覧要求情報は登録イベントIDに対応する情報を含む。この場合、画像提供部338は、ユーザ端末4から受信した閲覧要求情報である「A小学校運動会6年1組」に基づいて、ユーザ端末4に提示対象画像データを送信する。
画像提供部338は、閲覧要求情報を情報端末から受信した場合に、利用許諾情報が示す利用可能範囲であることを閲覧要求情報が示していることを条件として、提示対象画像データを情報端末に送信してもよい。具体的には、例えば利用許諾情報が「A小学校6年1組」であり、閲覧要求情報が「A小学校運動会6年1組」である場合、画像提供部338は、利用許諾情報が示す利用可能範囲を閲覧要求情報が示していると判定する。その結果、情報端末から受信した閲覧要求情報である「A小学校運動会6年1組」に基づいて、情報端末に提示対象画像データを送信する。
画像提供部338は、複数の提示対象画像データをユーザ端末4に送信する場合、同期処理部336が同期させた複数の動画像データと他データとをユーザ端末4に提供する。画像提供部338は、同期処理部336が動画像データと音データとを同期させた場合、複数の動画像データと音データとを同期させた状態でユーザ端末4に提供する。
画像提供部338は、複数の動画像データと音データとを同期させた状態でユーザ端末4に提供する場合、例えば、複数の音データから1つを選択し、選択した音データと複数の動画像データとを関連付けて提供する。音は伝搬速度が光よりも遅いため、動画像データに対する音データの遅延時間は撮影場所によって異なる。画像提供部338が1つの音データをユーザ端末4に提供することで、少しだけずれた複数の音が再生されて聞きづらくなってしまうことを防止できる。画像提供部338は、例えば、複数の音データのうち最も早いタイミングの音データを選択する。このように動作することで、画像提供部338は、動画像データに対する音の遅延の少ない音をユーザ端末4に提供できる。
また、画像提供部338は、例えば、画像データ取得部332が取得した動画像データが変化するタイミングに最も近いタイミングで変化する音データを選択してもよい。例えば、動画像データに「リレー開始」の合図を示す画像が含まれているとする。その場合、「リレー開始」の声音が含まれている音データのうち、「リレー開始」の合図を示す画像の時刻に最も近いタイミングで「リレー開始」の声音が含まれている音データ(すなわち、「リレー開始」という声を出している人に最も近い位置の撮像装置2で取得された音データ)を選択する。このように動作することで、画像管理装置3は、ユーザに、動画像データと音データとの時刻の差による違和感を与えづらくすることができる。
さらに、画像提供部338は、取得した複数の集音位置情報が示す複数の位置のうち、取得した被写体位置情報が示す位置に最も近い位置に対応する集音位置情報に関連付けられた音データを選択してもよい。このようにするために、画像提供部338は、音データ取得部335が取得した複数の音データそれぞれが集音された位置を示す複数の集音位置情報を取得する。画像提供部338は、画像データ取得部332が取得した動画像データに含まれる被写体の位置を示す被写体位置情報を取得する。このように動作することで、動画像データに対する音の遅延の少ない音を提供できる。この構成は、例えばコンサート会場のステージで歌手の歌声を集音する場合に好適である。
画像提供部338は、記憶部32に記憶された動画像データである提示対象画像データが時刻画像データを含む場合、動画像データのうち時刻画像データを除く部分動画像データをユーザ端末4に提供してもよい。例えば動画像データの冒頭部分に時刻画像データが含まれている場合、画像提供部338は、時刻画像データが終了した後にイベントが撮影された部分の動画像データをユーザ端末4に提供する。また、画像提供部338は、同期処理部336が、動画像データにテキストデータ又はCG画像データが合成された合成動画像データを生成した場合、生成された合成動画像データをユーザ端末4に送信する。
操作受付部339は、ユーザ端末4から閲覧の要求と提示対象画像を取得するために行う操作とを受け付ける。操作受付部339は、受け付けた要求及び操作を画像提供部338に通知する。
操作受付部339は、提示対象画像データに音データが関連付けられている場合、提示対象画像データである動画像データに関連付けられた音データを取得するか、動画像データに関連付けられていない音データを取得するかを受け付ける。操作受付部339は、受け付けた操作を音データ取得部335に通知する。
[画像管理部337の動作]
図9は、画像管理装置3が動画像データを記憶部32に記憶させる動作のフローチャートである。画像管理部337は、例えばイベントの主催者から登録イベントIDを取得して、記憶部32に記憶させる(S31)。画像管理部337は、登録イベントIDに関連付けて、イベントの開催時間帯及びイベントの開催場所等の情報を記憶部32に記憶させてもよい。その後、イベントが始まると、画像データ取得部332は動画像データの取得を開始する。画像データ取得部332は、撮像装置2から動画像データを受信した場合(S32のYES)、当該動画像データに含まれている提示イベントIDを抽出する(S33)。
続いて、許諾情報取得部333は、提示対象画像の利用可能範囲を示す利用許諾情報を取得する(S34)。許諾情報取得部333は、画像データ取得部332が取得した動画像データに含まれている情報格納画像を解析することにより利用許諾情報を取得する。動画像データに含まれている情報格納画像に電子透かしデータが含まれている場合、許諾情報取得部333は、当該電子透かしデータを解析することにより利用許諾情報を取得する。
続いて、画像管理部337は、記憶部32に記憶された登録イベントIDと動画像データから抽出された提示イベントIDとが一致するか否かを判定する(S35)。登録イベントIDと提示イベントIDとが一致する場合(S35のYES)、画像管理部337は、取得した動画像データが撮像された位置を特定する処理に進む。登録イベントIDと提示イベントIDとが一致しない場合(S35のNO)、画像管理部337は、当該提示イベントIDに対応する動画像データを記憶部32に記憶させずに処理を終了する。
続いて、許諾情報取得部333は、動画像データに対応する撮像画像に対応する位置を示す第1位置情報である撮像位置情報を撮像装置2から取得する。画像管理部337は、当該撮像位置情報が示す位置と、提示イベントIDに含まれるイベントの位置を示す第2位置情報であるイベント位置情報が示す位置との差を算出する。
撮像位置情報が示す位置とイベント位置情報が示す位置との差が閾値以下であり、撮影した位置が所定の範囲内である場合(S36のYES)、画像管理部337は、取得した動画像データを撮像した時間を特定する処理に進む。撮像位置情報が示す位置とイベント位置情報が示す位置との差が閾値以下ではない場合(S36のNO)、画像管理部337は、撮像位置情報を含む提示イベントIDに対応する動画像データを記憶部32に記憶させずに処理を終了する。
続いて、画像管理部337は、動画像データを受信した時刻を示す受信時刻を取得する。そして、画像管理部337は、取得した受信時刻が、予め記憶部32に記憶されたイベント時間帯情報が示す時間帯に基づいて定められた所定の範囲内である場合(S37のYES)、受信時刻に対応する提示イベントIDに関連付けられた動画像データを記憶部32に記憶させる(S38)。
なお、図9に示すフローチャートにおいては、S36及びS37において、撮影位置及び撮影時間帯が所定の範囲内であることを条件として画像管理部337が動画像データを記憶部32に記憶させたが、画像管理部337はS36及びS37を実行しなくてもよい。すなわち、画像管理部337は、登録イベントIDと提示イベントIDとが一致すると判定したことに応じて、動画像データを記憶部32に記憶させてもよい。
[同期処理部336の動作]
上述したように、複数のイベント参加者が撮像した画像のそれぞれは、撮像を開始した時刻が異なる。そのため、閲覧要求を送信したユーザは、イベントに関連付けられた動画像データだけを閲覧できたとしても、動画像データのそれぞれの開始時刻の差により音や動画像がずれてしまうので、複数の動画像を同時に閲覧しづらい。複数の動画像を同時に閲覧しやすくするために、同期処理部336が複数の動画像データを同期させる処理について、次に説明する。
図10は、画像管理装置3が複数の動画像データを同期させてユーザ端末4に送信する動作のフローチャートである。画像データ取得部332は、複数の撮像装置2から複数の動画像データを取得する(S41)。画像データ取得部332は、取得した複数の動画像データのそれぞれに含まれるイベント情報画像データを取得する(S42)。画像データ取得部332は、取得した複数のイベント情報画像データのそれぞれを解析することにより、複数のイベント情報画像データのそれぞれに含まれている複数の提示イベントIDを特定する(S43)。
画像データ取得部332は、取得した複数のイベント情報画像データを時刻特定部334に出力する。時刻特定部334は、取得した複数のイベント情報画像データのそれぞれが示す時刻を特定する。
同期処理部336は、画像データ取得部332が特定した複数の提示イベントIDが一致していると判定した場合(S44のYES)、時刻特定部334が特定した複数の動画像データのそれぞれが撮像された時刻を取得する(S45)。
同期処理部336は、画像データ取得部332が取得した複数の動画像データのそれぞれに含まれるイベント画像データに対応する撮像時刻を、時刻特定部334が特定した時刻に基づいて特定する(S46)。同期処理部336は、特定した撮像時刻に基づいて、複数の動画像データのそれぞれに含まれる複数の画像フレームにおける、時刻が一致する画像フレームを特定する(S47)。
同期処理部336は、時刻が一致する画像フレームが同じタイミングで再生されるように、複数の動画像データの位置を揃える(S48)。画像管理部337は、位置が揃えられた複数の動画像データを記憶部32に記憶させる(S49)。
[音データの選択]
図11は、画像提供部338が複数の動画像データと音データとを同期させた状態でユーザ端末4に送信する動作について説明するための図である。図11(a)は、画像データ取得部332が取得した複数の動画像データP(P1,P2)と、音データ取得部335が取得した複数の音データM(M1,M2)を示している。複数の動画像データPについては、図8(a)と同じである。
音データM1は、動画像データP1に関連付けられた音データである。音データ取得部335は、例えば、画像データ取得部332が動画像データP1に含まれるイベント画像データA11を取得した時刻と同じ時刻にイベント音データE11を取得する。
音データM2は、動画像データP2に関連付けられた音データである。音データ取得部335は、例えば、画像データ取得部332が動画像データP2に含まれるイベント画像データB11を取得した時刻より遅れてイベント音データF11を取得する。
図11(b)は、画像提供部338がユーザ端末4に送信する複数の動画像データと音データとを示している。提示対象画像データP1は、動画像データP1に対応し、提示対象画像データP2は、動画像データP2に対応し、提示対象音データM1は、音データM1に対応する。
画像提供部338は、例えば、同期処理部336から取得した複数の動画像データPに同期した複数の音データMのうち、動画像データに対して遅延が少ない音データを選択する。図11(b)においては、音データM1と動画像データP1との遅延よりも音データM2と動画像データP2との遅延が大きい。したがって、画像提供部338は、音データM1を選択して複数の提示対象画像データに関連付けてユーザ端末4に出力する。
ところで、画像提供部338は、音データに関連付けられる動画像データの時刻に基づいて音データを選択してもよい。具体的には、複数の動画像データのうち、特定した時刻が早い動画像データに関連付けられた音データを選択してユーザ端末4に出力してもよい。
画像提供部338は、例えば、コンサートのように演奏曲の開始タイミングで複数の動画像データが同時に撮像される場合、画像提供部338は、動画像データと音データとの遅延が少ない音データを選択する。一方、運動会のように、撮影者によって撮像を開始するタイミングが異なる場合は、開始時刻が早い動画像データに関連付けられた音データを選択する。画像提供部338は、例えば操作受付部339が受け付けた操作内容に基づいて、どのような音データを選択するかを決定してもよい。画像提供部338がこのように動作することで、動画像データが撮像されるイベントの内容に適した音データを選択することができる。
[変形例1]
以上の説明においては、画像管理装置3が、運動会等のイベント会場で撮影された動画像データと当該動画像データに関連付けられた音データとをユーザ端末4に提供する用途で用いられる場合を例示したが、画像管理装置3の用途はこれに限らない。イベントが、一人又は複数のユーザが自宅や店舗等で歌や踊りを撮影するものであり、自宅や店舗等がイベント会場であってもよい。この場合、画像管理装置3は、音楽に合わせて人が歌う動く場面が撮影された動画像データと音楽データとをユーザ端末4に提供する用途で用いられている。音楽データは、例えば、ユーザが単独で開催するイベントを識別するためのイベント識別情報や動画像データに関連付けられた音データに含まれる音楽と同じであり、撮影場所とは異なる場所で録音または集音されたデータである。音楽データは、画像管理装置3が予め記憶部32に記憶させていてもよい。
図12は、動画像データに含まれる時刻情報に関連付けられた音楽データを提供する場合の画像管理装置3の構成を示す図である。図12の画像管理装置3は、音楽データ取得部340を有する点で図7に示す画像管理装置3と異なり、他の点において同じである。
音楽データ取得部340は、時刻に関連付けられた第1音楽データを取得する。同期処理部336は、取得した第1音楽データと動画像データとを同期させる。同期処理部336は、動画像データと、時刻特定部334が特定した時刻に関連付けられた第1音楽データとを同期させた状態で、第1音楽データと動画像データとを合成させた合成動画コンテンツを生成する。画像提供部338は、同期処理部336が生成した合成動画コンテンツをユーザ端末4に出力する。
以下、画像管理装置3が、例えば、音楽、伴奏、又は器楽曲に合わせて歌っているシーンが撮像されて生成された動画像データに音楽データが合成された合成動画コンテンツをユーザ端末4に提供する場合の処理を説明する。
動画像データの撮影者であるユーザは、撮像装置2において、ユーザ自身もしくは第三者が設定した基準時刻に対する所定の相対時刻が到来した場合に自身の情報端末1にて第1音楽データと同じ時刻情報に関連付けられた第2音楽データが再生されるように設定しておく。基準時刻は、例えばユーザが情報端末1において所定のアプリケーションソフトウェアの音楽再生機能を起動した時刻であり、音楽再生機能が起動すると、情報端末1は、−10秒、−9秒、・・・のように変化する相対時刻を表示する。情報端末1は、相対時刻の表示を開始してから所定の時間が経過した後に音楽の再生を開始する。例えば、相対時刻の表示を開始してから10秒が経過して相対時刻が0秒になった時点で第2音楽データの再生を開始する。
ユーザは、音楽作成機能を起動させた後に、自身の情報端末1に表示された時刻画像データを撮像装置2で撮影してから、ユーザ自身が写るように撮像装置2をセットする。ユーザは、情報端末1が第2音楽データの再生を開始すると、ユーザ自身が撮影されている状態で、第2音楽データに基づく音楽に合わせて自身が歌い始める。撮像装置2は、このようにして作成した動画像データを画像管理装置3に送信する。
このような動画像データには、第2音楽データに基づく音楽以外の環境音も含まれているので、このままでは動画コンテンツとしての質が低い。そこで、画像管理装置3は、動画像データに関連付けられている音データを、第2音楽データに対応する第1音楽データに置換することで、質の高い合成動画コンテンツを生成する。
撮像装置2から画像管理装置3に動画像データが送信されると、画像データ取得部332は、第1音楽データに対応する第2音楽データに基づく音楽を情報端末1で再生する前に情報端末1に表示された時刻画像データを含む動画像データを取得する。ここで用いられる時刻画像データは、第1音楽データ及び第2音楽データの開始タイミングに同期している。第2音楽データは、情報端末1が有しており、情報端末1において再生する音楽データである。同期処理部336は、動画像データと、時刻特定部334が特定した第2音楽データに同期した時刻に関連付けられた第1音楽データとを同期させた状態で合成画像コンテンツを作成する。
具体的には、同期処理部336は、時刻画像データに基づいて、動画像データに含まれる時刻画像データ以外の画像データ(すなわち画像フレーム)の撮像開始時刻を特定し、特定した動画フレームの撮像開始時刻に第1音楽データが開始するように、動画像データと第1音楽データとを同期させることにより、合成画像コンテンツを作成する。画像提供部338は、このようにして作成された合成画像コンテンツをユーザ端末4に提供する。
[変形例2]
上記の説明においては、情報端末1がGPS衛星から受信した電波に基づく絶対時刻又は端末アプリケーションが生成する相対時刻を表示する場合を例示したが、情報端末1が表示する時刻は、イベントにおいて定められた基準時刻に対する相対時刻であってもよい。例えば、複数の情報端末1のそれぞれは、複数のグループのいずれかに属し、時刻表示部として機能する表示部12は、同一のグループに属する情報端末1が取得する時刻画像データが示す時刻に関連付けられた時刻を表示する。
例えば、同一のグループに属する複数の情報端末1のうち1台の情報端末1が同一のグループに属する他の情報端末1に、内部時計が発生する時刻を示す時刻情報を定期的に送信する。他の情報端末1は、受信した時刻情報に基づく時刻画像データを表示する。
[変形例3]
上記の説明においては、撮像装置2が提示イベントIDを含む第2のQRコードの画像データ及び時刻画像データが含まれている動画像データを画像管理装置3に送信する場合を例示したが、情報端末1が撮像装置2の機能を有しており、情報端末1が第1QRコードを撮影し、当該第1QRコードの画像データ及び時刻画像データが含まれている動画像データを画像管理装置3に送信してもよい。
図13は、変形例3に係る画像管理システムS2の構成を示す図である。図13に示すように、情報端末1a〜1cのそれぞれは、提示イベントIDを含む第1QRコードを撮影して作成した動画像データを画像管理装置3に送信する。さらに、情報端末1a〜1cは、図1に示したユーザ端末4として機能することも可能であり、情報端末1a〜1cは、画像管理装置3が管理する動画像データを表示することもできる。このように、画像管理システムS2においては、情報端末1と画像管理装置3を用いて、図1に示した構成と同等の処理を実現することができる。
画像管理システムS2においては、撮像装置2が実行可能な各種の処理を情報端末1が実行してもよい。例えば、画像管理装置3の許諾情報取得部333は、動画像データに対応する撮像画像を情報端末1が撮像した位置を示す撮像位置情報を、動画像データを送信した情報端末1から取得してもよい。
なお、情報端末1が第1QRコード及び時刻画像データを生成するとともに、動画像データを生成し、生成した第1QRコードの画像データ及び時刻画像データが含まれている動画像データを画像管理装置3に送信してもよい。
[変形例4]
情報端末1は、提示イベントIDが含まれておらず、利用許諾情報が含まれるQRコードを生成してもよい。情報端末1は、例えば情報端末1のユーザが属するグループに対応する利用許諾情報を示すQRコードを生成する。この場合、画像管理部337は、予め登録された利用許諾情報が動画像データに含まれていることを条件として、画像データ取得部332が取得した動画像データをユーザ端末4に提示する対象である提示対象画像データとして記憶部32に記憶させてもよい。そして、画像提供部338は、閲覧要求情報をユーザ端末4から受信した場合に、利用許諾情報が示す利用可能範囲であることを閲覧要求情報が示していることを条件として、提示対象画像データをユーザ端末4に送信する。情報端末1及び画像管理装置3がこのように動作することで、登録イベントIDを用いることなく、同じグループのメンバー内で動画像データを共有することが可能になる。
[変形例5]
上記の説明においては、同期処理部336が、時刻画像データを含む複数の動画像データに関連付けられた複数の音データに共通して含まれている特徴的な音のタイミングに基づいて複数の動画像データを同期させる場合を例示したが、同期処理部336が複数の動画像データと、動画像データに関連付けられていない音データとを同期させてもよい。
音データに、時刻を示す音時刻データが含まれており、同期処理部336は、時刻画像データが示す時刻と音時刻データが示す時刻とに基づいて、時刻画像データを含む複数の動画像データと音時刻データを含む音データとを同期させてもよい。音時刻データは、例えばイベント会場で集音した時報音又はGPS衛星等から取得した電波に基づいて特定した時刻を示すデータである。音時刻データは可聴音でもよく、可聴帯域以外の帯域の音を表すデータであってもよい。また、音時刻データは、音をデジタル値に変換したデータであってもよく、時刻を表すテキストデータであってもよい。
音データ取得部335又は同期処理部336は、音時刻データを含む音データを取得して、取得した音データに含まれる音時刻データが示す時刻を特定する。同期処理部336は、音時刻データが示す時刻と時刻特定部334が特定した時刻画像データが示す時刻とに基づいて、音時刻データを含む音データと時刻特定部334が特定した時刻に対応する複数の動画像データとを同期させる。
具体的には、同期処理部336は、時刻画像データが示す時刻を基準にして、動画像データ内の各フレームの時刻を特定し、音時刻データが示す時刻を基準にして、音データのそれぞれの部分の時刻を特定する。同期処理部336は、同じ時刻に対応する動画像データ内のフレームと音データとを関連付ける。
このように動作することで、画像管理装置3は、時刻画像データとは異なる時刻情報が示す時刻に同期した音データであっても、当該音データと時刻画像データを含む複数の動画像データとを同期させることができる。なお、画像管理装置3は、時刻画像データを表示する情報端末1が生成した、時刻画像データが示す時刻に同期した音時刻データを含む音データを、情報端末1から取得することもできる。このような構成は、例えば音データだけを音源の近くで収集することができる環境において好適である。
[本実施形態の画像管理装置3による効果]
以上説明したように、画像管理装置3においては、画像データ取得部332が、取得した動画像データに含まれるイベント情報画像から提示イベントIDを抽出し、画像管理部337が、抽出した提示イベントIDが予め記憶された登録イベントIDと一致していることを条件として記憶部32に動画像データを記憶させる。その結果、画像管理装置3は、ユーザ端末4から受信した閲覧要求情報に基づいて同じイベントで撮像された撮像画像データをユーザ端末4に送信できるので、ユーザ端末4のユーザは、同じイベントで撮像された複数の撮像画像データを同時に閲覧しやすくなる。
また、画像管理装置3においては、時刻特定部334が特定した時刻に基づいて、同期処理部336が複数の動画像データを同期させた状態で、画像提供部338が複数の動画像データをユーザ端末4に提供する。その結果、ユーザ端末4のユーザは、同期した状態の複数の撮像画像データを閲覧することができるので、複数の撮像画像データをさらに閲覧しやすくなる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
1 情報端末
2 撮像装置
3 画像管理装置
4 ユーザ端末
10 撮像部
11 記憶部
12 表示部
13 通信部
14 制御部
21 撮像部
22 通信部
23 記憶部
24 制御部
31 通信部
32 記憶部
33 制御部
141 許諾情報生成部
142 コード生成部
241 画像生成部
242 画像送信部
331 識別情報取得部
332 画像データ取得部
333 許諾情報取得部
334 時刻特定部
335 音データ取得部
336 同期処理部
337 画像管理部
338 画像提供部
339 操作受付部
340 音楽データ取得部

Claims (10)

  1. 撮像画像データを管理する対象となるイベントを識別するための登録イベント識別情報を取得する識別情報取得部と、
    前記イベントで撮像された前記撮像画像データと、前記イベントが開催された場所において提示された提示イベント識別情報及び前記撮像画像データの利用可能範囲を示す利用許諾情報を含む情報格納画像データと、関連付けられた動画像データを取得する画像データ取得部と、
    前記提示イベント識別情報が前記登録イベント識別情報と一致していることを条件として、前記提示イベント識別情報に関連付けて前記画像データ取得部が取得した前記撮像画像データを情報端末に提示する対象である提示対象画像データとして記憶部に記憶させる画像管理部と、
    前記情報格納画像データに含まれる前記利用許諾情報を取得する許諾情報取得部と、
    前記提示対象画像データの閲覧要求を示す閲覧要求情報を情報端末から受信した場合に、前記閲覧要求情報が前記登録イベント識別情報に対応する情報を含み、かつ前記利用許諾情報が示す利用可能範囲であることを前記閲覧要求情報が示していることを条件として、前記提示対象画像データを前記情報端末に送信する画像提供部と、
    を有する画像管理装置。
  2. 前記画像データ取得部は、前記撮像画像データに含まれている前記提示イベント識別情報を前記撮像画像データから抽出する、
    請求項1に記載の画像管理装置。
  3. 前記許諾情報取得部は、前記撮像画像データに含まれている前記情報格納画像データを解析することにより前記利用許諾情報を取得する、
    請求項1又は2に記載の画像管理装置。
  4. 前記許諾情報取得部は、前記情報格納画像データに含まれている電子透かしデータを解析することにより前記利用許諾情報を取得する、
    請求項1から3のいずれか一項に記載の画像管理装置。
  5. 前記許諾情報取得部は、前記撮像画像データを前記画像データ取得部に送信した撮像装置に関連付けられた前記情報端末から前記利用許諾情報を取得し、前記撮像画像データと前記利用許諾情報とを関連付けて前記記憶部に記憶させる、
    請求項からのいずれか一項に記載の画像管理装置。
  6. 前記許諾情報取得部は、前記撮像画像データに対応する撮像画像を撮像した位置を示す第1位置情報を取得し、
    前記画像管理部は、前記第1位置情報と前記提示イベント識別情報に含まれる前記イベントの位置を示す第2位置情報との差が所定の範囲内である場合に、前記撮像画像データを前記記憶部に記憶する、
    請求項からのいずれか一項に記載の画像管理装置。
  7. 前記画像管理部は、前記提示イベント識別情報に対応する前記イベントが行われた時間帯を示すイベント時間帯情報と前記撮像画像データを受信した時刻を示す受信時刻とを取得し、前記受信時刻が、前記イベント時間帯情報が示す時間帯に基づく所定の範囲内である場合に、前記撮像画像データを前記記憶部に記憶する、
    請求項1からのいずれか一項に記載の画像管理装置。
  8. 動画像を撮像可能な撮像装置と、前記撮像装置が生成した撮像画像データを管理する画像管理装置と、を備え、
    前記画像管理装置は、
    イベントが撮像されて生成された前記撮像画像データを管理する対象となる前記イベントを識別するための登録イベント識別情報を取得する識別情報取得部と、
    前記イベントで撮像された前記撮像画像データと、前記イベントが開催された場所において提示された提示イベント識別情報及び前記撮像画像データの利用可能範囲を示す利用許諾情報を含む情報格納画像データと、関連付けられた動画像データを取得する画像データ取得部と、
    前記提示イベント識別情報が前記登録イベント識別情報と一致していることを条件として、前記提示イベント識別情報に関連付けて前記画像データ取得部が取得した前記撮像画像データを情報端末に提示する対象である提示対象画像データとして記憶部に記憶させる画像管理部と、
    前記情報格納画像データに含まれる前記利用許諾情報を取得する許諾情報取得部と、
    前記提示対象画像データの閲覧要求を示す閲覧要求情報を情報端末から受信した場合に、前記閲覧要求情報が前記登録イベント識別情報に対応する情報を含み、かつ前記利用許諾情報が示す利用可能範囲であることを前記閲覧要求情報が示していることを条件として、前記提示対象画像データを前記情報端末に送信する画像提供部と、
    を有し、
    前記撮像装置は、
    前記イベントが行われる会場に提示された前記提示イベント識別情報に関連付けられた前記動画像データを生成する画像生成部と、
    前記動画像データを送信する画像送信部と、
    を有する、
    画像管理システム。
  9. 情報端末と、撮像画像データを管理する画像管理装置と、を備え、
    前記画像管理装置は、
    イベントが撮像されて生成された前記撮像画像データを管理する対象となる前記イベントを識別するための登録イベント識別情報を取得する識別情報取得部と、
    前記イベントで撮像された前記撮像画像データと、前記イベントが開催された場所において前記情報端末が提示した提示イベント識別情報及び前記撮像画像データの利用可能範囲を示す利用許諾情報を含む情報格納画像データと、関連付けられた動画像データを取得する画像データ取得部と、
    前記提示イベント識別情報が前記登録イベント識別情報と一致していることを条件として、前記提示イベント識別情報に関連付けて前記画像データ取得部が取得した前記撮像画像データを情報端末に提示する対象である提示対象画像データとして記憶部に記憶させる画像管理部と、
    前記情報格納画像データに含まれる前記利用許諾情報を取得する許諾情報取得部と、
    前記提示対象画像データの閲覧要求を示す閲覧要求情報を情報端末から受信した場合に、前記閲覧要求情報が前記登録イベント識別情報に対応する情報を含み、かつ前記利用許諾情報が示す利用可能範囲であることを前記閲覧要求情報が示していることを条件として、前記提示対象画像データを前記情報端末に送信する画像提供部と、
    を有し、
    前記情報端末は、現在位置及び現在時刻を前記画像管理装置に送信することにより前記画像管理装置から取得した前記登録イベント識別情報を前記提示イベント識別情報として表示する、
    画像管理システム。
  10. コンピュータが、
    イベントが撮像されて生成された撮像画像データを管理する対象となる前記イベントを識別するための登録イベント識別情報を取得するステップと、
    前記イベントで撮像された前記撮像画像データと、前記イベントが開催された場所において提示された提示イベント識別情報及び前記撮像画像データの利用可能範囲を示す利用許諾情報を含む情報格納画像データと、関連付けられた動画像データを取得するステップと、
    前記提示イベント識別情報が前記登録イベント識別情報と一致していることを条件として、前記提示イベント識別情報に関連付けられた前記撮像画像データを情報端末に提示する対象である提示対象画像データとして記憶部に記憶させるステップと、
    前記情報格納画像データに含まれる前記利用許諾情報を取得するステップと、
    前記提示対象画像データの閲覧要求を示す閲覧要求情報を取得した場合に、前記閲覧要求情報が前記登録イベント識別情報に対応する情報を含み、かつ前記利用許諾情報が示す利用可能範囲であることを前記閲覧要求情報が示していることを条件として、前記提示対象画像データを出力するステップと、
    を実行する画像管理方法。
JP2020109133A 2020-06-24 2020-06-24 画像管理装置、画像管理システム及び画像管理方法 Active JP6909902B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020109133A JP6909902B1 (ja) 2020-06-24 2020-06-24 画像管理装置、画像管理システム及び画像管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020109133A JP6909902B1 (ja) 2020-06-24 2020-06-24 画像管理装置、画像管理システム及び画像管理方法

Publications (2)

Publication Number Publication Date
JP6909902B1 true JP6909902B1 (ja) 2021-07-28
JP2022006723A JP2022006723A (ja) 2022-01-13

Family

ID=76967437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020109133A Active JP6909902B1 (ja) 2020-06-24 2020-06-24 画像管理装置、画像管理システム及び画像管理方法

Country Status (1)

Country Link
JP (1) JP6909902B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008072653A1 (ja) * 2006-12-15 2008-06-19 Panasonic Corporation 携帯端末装置および画像選択方法
JP2009278161A (ja) * 2008-05-12 2009-11-26 Olympus Corp イベント用データ処理システム
JP2016066998A (ja) * 2014-09-17 2016-04-28 イーキューデザイン株式会社 写真・動画像提供システム
JP2019066965A (ja) * 2017-09-28 2019-04-25 株式会社日本総合研究所 想い出チケット登録支援システム、その方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008072653A1 (ja) * 2006-12-15 2008-06-19 Panasonic Corporation 携帯端末装置および画像選択方法
JP2009278161A (ja) * 2008-05-12 2009-11-26 Olympus Corp イベント用データ処理システム
JP2016066998A (ja) * 2014-09-17 2016-04-28 イーキューデザイン株式会社 写真・動画像提供システム
JP2019066965A (ja) * 2017-09-28 2019-04-25 株式会社日本総合研究所 想い出チケット登録支援システム、その方法及びプログラム

Also Published As

Publication number Publication date
JP2022006723A (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
JP6435585B2 (ja) コンテンツ再生方法、コンテンツ再生装置およびコンテンツ再生プログラム
US8212911B2 (en) Imaging apparatus, imaging system, and imaging method displaying recommendation information
KR20160031992A (ko) 실시간 동영상 제공 방법, 장치, 서버, 단말기기, 프로그램 및 기록매체
JP2009124206A (ja) マルチメディア合成データ生成装置
JP5964722B2 (ja) カラオケシステム
JP5449113B2 (ja) 番組推薦装置
JP5651939B2 (ja) 画像処理装置及びプログラム
JP2023153790A (ja) プログラム
JP6909902B1 (ja) 画像管理装置、画像管理システム及び画像管理方法
JP6909904B1 (ja) 画像管理装置、画像管理システム及び画像管理方法
JP6909903B1 (ja) 画像管理装置、画像管理システム及び画像管理方法
KR101680551B1 (ko) 개인뮤직비디오 제작 및 자동판매방법
JP2010262072A (ja) デジタルテレビ対応カラオケシステム
JP6849851B2 (ja) 撮影システム、撮影装置及びユーザ撮影方法
KR100671147B1 (ko) 명장면 체험 서비스 장치 및 그 방법
JP2020122857A (ja) カラオケシステム
WO2022176633A1 (ja) 映像編集装置、映像編集方法、及びコンピュータプログラム
JP6146162B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、及び画像処理プログラム
JP7148883B2 (ja) 画像提供システム
JP2013182073A (ja) コラボレーション歌唱の録画システム
WO2024057398A1 (ja) 提示映像調整装置、提示映像調整方法及び提示映像調整プログラム
JP6424945B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
TWI221731B (en) Automatic AV production supply system and method thereof
JP2020188328A (ja) 映像システム
CN113542791A (zh) 个性化视频集锦生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201120

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201120

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210705

R150 Certificate of patent or registration of utility model

Ref document number: 6909902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150