図1は、本発明の一実施形態による映像共有システムの構成を示すブロック図である。この映像共有システムは、主に幼稚園や保育園、小学校等の施設において、複数の撮影者がその施設内で撮影した映像を共有化する際に用いられるものである。この映像共有システムを用いることにより、たとえば運動会などのイベントにおいて子供達の親がそれぞれ撮影者となって自分の子供を撮影した映像を、他の親との間で共有することができる。これにより、自分の子供が障害物の陰に隠れたりしてうまく撮影できなかった場面があっても、他の親が撮影した映像を利用することで、その場面に自分の子供が写っている映像を得ることができるようになる。
図1の映像共有システム100は、ICタグ101と、ICタグ受信機102と、カメラ103と、制御装置104と、記録装置105とで構成される。なお、ICタグ受信機102、制御装置104および記録装置105は施設内に予め設置されている。一方、ICタグ101およびカメラ103は、映像共有システム100のユーザである子供と撮影者によって所持されている。
ICタグ101は、カメラ103により被写体とされる子供達(園児、児童など)が各自1つずつ所持している。例えば、名札、帽子、靴、園児服、体操服などにICタグ101を装着しておき、これらのものを身に着けることによって子供達にICタグ101を所持させる。さらに、カメラ103を所持している撮影者(親など)も、各自ICタグ101を所持している。この場合、子供と同様にICタグ101を撮影者の衣服などに装着してもよいし、あるいはカメラ103に装着してもよい。すなわち、図1ではICタグ101を代表して1つのブロックで表しているが、実際には子供と撮影者の数に応じた複数のICタグ101が映像共有システム100に含まれる。
ICタグ101には、ICタグ101の各々を一意に識別するための固有のタグ番号がそれぞれ付与されており、このタグ番号でICタグ101を所持している人物を特定できるようになっている。具体的には、各撮影者および子供がそれぞれ所持している複数のICタグ101のタグ番号と、その各々を所持している人物とを対応付けたタグ管理情報が後述する記録装置105に予め記録されている。そして、制御装置104は、ICタグ受信機102で読み取ったICタグ101のタグ番号に基づいて、そのICタグ101の所持者が誰であるかを特定する。なお、各ICタグ101のタグ番号はタグ情報の一部としてICタグ受信機102に送信される。すなわち各ICタグ101は、各々に固有の識別情報としてタグ情報を送信する。
ICタグ受信機102は、映像共有システム100が用いられる施設内に所定間隔ごとに設置される。具体的には、園庭や校庭の地中、施設の建物の床下などに、所定の間隔を空けて(例えば、地中には2mおき、床下には1mおきに)碁盤の目状に埋め込まれて設置される。すなわち、このICタグ受信機102も図1では代表して1つのブロックで表しているが、実際には複数のICタグ受信機102が映像共有システム100に含まれている。また、各ICタグ受信機102には、それぞれのICタグ受信機102を一意に識別するための受信機番号が付加されている。そして、各ICタグ受信機102の設置位置と受信機番号とを対応付けた受信機管理情報が記録装置105に記録されている。
上記のように施設内に所定間隔ごとに設置されたICタグ受信機102のいずれかの上を子供や撮影者が通過すると、そのICタグ受信機102は、通過した人物が所持しているICタグ101から無線通信によりタグ情報を読み込んで、そのタグ情報と自身の受信機番号とを制御装置104へ出力する。制御装置104では、後述するように、タグ情報に含まれるタグ番号を特定し、さらに受信機番号に基づいてその受信機の設置位置を特定することで、ICタグ101を所持する人物(すなわち、子供または撮影者)の施設内における所在位置をそれぞれ特定することができる。換言すると、ICタグ受信機102により受信されたICタグ101の各々に固有の識別情報と、そのICタグ101からの識別情報を受信したICタグ受信機102の設置位置とに基づいて、被写体である子供の所在位置や、撮影者が所持するカメラ103の施設内における所在位置を特定することができる。
図2は、園庭や校庭、あるいは施設の建物におけるICタグ受信機102の設置例を示す図である。図2においては、ICタグ受信機102の設置位置を白丸で示している。この図2に示す例では、ICタグ受信機102は施設内に等間隔で設置されている。なお、ICタグ受信機102の設置間隔は必ずしも図2のように等間隔である必要はない。
カメラ103は、撮影者によって所持されるビデオカメラであり、撮影者の操作に応じて施設内に存在する子供達のいずれかを撮影して、その映像を制御装置104へ逐次送信する。さらに、撮影時の撮影方向や焦点距離、撮影レンズのズーム量や画角などを求め、これらのうち後述する撮影範囲の算出において必要な情報を撮影情報として撮影映像と共に制御装置104へ逐次送信する。なお撮影方向については、たとえばカメラ103に方位検出センサや姿勢検出センサなどを内蔵し、それを用いてカメラ103がどちらを向いているかを検出することにより検出することができる。これらの撮影情報を映像データ内にメタデータとして埋め込むことにより撮影映像と共に送信してもよい。
なお、施設内に複数の撮影者がいる場合は、その撮影者ごとにカメラ103が所持される。すなわち、このカメラ103も図1では代表して1つのブロックで表しているが、実際には複数のカメラ103が映像共有システム100に含まれる。
制御装置104は、例えばパソコンやサーバなどのコンピュータ装置であり、施設内の複数箇所に設置されたICタグ受信機102とは、施設内に敷設されたLAN等を介して接続されている。また、カメラ103とは無線LANなどの無線通信回線を介して接続され、記録装置105とは所定のインタフェースを介して接続される。この制御装置104は、位置特定部104a、スケジュール管理部104b、映像収集部104c、映像編集部104dおよび課金部104eを機能的に有している。
位置特定部104aは、ICタグ受信機102からタグ情報と受信機番号が入力されると、上述したように記録装置105に記録されている受信機管理情報に基づいて、入力された受信機番号に対応するICタグ受信機102の設置位置を特定すると共に、入力されたタグ情報に基づいて、そのタグ情報を発信したICタグ101のタグ番号を特定する。こうして特定されたICタグ受信機102の設置位置とICタグ101のタグ番号から、そのタグ番号が付与されたICタグ101を所持する人物(子供または撮影者)が施設内のどこにいるかを特定する。そして、子供の場合はその位置を被写体位置として、また撮影者の場合はその位置をカメラ位置として、記録装置105にそれぞれ記録する。この被写体位置およびカメラ位置は、子供や撮影者が移動して所持するICタグ101のタグ情報がそれまでとは異なるICタグ受信機102によって受信されたときに更新される。
スケジュール管理部104bは、イベントスケジュールに従って予め登録されたイベントプログラムごとの出場者登録情報に基づいて、次のイベントプログラムの出場予定者を特定し、その出場予定者を被写体として撮影する撮影者に対して、撮影開始を促す旨を伝える警告情報を送信する。たとえば運動会において、次の競技に出場する子供の親に対して警告情報を送信する。この警告情報の送信は、たとえば撮影者が所持するカメラ103に対して、電源投入や警告音の出力、液晶モニタの点滅表示、液晶モニタにおける「出番5分前です」等の警告表示など、特定の動作を指示する制御信号を送信することによって行われる。なおこの場合、被写体(子供)とカメラ103の対応関係が予め登録されている。あるいは、予め登録された親の携帯電話のメールアドレスにメールを送信したりすることにより行われる。なお、登録されたイベントプログラムごとの出場者登録情報は、記録装置105に記録される。
映像収集部104cは、カメラ103により撮影されて逐次送信される映像を受信することにより、各カメラ103からの撮影映像を収集して記録装置105に記録する。この映像収集部104cによって、複数のカメラ103から収集された複数の映像が記録装置105に記録される。さらに、前述のような撮影条件情報を撮影映像と共にカメラ103から逐次受信し、撮影映像と合わせて記録装置105に所定時間ごとに記録する。こうして記録された撮影条件情報は、後述する映像編集部104dが行う映像判定処理においてカメラ103の撮影範囲を求める際に用いられる。
映像編集部104dは、映像収集部104cによって複数のカメラ103から収集された各撮影映像における被写体を特定し、その結果に基づいて、いずれかの被写体を編集対象とした映像の編集を行う。この映像編集では、収集された各撮影映像の中から編集対象とされた被写体が最もよく写っている映像部分を所定時間ごとに抽出し、それを順次挿入して映像を編集することにより、その被写体に適した編集映像を作成する。このときの詳しい処理内容については、後で説明する。
課金部104eは、映像編集部104dによって複数の撮影映像を編集して作成された編集映像をユーザに提供する際に、そのユーザに対する課金額またはそのユーザが受け取る受領金額の算出を行う。このとき、ユーザに提供する編集映像において当該ユーザ以外の撮影者が撮影した映像が利用されている場合は、その利用時間に応じた金額が当該ユーザに対して課金され、映像の提供者に支払われる。これとは反対に、当該ユーザの撮影した映像が他のユーザに提供された編集映像において利用されている場合は、当該ユーザに対してその利用時間に応じた金額が支払われる。この課金額または受領金額の具体的な算出方法については、後で詳しく説明する。
記録装置105は、前述したような様々な情報、すなわちタグ管理情報や受信機管理情報、位置特定部104aにより特定された被写体位置およびカメラ位置の情報、映像収集部104cによって収集されたカメラ103の撮影映像および撮影情報、イベントプログラムごとの出場者登録情報などを記録して蓄積することができる。この記録装置105には、たとえばハードディスクなどが用いられる。
以上説明したような映像共有システム100を用いることにより、運動会に参加している子供達を被写体としてそれぞれの親が撮影した映像を収集し、親同士の間で共有化することができる。そして、運動会の終了後に親が自宅のパーソナルコンピュータから映像共有システム100にアクセスする等の方法により、自分の子供を編集対象に指定すると、自分の撮影映像だけでなく共有化された他の親の撮影映像も利用して、自分の子供が最もよく写っている編集映像を作成することができる。
図3は、映像共有システム100において制御装置104により実行される処理を示すフローチャートである。このフローチャートに示すように、制御装置104はステップS100のイベント中処理、ステップS200の映像判定処理、ステップS300の映像編集処理およびステップS400の課金処理を順番に実行する。これらの各ステップにおける具体的な処理の内容を、図4〜7のフローチャートを用いて以下に説明する。なお、ステップS100のイベント中処理は運動会などのイベント開催中に実行され、それ以外の処理はイベント終了後に実行される。
図4は、図3のステップS100のイベント中処理において実行される処理のフローチャートである。このフローチャートは、ステップS101〜S104の位置特定処理と、ステップS111〜S114のスケジュール管理処理と、ステップS121、S122の映像収集処理と、ステップS131の判定処理とによって構成されている。なお、位置特定処理は制御装置104において位置特定部104aにより実行され、スケジュール管理処理はスケジュール管理部104bにより実行され、映像収集処理は映像収集部104cにより実行される。
ステップS101では、ICタグ受信機102からタグ情報と受信機番号を入力する。ステップS102では、ステップS101で入力したタグ番号と記録装置105に記録されたタグ管理情報に基づいて、そのタグ番号に該当する被写体またはカメラ103を特定する。ステップS103では、ステップS102で特定された被写体またはカメラ103について、ステップS101で入力した受信機番号と記録装置105に記録された受信機管理情報に基づいて、その被写体位置またはカメラ位置を特定する。ステップS104では、ステップS103で特定された被写体位置またはカメラ位置を記録装置105に記録する。
以上説明したステップS101〜S104の位置特定処理により、ICタグ受信機102から入力されたタグ番号が子供の所持するICタグ101に対して付与されたものである場合、その子供が被写体として特定され、その所在位置が被写体位置として記録装置105に記録される。また、ICタグ受信機102から入力されたタグ番号が撮影者である親の所持するICタグ101に対して付与されたものである場合、その撮影者が所持しているカメラ103が特定され、その所在位置がカメラ位置として記録装置105に記録される。このようにして、映像共有システム100に含まれる複数の被写体およびカメラ103について、それぞれの被写体位置およびカメラ位置を記録する。
ステップS111では、記録装置105に記録された出場者登録情報を読み出す。この出場者登録情報の例を図8に示す。この例では、運動会の「玉入れ」、「100m走」、「おどり(年長)」、および「障害物競走」の各競技プログラムについて、子供A〜Eがどの競技プログラムに出場するかを表している。システム管理者や子供達の親が事前に各競技プログラムに出場する子供のチェックボックスをチェックしておくことにより、このような出場者登録情報を登録することができる。
ステップS112では、ステップS111で読み出した出場者登録情報に基づいて、次のイベントプログラムの開始時間に近づいた否かを判定する。ここでは、次のイベントプログラムが開始される所定時間前、たとえば5分前になったときに開始時間に近づいたと判定する。すなわち図8の出場者登録情報の例では、たとえば9時55分になったときに「玉入れ」の開始時間に近づいたと判定し、10時35分になったときに「100m走」の開始時間に近づいたと判定する。このようにして、ステップS112が肯定判定された場合はステップS113へ進む。一方、ステップS112が否定判定された場合は、ステップS113、S114を飛ばしてその次のステップS121へ進む。
ステップS113では、ステップS111で読み出した出場者登録情報に基づいて、次のイベントプログラムの出場予定者を特定する。こうして次のイベントプログラムの出場予定者を特定することにより、出番が近い被写体が判断される。ステップS114では、ステップS113で特定された出場予定者を被写体として撮影を行う者に対して、撮影を促す旨を伝える警告情報を前述のような方法により送信する。すなわち図8の出場者登録情報の例では、たとえば9時55分になったときには、「玉入れ」に参加する子供A、Cの親に対して警告情報を送信し、10時35分になったときには、「100m走」に参加する子供Cの親に対して警告情報を送信する。
以上説明したステップS111〜S114のスケジュール管理処理により、次のイベントプログラムが開始する所定時間前になったら、予め登録されたイベントプログラムごとの出場者登録情報に基づいて、次のイベントプログラムに出場する予定の被写体を特定する。これにより出番が近い被写体を判断し、その被写体の撮影者に対して、その撮影者が所持するカメラ103に特定の動作を指示する制御信号を送信したり、あるいは撮影者が所持する予め登録された携帯電話のメールアドレスにメールを送信したりすることで警告を行う。したがって、撮影者はイベントのスケジュールを覚えていなくても、撮影タイミングを逃すことなく目的とする被写体を確実に撮影することができる。
ステップS121では、カメラ103から送信される撮影映像と撮影情報を受信する。この撮影情報には、前述のようにカメラ103における撮影時の様々な撮影条件が表されている。ステップS122では、ステップS121で受信した撮影映像と撮影情報を記録装置105に記録する。このとき、各撮影映像のホワイトバランスが一致するように調節したりしてもよい。こうしてステップS121およびS122の映像収集処理を実行することにより、複数の撮影者がカメラ103によってそれぞれ撮影した映像を収集して各ユーザ間で共有化することができる。
なお、上記のようにしてカメラ103から撮影映像と撮影情報を送信する際には、後述のような映像判定処理および映像編集処理を実行するための時刻情報を付加しておく必要がある。この時刻情報は、処理対象とされる全ての撮影映像および撮影情報において一致していなければならない。そのため、全ての撮影者がカメラ103の時計を同じ時刻に予め合わせておく必要がある。たとえば、標準電波を受信して時刻校正を行う電波時計をカメラ103に搭載することにより、複数のカメラ103の時計合わせを自動的に行うことができる。
ステップS131では、イベントが終了したか否かを判定する。この判定は、ステップS111で読み出した出場者登録情報に基づいて行ってもよいし、システム管理者などがイベント終了時に行う所定の操作を検出することで行ってもよい。まだイベントが終了していないと判定した場合はステップS101へ戻り、上記のような処理を繰り返す。一方、既にイベントが終了したと判定した場合は、図4のフローチャートを終了する。イベント中処理では、以上説明したような処理が実行される。
次に、ステップS200の映像判定処理において映像編集部104dにより実行される図5のフローチャートについて説明する。ステップS201では、前述の映像収集処理により収集されて記録装置105に記録された各撮影映像に対して基準時刻の設定を行う。この基準時刻とは、各映像の開始から終了までの間に所定の時間間隔で設定されるものであり、たとえば1秒間隔で設定される。この基準時刻は全ての映像に対して共通に設定される。たとえば、最も早い時刻に撮影開始された映像の開始時刻を最初の基準時刻として、そこから所定時間ごとに各映像に対して基準時刻が設定される。なお、基準時刻の設定間隔は、制御装置104の処理能力などに応じて決定される。すなわち、設定間隔を短くするほど、以降に説明する処理の合計ステップ数が増大して制御装置104の処理負荷が大きくなるので、その処理時間が一定の範囲内となるように、制御装置104の処理能力が高い場合は基準時刻の設定間隔を短くし、処理能力が低い場合は基準時刻の設定間隔を長くすることが好ましい。
ステップS202では、前述の映像収集処理により収集されて記録装置105に記録された撮影映像の中からいずれかを選択する。ここでは、たとえば撮影者が所持するICタグ101のタグ番号が小さいものから、その撮影者による撮影映像を順番に選択する。ステップS203では、ステップS201で設定した基準時刻のうち、ステップS202で選択した映像において最初となる基準時刻を選択する。
ステップS204では、ステップS202で選択した撮影映像と共に記録されている撮影情報のうち、現在選択中の基準時刻における撮影情報を記録装置105から読み出す。ここで現在選択中の基準時刻とは、ステップS203または後述のステップS213によって選択された基準時刻である。すなわち、最初にこのステップS204の処理を実行する場合は、最初の基準時刻が現在選択中の基準時刻とされ、その後はステップS204の処理を繰り返し実行する度に、続く基準時刻が順次に現在選択中の基準時刻とされる。なお、前述のように撮影情報がメタデータとして撮影映像内に埋め込まれている場合は、ステップS202で選択した映像において現在選択中の基準時刻に埋め込まれたメタデータを読み出すことで、撮影情報の読み出しを行う。
ステップS205では、ステップS204で読み出した撮影情報に基づいて、カメラ103の撮影範囲を算出する。ここでは、撮影情報に表される撮影方向を中心にして広がる所定の範囲内を撮影範囲として求める。この撮影範囲の大きさは、撮影情報に表されるカメラ103の焦点距離やズーム量、画角などに応じて決定される。
ステップS206では、現在選択中の基準時刻における被写体位置情報およびカメラ位置情報を記録装置105から読み出す。この被写体位置情報およびカメラ位置情報は、前述の位置特定処理によって記録装置105に記録されたものである。なお、このとき被写体位置情報については記録装置105に記録されている全ての被写体位置情報を読み出し対象とするが、カメラ位置情報については、ステップS202で選択した映像を撮影したカメラ103の位置情報のみを読み出し対象とする。すなわち、全ての被写体の位置情報と、選択した撮影映像に対応するカメラ103の位置情報とを、記録装置105に記録された被写体位置情報およびカメラ位置情報の中から読み出す。
ステップS207では、ステップS205で算出された撮影範囲と、ステップS206で読み出した被写体位置情報およびカメラ位置情報に基づいて、撮影範囲内にある被写体を特定する。すなわち、被写体位置情報とカメラ位置情報から、当該カメラ103に対する各被写体の相対位置を求め、その相対位置が撮影範囲内にある被写体を特定する。ここで特定された撮影範囲内の被写体を対象として、以降に説明するステップS208およびS209の処理が実行される。なお、ステップS207において撮影範囲内にある被写体が一つも特定されたかった場合は、ステップS208、S209およびS210の処理が実行されずに、ステップS211において被写体情報に「なし」と記録される。
ステップS208では、ステップS202で選択した撮影映像において、撮影の障害となっている撮影障害物があるか否かを判定する障害物判定を行う。この障害物判定は次のようにして行うことができる。たとえば、施設内にある障害物の四隅等にICタグ101を配置しておき、そのICタグ101の位置を位置特定部104aにおいて前述のように特定することにより、障害物の位置を特定する。こうして特定された障害物の位置と撮影範囲内にある被写体の位置を比較し、被写体がその障害物の陰になっているか否かを判定することにより、撮影障害物があるか否かを判定することができる。あるいは、撮影画像において被写体が障害物の陰に隠れているか否かを画像処理などで認識することにより、障害物判定を行うようにしてもよい。
ステップS209では、ステップS202で選択した撮影映像における撮影状態の良否を判定する撮影良否判定を行う。たとえば、カメラ103において撮影時に手ぶれや合焦ミスが起きているか否かを検出し、これらが検出されていた場合は前述の撮影情報などにより制御装置104へ通知する。この通知の発生状況を撮影映像と共に記録装置105に記録しておき、発生時には撮影状態が悪いと判定することにより、撮影良否判定を行うことができる。または、カメラ位置および撮影範囲内にある被写体の位置に基づいてカメラ103からその被写体までの距離を計算し、その計算結果を撮影情報の焦点距離と比較して、被写体までの距離がカメラ103の撮影可能範囲外にある場合は撮影状態が悪いと判定することにより、撮影良否判定を行ってもよい。あるいは、撮影画像にぶれやピンボケがあるか否かを顔認識などの画像処理によって認識したり、撮影画像の明るさが適切であるか否かを判定したりすることで、撮影良否判定を行うこともできる。
ステップS210では、ステップS207における撮影範囲内の被写体の特定結果と、ステップS208の障害物判定の結果およびステップS209の撮影良否判定の結果に基づいて、撮影映像において適切に撮影されている被写体を特定する。すなわち、ステップS207で特定された撮影範囲内の被写体のうち、ステップS208で撮影障害物がないと判定され、さらにステップS209で撮影状態が良いと判定されたものを、撮影映像において適切に撮影されている被写体とする。ステップS211では、ステップS210で特定された被写体の情報を被写体情報として記録装置105に記録する。
ステップS212では、ステップS202で選択した撮影映像について、最後の基準時刻まで選択したか否かを判定する。ここでいう最後の基準時刻とは、ステップS201で設定した基準時刻の中で、ステップS202で選択した撮影映像の最後に当たるものである。この最後の基準時刻までをまだ選択していない場合はステップS213へ進み、現在選択中の次の基準時刻を選択した後、ステップS204へ戻る。これにより、次の基準時刻が順次選択され、前述のような処理が繰り返し実行される。一方、最後の基準時刻まで選択した場合はステップS214へ進む。
ステップS214では、ステップS202の処理により、記録装置105に記録されている全ての撮影映像が既に選択されたか否かを判定する。まだ選択していない撮影映像が残っている場合はステップS202へ戻り、それまでに選択したのとは異なる撮影映像をステップS202において選択した後、上記のような処理を繰り返す。このようにすることで、カメラ103により撮影されて収集された撮影映像の全てが順次選択され、図5のフローチャートに示す映像判定処理が繰り返し実行される。一方、ステップS214において全ての撮影映像が選択されたと判定された場合は、図5のフローチャートを終了する。映像判定処理では、以上説明したような処理が実行される。
以上説明したような映像判定処理の具体例を図9および図10を用いて説明する。図9は、カメラ103における撮影状況の例を示している。この例では、カメラ103が右方向に徐々に回転しながら、子供A,BまたはCを被写体として撮影を行っている様子を示している。なお、カメラ103と子供Aの間には障害物200が存在している。
図10は、図9の撮影状況において撮影された映像について、図5のフローチャートに示した映像判定処理により記録される被写体情報の例を示している。初めの基準時刻t0では、カメラ103の撮影範囲内に子供BおよびCが位置しているとする。このとき前述のような障害物判定により、被写体である子供B、C共にカメラ103との間に障害物200がないと判定され、さらに撮影良否判定により、子供B、Cは共に撮影状態が良いと判定されたとする。この場合、基準時刻t0における被写体情報には子供BおよびCが記録される。次の基準時刻t1でも、上記と同様にして被写体情報に子供BおよびCが記録される。
基準時刻t2では、カメラ103が右方向に回転したことによって子供Bが撮影範囲外となったため、撮影範囲内には子供CおよびAが位置しているとする。このとき前述のような障害物判定により、被写体である子供Aとカメラ103の間に障害物200があると判定されたとする。この場合、基準時刻t2における被写体情報には子供Cのみが記録される。次の基準時刻t3でも、同様に被写体情報には子供Cのみが記録される。
その後の基準時刻t4では、カメラ103がさらに右方向に回転したことによって子供Cも撮影範囲外となったため、撮影範囲内には子供Aのみが位置しているとする。この場合、子供Aとカメラ103の間には障害物200があるため、被写体情報にはいずれの子供も記録されずに「なし」と記録される。以上説明したようにして、被写体情報の記録が行われる。
次に、図3のステップS300の映像編集処理において映像編集部104dにより実行される図6のフローチャートについて説明する。ステップS301では、編集対象とする被写体の選択を行う。この被写体の選択は、たとえばユーザである親が運動会の終了後に自宅のパーソナルコンピュータから映像共有システム100にアクセスし、自分の子供を編集対象に指定することで行われる。あるいは、運動会に参加した全ての子供をステップS301において順次選択し、それぞれについて図6のフローチャートを実行することとしてもよい。
なお、ステップS301において、撮影映像の被写体である子供とユーザである親との対応関係を表したユーザ情報を予め登録しておき、そのユーザ情報に基づいて被写体を選択するようにしてもよい。すなわち、いずれかのユーザから編集映像の作成要求があると、予め登録されたユーザ情報に基づいてそのユーザの子供を特定し、特定された子供をそのユーザについて編集対象とする被写体に自動的に選択する。このようにすれば、ユーザが他人の子供を許可なく編集対象に指定してその子供の編集映像を無断で作成するのを防ぐことができる。
ステップS302では、映像編集時間の設定を行う。ここでは、以降説明する処理によって編集映像を作成するときに、蓄積された各撮影映像から抽出する映像部分の撮影時刻の範囲を設定することにより、映像編集時間を設定する。すなわち、ここで設定される映像編集時間の範囲内の時刻に撮影された映像部分が各撮影映像から抽出され、それを用いて編集映像が作成される。この映像編集時間の設定は、ユーザである親が自宅のパーソナルコンピュータから直接指定してもよいし、ステップS301で選択した被写体がいずれかの撮影映像において撮影されている全ての時間を自動的に指定するようにしてもよい。あるいは、予め登録されたイベントプログラム情報に基づいて、いずれかのイベントプログラムをユーザが選択することにより、そのイベントプログラムの時間を映像編集時間として設定することとしてもよい。なお、このイベントプログラム情報を、図8に示したようなイベントプログラムごとの出場者登録情報と兼用してもよい。
ステップS303では、図5のステップS201で設定された基準時刻のうち、ステップS302で設定された映像編集時間に含まれる最初の基準時刻を選択する。次のステップS304では、前回の映像切り替えから所定時間以内(たとえば2秒以内)であるか否かを判定する。すなわち、ステップS303または後述のステップS315によって選択された基準時刻と、最後に映像切り替えをした基準時刻との間が所定時間以上離れている場合は、ステップS304を否定判定してステップS305へ進む。一方、ステップS303または後述のステップS315によって選択された基準時刻と、最後に映像切り替えをした基準時刻との間が所定時間以内である場合は、ステップS304を肯定判定してステップS306へ進む。なお、ここでいう映像切り替えとは、後述のステップS309、S311またはS312の処理によっていずれかの撮影映像から抽出された映像部分がステップS313において編集映像に挿入されたときに、それまでとは異なる撮影映像からの映像部分が挿入されることを意味している。
ステップS304からS305へ進んだ場合、ステップS305では、図5のフローチャートに示す映像判定処理によって前述のように記録された各撮影映像の被写体情報を記録装置105から読み出す。ステップS305を実行したらステップS307へ進む。
一方、ステップS304からS306へ進んだ場合、ステップS306では、前回と同じ撮影映像から、現在選択中の基準時刻から次の基準時刻までの映像部分を抽出する。こうすることにより、同一の撮影映像から所定時間以上の連続する映像部分を抽出することができる。これにより、少なくともその所定時間が経過するまでは、編集映像において映像の切り替わり(カメラの切り替わり)が起こらない。その結果、切り替えが頻繁すぎて見づらい編集映像となることを防止できる。ステップS306の実行後はステップS313へ進む。
ステップS307では、ステップS305で読み出した各撮影映像の被写体情報に基づいて、ステップS301で編集対象に選択された被写体が、選択中の基準時刻においていずれかの撮影映像に撮影されているか否かを判定する。すなわち、読み出した各撮影映像の被写体情報のうち少なくともいずれかにおいて、編集対象に選択された被写体が記録されていれば、ステップS307を肯定判定してステップS308へ進む。一方、読み出した被写体情報のいずれにおいても選択された被写体が記録されていなければ、ステップS307を否定判定してステップS309へ進む。
ステップS307からS309へ進んだ場合、ステップS309では、イベント全体の様子を撮影した全体撮影映像から、現在選択中の基準時刻から次の基準時刻までの映像部分を抽出する。この全体撮影映像は、イベント主催者などによって撮影される。これにより、編集対象とされた被写体がいずれの撮影映像にもおいても撮影されていない場合であっても、イベントに合わせた適当な映像を編集映像に挿入することができる。なお、全体撮影映像を挿入する代わりに、たとえば自分の子供を編集対象に指定した親自身による撮影映像を挿入してもよいし、あるいは他の親の撮影映像のいずれかを適当に選択して挿入してもよい。ステップS309の実行後はステップS313へ進む。
一方、ステップS307からS308へ進んだ場合、ステップS308では、ステップS305で読み出した被写体情報に基づいて、ステップS301で編集対象に選択された被写体が同一時間内に複数の撮影映像において撮影されているか否かを判定する。すなわち、読み出した各撮影映像の被写体情報のうち複数の被写体情報において、編集対象に選択された被写体が記録されていれば、ステップS308を肯定判定してステップS310へ進む。一方、読み出した被写体情報のうち一つのみに選択された被写体が記録されていれば、ステップS308を否定判定してステップS311へ進む。
ステップS308からS310へ進んだ場合、ステップS310では、ステップS308において編集対象の被写体が撮影されていると判定された複数の撮影映像のうちいずれかを、優先すべき撮影映像(優先映像)として判定する。この判定は、カメラ103と被写体の位置関係または各撮影映像の写り具合に基づいて、たとえば次のようにして行うことができる。たとえば、撮影情報と被写体位置情報およびカメラ位置情報に基づいて、その映像を撮影したカメラ103と被写体の距離が最も近いものや、被写体が撮影範囲の最も中央付近に位置しているものを判別することにより、どの撮影映像が優先映像であるかを判定できる。または、各撮影映像の中で最もぶれやボケが少ないものを画像処理などにより判別することで優先映像を判定してもよい。なお、このときにどの条件を重視するかを設定できるようにしてもよい。ステップS310により優先映像が判定されたら、ステップS312へ進む。
一方、ステップS308からS311へ進んだ場合、ステップS311では、ステップS308において編集対象の被写体が撮影されていると判定された唯一の撮影映像から、現在選択中の基準時刻から次の基準時刻までの映像部分を抽出する。ステップS311の実行後はステップS313へ進む。
ステップS312では、ステップS310において優先映像として判定された撮影映像から、現在選択中の基準時刻から次の基準時刻までの映像部分を抽出する。これにより、編集対象とされた被写体が複数の撮影映像に撮影されている場合であっても、その中で最も適した撮影映像から映像部分を抽出することができる。ステップS312の実行後はステップS313へ進む。
ステップS313では、ステップS306、S309、S311またはS312において抽出された映像部分を編集映像に挿入する。これにより、編集映像において現在選択中の基準時刻から次の基準時刻までの映像部分が挿入される。なお、このとき音声については、編集映像中で統一されるように、マスター音声として録音されたものを用いることとしてもよい。
ステップS314では、ステップS302で設定された映像編集時間に含まれる最後の基準時刻を選択する。最後の基準時刻までをまだ選択していない場合はステップS315へ進み、ステップS315において現在選択中の次の基準時刻を選択した後、ステップS304へ戻る。これにより、次の基準時刻が順次選択され、前述のような処理が繰り返し実行される。一方、ステップS314において最後の基準時刻まで選択したと判定された場合は、図6のフローチャートを終了する。このようにして、複数の撮影映像のいずれかから抽出された複数の映像部分が順次挿入されることにより映像が編集され、その結果、編集対象として選択された被写体についての編集映像が作成される。映像編集処理では、以上説明したような処理が実行される。
以上説明したような映像編集処理により作成される編集映像の具体例を図11に示す。この例では、図9の子供AおよびBをそれぞれ編集対象の被写体に選択した場合に、それぞれについて作成される編集映像においてどのような映像が挿入されるかを示している。このとき、図9に示すカメラ103によって撮影された映像(映像#1と表す)に対しては、図11に示すように、図10に示したものと同じ内容の被写体情報が記録されているものとする。また、別のカメラ103によって撮影された映像(映像#2と表す)に対しては、図11に示すような被写体情報が記録されているものとする。
最初の基準時刻t0では、映像#1にはその被写体情報から子供BおよびCが写っており、映像#2にはその被写体情報から子供AおよびDが写っていることが分かる。したがって、子供Aを編集対象に選択した場合に映像編集処理によって作成される編集映像(被写体A編集映像と表す)には、その子供Aが写っている映像#2が基準時刻t0から次の基準時刻t1までの間に挿入される。また、子供Bを編集対象に選択した場合に映像編集処理によって作成される編集映像(被写体B編集映像と表す)には、その子供Bが写っている映像#1が基準時刻t0から次の基準時刻t1までの間に挿入される。これと同様に、基準時刻t1から次の基準時刻t2までの間においても、被写体A編集映像には子供Aが写っている映像#2が挿入され、被写体B編集映像には子供Bが写っている映像#1が挿入される。
基準時刻t2では、映像#1にはその被写体情報から子供Bが写っておらず、子供Cのみが写っていることが分かる。このとき子供Bは映像#1、#2いずれにも写っていないため、被写体B編集映像には、基準時刻t2から次の基準時刻t3までの間に、イベント主催者などによって撮影された全体撮影映像が挿入される。一方被写体A編集映像には、それまでと同様に、子供Aが写っている映像#2が基準時刻t2から次の基準時刻t3までの間に挿入される。
基準時刻t3では、映像#2にはその被写体情報から子供AおよびCが写っており、子供Dは写っていないことが分かる。このときにも基準時刻t2の場合と同様に、基準時刻t3から次の基準時刻t4までの間に、被写体A編集映像には映像#2が挿入され、被写体B編集映像には全体撮影映像が挿入される。
基準時刻t4では、映像#1にはその被写体情報からいずれの子供も写っておらず、映像#2にはその被写体情報から子供CおよびBが写っていることが分かる。このとき子供Aは映像#1、#2いずれにも写っていないため、被写体A編集映像には全体撮影映像が挿入される。一方被写体B編集映像には、子供Bが写っている映像#2が挿入される。以上説明したようにして、被写体A編集映像および被写体B編集映像にそれぞれ挿入された各映像を順につなぎ合わせることにより、編集対象の被写体として指定された子供AおよびBについての編集映像がそれぞれ作成される。
次に、図3のステップS400の課金処理において課金部104eにより実行される図7のフローチャートについて説明する。ステップS401では、課金処理の対象とするユーザを選択する。このユーザの選択は、たとえばユーザである親が自分の子供を編集対象に指定して上記の映像編集処理により編集映像を作成したときに、その親を対象ユーザとして選択することにより行われる。あるいは、編集映像を提供する全てのユーザを順番に対象ユーザとして選択し、各ユーザについてステップS402以降の処理を順次実行するようにしてもよい。ステップS402では、ステップS401で選択した対象ユーザに対して作成された編集映像を特定する。
ステップS403では、ステップS402で特定した対象ユーザに対して作成された編集映像の中に、ステップS401で選択した対象ユーザ以外の他人による撮影映像が挿入されているか否かを判定する。対象ユーザに対して作成された編集映像のうちいずれかの部分に他人の撮影映像が挿入されている場合は、ステップS404へ進む。一方、対象ユーザに対して作成された編集映像の全てがその対象ユーザ自身によって撮影された映像で構成されており、他人の撮影映像が挿入されていない場合は、ステップS404を実行せずにステップS405へ進む。
ステップS404では、ステップS403で対象ユーザの編集映像に挿入されていると判定された他人の撮影映像の合計挿入時間、すなわち対象ユーザの編集映像において他人の撮影映像を利用している時間(映像利用時間)を求め、その映像利用時間に応じた課金額の算出を行う。ここでは、たとえば予め定められた課金単位時間ごとに所定の金額を乗じることにより(たとえば、1秒ごとに1円など)、課金額を算出する。こうして対象ユーザに対する課金額が算出されたら、ステップS405へ進む。
ステップS405では、対象ユーザ以外の他人に対して作成された編集映像、すなわちステップS402で特定した対象ユーザの編集映像を除いたいずれかの編集映像の中に、その対象ユーザによって撮影された映像が挿入されているか否かを判定する。対象ユーザの撮影映像が他人の編集映像のいずれかに挿入されている場合は、ステップS406へ進む。一方、対象ユーザの撮影映像が他人の編集映像のいずれにも挿入されていない場合は、ステップS406を実行せずにステップS407へ進む。
ステップS406では、ステップS405で他人の編集映像に挿入されていると判定された対象ユーザの撮影映像の合計挿入時間、すなわち対象ユーザが撮影映像を他人の編集映像に提供している時間(映像提供時間)を求め、その映像提供時間に応じた受領金額の算出を行う。ここでは、たとえば予め定められた支払単位時間に所定の金額を乗じることにより(たとえば、1秒ごとに1円など)、受領金額を算出する。なお、このときに対象ユーザの受領金額と当該撮影映像の利用者に対する課金額の間に差を設けて、その差分をシステム管理者の手数料などに充当してもよい。こうして対象ユーザの受領金額が算出されたら、ステップS407へ進む。
ステップS407では、ステップS404により算出された課金額と、ステップS406により算出された受領金額とに基づいて、対象ユーザの最終的な課金額または受領金額の算出を行う。このとき、課金額が受領金額を上回っている場合は、その上回っている分を最終的な課金額とし、反対に受領金額が課金額を上回っている場合は、その上回っている分を最終的な受領金額とする。こうして対象ユーザの最終的な課金額または受領金額が算出されたら、ステップS408へ進む。
ステップS408では、ステップS407で算出された課金額または受領金額の通知を対象ユーザに対して行う。こうして課金額または受領金額を通知されたユーザは、それに応じて課金額の支払いまたは受領金額の受け取りを、たとえば編集映像の受領時などに行う。または、クレジットカード決済や銀行振込などによって課金額の支払いや受領金額の受け取りを行ってもよい。ステップS408を実行したら図7のフローチャートを終了する。課金処理では、以上説明したような処理が実行される。
以上説明した実施の形態によれば、次のような作用効果を奏することができる。
(1)複数のカメラ103により撮影された各撮影映像を、映像収集部104cが実行する映像収集処理により収集し、その各撮影映像において撮影されている被写体を、映像編集部104dが行う映像判定処理により撮影映像ごとに特定する(ステップS210)。そして、収集された各撮影映像と特定された被写体を表す被写体情報とを記録装置105に記録し(ステップS122、S211)、記録装置105において蓄積することとした。このようにしたので、運動会において子供達の親がそれぞれ撮影者となって自分の子供を撮影した映像のように、複数の撮影者が同一施設内で撮影した映像を共有化する際に、使い勝手の良いシステムを提供することができる。
(2)施設内における各被写体および各カメラの所在位置を特定し(ステップS103)、その情報を記録装置105に記録しておく(ステップS104)。ステップS210では、こうして特定されて記録された各被写体および各カメラの所在位置に基づいて、各撮影映像において撮影されている被写体を特定することとした。このようにしたので、各撮影映像において撮影されている被写体を確実に特定することができる。
(3)施設内に複数のICタグ受信機102を設置しておき、ステップS103では、このICタグ受信機102により受信された被写体が所持するICタグ101のタグ情報と、そのタグ情報を受信したICタグ受信機102の設置位置とに基づいて、施設内における各被写体および各カメラの所在位置を特定することとした。このようにしたので、各被写体および各カメラの所在位置を精度よく求めることができる。
(4)複数のカメラ103から撮影情報を収集し(ステップS121、S122)、収集された撮影情報に基づいて各カメラの撮影範囲を算出する(ステップS205)。そして、特定された各被写体および各カメラの所在位置と、算出された各カメラの撮影範囲とに基づいて、撮影範囲内にある被写体を特定する(ステップS207)。ステップS210では、こうして特定された撮影範囲内の被写体により、各撮影映像において撮影されている被写体を特定することとした。このようにしたので、撮影されている被写体を正確に特定することができる。
(5)また、各撮影映像における撮影障害物の存在の有無を判定し(ステップS208)、その判定結果にも基づいてステップS211における被写体の特定を行うこととしたので、撮影されている被写体をより一層正確に特定することができる。
(6)さらに、各撮影映像における撮影状態の良否を判定し(ステップS209)、その判定結果にも基づいてステップS211における被写体の特定を行うこととしたので、撮影されている被写体をさらに一層正確に特定することができる。
(7)映像編集部104dが実行する映像編集処理により、編集対象とする被写体を選択し(ステップS301)、記録装置105に蓄積された複数の撮影映像のいずれかから、選択された被写体が撮影されている複数の映像部分を抽出する(ステップS306、S311、S312)。こうして抽出された複数の映像部分を順次挿入して映像を編集することにより、選択された被写体についての編集映像を作成する(ステップS313)こととした。このようにしたので、運動会において子供達の親がそれぞれ撮影者となって自分の子供を撮影した映像のように、複数の撮影者が同一施設内で撮影した映像を共有化する際に、使い勝手の良いシステムを提供することができる。
(8)施設内における各被写体および各カメラの所在位置を特定し(ステップS103)、その情報を記録装置105に記録しておく(ステップS104)。こうして記録された各被写体および各カメラの所在位置に基づいて、各撮影映像において撮影されている被写体を特定し(ステップS210)、特定された被写体を表す被写体情報を記録する(ステップS211)。こうして記録された被写体情報に基づいて、選択された被写体がいずれかの撮影映像において撮影されているか否かを判定し(ステップS307、S308)、その判定結果により、ステップS311またはS312において、選択された被写体が撮影されている映像部分を抽出することとした。このようにしたので、選択された被写体が撮影されている映像部分を確実に抽出することができる。
(9)前回の映像切替から所定時間以内であるか否かを判定し(ステップS304)、所定時間以内である場合は、前回と同じ撮影映像から、現在選択中の基準時刻から次の基準時刻までの映像部分を抽出する(ステップS306)。こうして同一の撮影映像から所定時間以上の連続する映像部分を抽出することとしたので、少なくともその所定時間が経過するまでは、編集映像において映像の切り替わり(カメラの切り替わり)が起こらず、切り替えが頻繁すぎて見づらい編集映像となることを防止できる。
(10)選択された被写体がいずれかの撮影映像に撮影されているか否かを判定し(ステップS307)、いずれの撮影映像においても撮影されていないときには、予め定められた全体撮影映像から映像部分を抽出し(ステップS309)、その映像部分をステップS313において編集映像に挿入することとした。このようにしたので、編集対象とされた被写体がいずれの撮影映像にもおいても撮影されていない場合であっても、イベントに合わせた適当な映像を編集映像に挿入することができる。
(11)選択された被写体が同一時間内に複数の撮影映像において撮影されているか否かを判定し(ステップS308)、複数の撮影映像において撮影されている場合には、その複数の撮影映像のいずれかを優先すべきと判定する(ステップS310)。ステップS312では、こうして優先すべきと判定された撮影映像から映像部分を抽出することとした。このようにしたので、編集対象とされた被写体が複数の撮影映像に撮影されている場合であっても、その中で最も適した撮影映像から映像部分を抽出することができる。
(12)ステップS310では、カメラと被写体の位置関係または各撮影映像の写り具合に基づいて、複数の撮影映像のいずれかを優先すべきと判定することとしたので、映像部分を抽出するのに最も適した撮影映像を確実に判定することができる。
(13)ステップS301で被写体を選択するときに、各被写体とユーザとの対応関係を表したユーザ情報を予め登録しておき、いずれかのユーザから編集映像の作成要求があると、登録されているユーザ情報に基づいて、そのユーザについて編集対象とする被写体を選択することができる。このようにすれば、ユーザが他人の子供などそのユーザに無関係な人物を許可なく編集対象に指定して、その人物の編集映像を無断で作成することを防止できる。
(14)映像編集処理において抽出される映像部分の撮影時刻の範囲を、映像編集時間として設定する(ステップS302)。このとき、予め登録されたイベントプログラム情報に基づいて映像編集時間を設定することができる。このようにしたので、ユーザは映像編集時間を間単に設定することができる。
(15)課金部104eが実行する課金処理により、いずれかのユーザを対象ユーザとして選択し(ステップS401)、その対象ユーザに対して作成された編集映像に対する当該対象ユーザの課金額を算出する(ステップS404)。また、当該対象ユーザ以外の他のユーザに対して作成された編集映像に対する当該対象ユーザの受領金額を算出する(ステップS406)こととした。このようにしたので、他ユーザの撮影映像の利用や、他ユーザに対する撮影映像の提供に応じて、ユーザに課金または受領金の支払いを行うことができる。
(16)ステップS404では、対象ユーザに対して作成された編集映像において他のユーザの撮影映像が挿入されている時間に応じて、当該対象ユーザの課金額を算出することとした。このようにしたので、他ユーザの撮影映像の利用状況に応じた適切な課金額を算出することができる。
(17)ステップS406では、対象ユーザ以外の他のユーザに対して作成された編集映像において当該対象ユーザの撮影映像が挿入されている時間に応じて、当該対象ユーザの受領金額を算出することとした。このようにしたので、他ユーザに対する撮影映像の提供状況に応じた適切な受領金額を算出することができる。
(18)スケジュール管理部104bが実行するスケジュール管理処理により、施設内に存在する複数の被写体のうち出番が近い被写体の撮影者に対して警告を行うこととした。このようにしたので、撮影者はイベントのスケジュールを覚えていなくても、撮影タイミングを逃すことなく目的とする被写体を確実に撮影することができる。その結果、運動会において子供達の親がそれぞれ撮影者となって自分の子供を撮影した映像のように、複数の撮影者が同一施設内で撮影した映像を共有化する際に、使い勝手の良いシステムを提供することができる。
(19)次のイベントプログラムの開始時間に近づいたか否かを判定し(ステップS112)、次のイベントプログラムが開始する所定時間前になったら、そのイベントプログラムに出場する予定の被写体を特定し(ステップS113)、これにより出番が近い被写体を判断することとした。このようにしたので、適切なタイミングで出番が近い被写体を判断することができる。
(20)ステップS112では、予め登録されたイベントプログラムごとの出場者登録情報に基づいて、次のイベントプログラムに出場する予定の被写体を特定することとした。このようにしたので、次のイベントプログラムに出場する予定の被写体を簡単かつ確実に特定することができる。
(21)ステップS114において警告情報を送信するときに、カメラ103に特定の動作を指示する制御信号を送信することにより、撮影者に対して警告を行うことができる。あるいは、ステップS114において警告情報を送信するときに、予め登録された撮影者が所持する携帯電話のメールアドレスにメールを送信することにより、撮影者に対して警告を行うこともできる。これらいずれかのようにすることで、撮影者にとって分かりやすい警告とすることができる。
なお、以上説明した実施の形態では、カメラ103によって撮影された全ての撮影映像を映像収集部104cにより収集して共有化することとしたが、事前に共有化に同意したユーザが撮影した映像のみを対象としてもよい。このとき、撮影映像の著作権の帰属に関する取り決めや、他人の撮影映像を商用目的には使用できないことなどを事前に契約事項で定めておくことが好ましい。あるいは、撮影者が共有化するか否かをその都度選択できるようにしてもよい。
また、撮影映像を一旦カメラ103に記録しておき、後でユーザが自宅のパーソナルコンピュータ等から制御装置104に送信することで、撮影映像を制御装置104に収集することとしてもよい。このとき、撮影映像のうちどの部分を制御装置104に送信して共有化するかをユーザが選択できるようにしてもよい。
上記の実施の形態では、図4〜7のフローチャートに示した処理を全て制御装置104において実行することとしたが、このうち一部をカメラ103において実行することとしてもよい。たとえば、位置特定処理によって特定された被写体位置およびカメラ位置の情報を制御装置104から各カメラ103へ逐次送信し、その情報に基づいて、図5のフローチャートで説明したような映像判定処理をカメラ103において実行することもできる。このようにした場合、カメラ103から撮影映像と被写体情報を制御装置104へ送信することにより、図6のフローチャートに示す映像編集処理を制御装置104の映像編集部104dにおいて実行することができる。なお、その場合には被写体情報をメタデータとして撮影映像データ内に埋め込むこととしてもよい。
上記の実施の形態では、幼稚園や保育園、小学校等の施設において、運動会などのイベントにおいて親が撮影者となって自分の子供を撮影し、その撮影映像を共有化する映像共有システムを例に説明したが、これ以外の場合にも適用することができる。たとえば、自分の子供以外を被写体として撮影する場合に用いてもよいし、あるいは公園、体育館、遊園地、観光施設などの様々な施設において使用してもよい。これ以外にも様々な使用形態が考えられる。
以上説明した各実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。
上記の実施の形態では、送信手段をICタグ101、受信手段をICタグ受信機102、位置特定手段を位置特定部104a、蓄積手段を記録装置105によりそれぞれ実現した。また、被写体特定手段をステップS210、被写体情報記録手段をステップS211、被写体選択手段をステップS301、抽出手段をステップS306、S311およびS312、優先判定手段をステップS310、編集手段をステップS313、課金額算出手段をステップS404、受領金額算出手段ステップS406の処理によってそれぞれ実現することとした。しかし、これはあくまで一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係には何ら限定も拘束もされない。