JP7344711B2 - システム、システムの制御方法、プログラム - Google Patents

システム、システムの制御方法、プログラム Download PDF

Info

Publication number
JP7344711B2
JP7344711B2 JP2019145671A JP2019145671A JP7344711B2 JP 7344711 B2 JP7344711 B2 JP 7344711B2 JP 2019145671 A JP2019145671 A JP 2019145671A JP 2019145671 A JP2019145671 A JP 2019145671A JP 7344711 B2 JP7344711 B2 JP 7344711B2
Authority
JP
Japan
Prior art keywords
image
photographing
interval
trimming
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019145671A
Other languages
English (en)
Other versions
JP2021027524A (ja
JP2021027524A5 (ja
Inventor
善章 宮木
慎也 大森
智宣 平石
幸史 徳永
義博 弥富
潤子 田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Canon Marketing Japan Inc
Original Assignee
Canon Inc
Canon Marketing Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, Canon Marketing Japan Inc filed Critical Canon Inc
Priority to JP2019145671A priority Critical patent/JP7344711B2/ja
Publication of JP2021027524A publication Critical patent/JP2021027524A/ja
Publication of JP2021027524A5 publication Critical patent/JP2021027524A5/ja
Application granted granted Critical
Publication of JP7344711B2 publication Critical patent/JP7344711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮影技術に関するものである。
スポーツの試合や観光施設において、楽しんでいるユーザを撮影する需要がある。特許文献1には、観客席にいるユーザが撮影エリアや撮影時刻などの撮影要求を入力すると、入力された撮影要求に基づき、カメラが観客のいるエリアを撮影することが開示されている。
特開2007-142896号公報
特許文献1に開示されている方法では、観客の要求に応じて撮影を行うので、実際に観客が盛り上がったときのシャッターチャンスを逃してしまう可能性がある。本発明では、画像データを削減しつつシャッターチャンスを逃す可能性を低減させるための技術を提供する。
本発明の一様態は、エンターテイメントが行われる施設における観客を撮影する少なくとも1つの撮影手段に撮影指示を行う指示手段と、
前記撮影手段によるインターバル撮影の撮影間隔を前記エンターテイメントの進行状況に応じて変更する際の変更条件として、前記撮影手段の撮影範囲に含まれる座席に応じた変更条件を取得する取得手段と、
前記撮影手段で前記撮影範囲のインターバル撮影を行っている際に、前記取得手段が取得した変更条件が満たされたことに応じて、インターバル撮影の撮影間隔が増減するように制御する制御手段と
を有することを特徴とする。
本発明の構成によれば、画像データを削減しつつシャッターチャンスを逃す可能性を低減させることができる。
画像提供システムにおいてリモートコントロール撮影を行うための施設配置図。 画像提供システムの構成例を示すブロック図。 PC201aのハードウェア構成例を示すブロック図。 撮影画像におけるトリミング位置(トリミング範囲)の設定例を示す図。 撮影画像におけるトリミング位置(トリミング範囲)の設定例を示す図。 各座席のトリミング範囲を格納するデータ構造の構成例を示す図。 チケットの購入処理のフローチャート。 競技やイベントの開始前に画像処理装置201が行う設定処理のフローチャート。 試合開始後に行われる処理のフローチャート。 ステップS959におけるトリミング処理のフローチャート。 チケット情報の一例を示す図。 座席配置における座席の関係性を示した図。 チケット情報に対応する「トリミング範囲の算出方法」が登録されたテーブルの構成例を示す図。 チケット情報に対応する「トリミング範囲の算出方法」が登録されたテーブルの構成例を示す図。 トリミング範囲の計算例を示した図。 画像提供システムの構成例を示す図。 画像提供システムの構成例を示す図。 撮影指示処理のフローチャート。 撮影画像の選択処理のフローチャート。 インターバル撮影時間の計算方法を示す図。 撮影指示処理のフローチャート。 画像選択処理のフローチャート。 撮影要因の一例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
[第1の実施形態]
図1は、本実施形態における、画像提供システムにおいてリモートコントロール撮影を行うための施設配置図である。本実施形態では、図1に示す如く、画像提供システムを適用する施設の一例として野球場を想定している。しかし、画像提供システムは、スポーツ競技を行うスタジアム、闘技場、コンサートを行うためのアリーナ会場、演劇やオペラを行う劇場など、多数の観客が定位置から観覧できる施設に適応される。
なお、本実施形態においては、野球の試合を観戦する観客をユーザとして写真を撮影して、グループできた観客の画像をトリミングすることによって画像を提供することを説明する。しかしながら、本実施形態において説明をする野球の試合の例は一例であり、その他のスポーツの試合であっても、コンサートや観光地や演劇などのエンターテインメントショーの場所であっても良く、エンターテインメントを観賞中の観客をユーザとした場合でも適用可能である。
図1(a)、(b)、(c)の野球場の例では、撮影指示部101が、一塁側の内野席を撮影するためのカメラ102~105(図1(c)ではカメラ群A)に対して同時に撮影指示を行う。本実施形態では、それぞれ異なる方向から撮影するカメラの台数を4台として説明するが、物理的に同時に撮影指示ができる範囲であれば、カメラの台数は4台に限らない。
球場などで反対側の観客席の上段から撮影する場合などは、観客(被写体)までの距離が遠いため、焦点距離の大きい望遠レンズをつけていたとしても、ある程度の数の観客が1フレーム内に収まることになる。そのため、座席ごと・グループごとのトリミング処理が必要になってくる。また、1フレーム内に複数の観客が収まることによって、例えば1つのハイライトシーンにおける盛り上がる臨場感と表情ある複数の観客の画像を1度の撮影で取得することが可能になる。しかし、1フレーム内に収まる人数が増えるため、トリミング処理の必要性が増すことになる。本実施形態では、定期的に撮影するインターバル撮影(例えば10秒に1回のレリーズ指示をする)と、オペレータの撮影意思に応じた手動撮影と、の2つの撮影方法を提供する。
また、施設によってはより競技・イベントを見やすい座席をより高額に設定し、見にくい座席をより安価に設定することがあり、複数の券種が存在するのが通例である。図1(a)、(b)では、グラウンドに近いエリア1、席数が最も多いエリア2、それぞれ区切られた空間となっているエリア3を示している。
エリア1は、より近くで観戦をしたいと考えている観客向けのエリアであり、席数が限られているため、何十人という単位ではなく、家族などの少ない人数で特別な時に観戦することが多いエリアである。よって、一緒に来たメンバーのみで思い出に残る画像を提供することが観客の満足度の向上につながる。
エリア2は、高い頻度で観戦に来る多くのファンが観戦しているエリアであり、固まって熱意の高いファンが座っている。また、エリア2には、体験として試合の観戦に来た観客や、試合自体に高い熱意のない観客など、様々な層の観客が含まれている。よって、エリア2は、観戦中の画像が欲しい観客もいれば不要だと考える観客もいるエリアであり、観客の意思に応じた画像提供を行うことで観客の満足度が向上する。
エリア3は、現地の空間内で観戦を楽しむ様子の画像や、特定の観客が良い表情をしている画像を提供することで顧客の満足度が向上するエリアである。
このように、エリアによって観客のニーズが異なる。全ての観客のニーズに答えるためには、撮影した画像を様々なパターンに応じて準備しておくことが求められるが、データ量が多くなるとコストが高くなり、観客が手軽に画像を購入できなくなるという課題もある。また、試合中に観客が観戦している間に画像を提供することで観客の試合に対する満足度はより向上されるが、画像のデータ量が多いため、購入しない可能性の高い観客の画像データをも処理しようとすると処理に時間がかかり、画像の提供に時間を要してしまう。
エリア1やエリア3の観客は、撮影画像を購入する可能性がより高いと判断できる。そのため、図1(b)ではエリア1をカメラ104およびカメラ105の2台でカバーしているが、図1(a)ではエリア1よりより広いエリア2をカメラ102およびカメラ103の2台でカバーしている。図1(a)に示した撮影よりも図1(b)に示した撮影の方が、エリア1の画像に収まる人数がより少なくなり、観客はより大きく写るので、トリミング済画像の解像度が高くなり、より商品性の高い画像を得ることができ、より購買につなげることができる。なお、エリア3は、エリア1よりさらに狭い範囲を2台のカメラで撮影することで、さらにトリミング済画像の解像度を高くする。エリア3では、より高解像度なトリミング済画像が取得できるため、撮影画像の画像解析も可能となる。エリア3は構造上、観覧するスペースを含めて複数のスペースがあることが多い。そのため、観覧するスペースに所定数以上の観客がいることを判断したり、顔の表情を解析してより良い画像を選択したり等、エリア1よりさらに商品性の高い画像を得ることが可能となる。もしくは、エリア1では、常に観客がカメラから撮影可能な位置にいるとは限らないので、1台のカメラで複数の区切られた空間を観測しておき、雲台を使用して観客を撮影可能になったことに応じて特定の空間の撮影をしてもよい。
図1(c)には、撮影指示部101から各カメラ群(カメラ群A,B,C,D)へと撮影を指示するための構成図を示している。撮影指示部101は、図1(c)に示すように、カメラ群A,B,C,Dのそれぞれに撮影指示が可能である。カメラ群Cは、外野席の広いエリア4を4台のカメラでカバーし、カメラ群Dは、外野席の広いエリア5を4台でカバーする。
カメラ102~105は、光学像を電気信号に変換するCCDやCMOS素子等の撮像素子(撮像センサ)を有するカメラユニットである。カメラは、撮像素子に加えて、ズームレンズやフォーカスレンズを含むレンズ群(撮影レンズ)、絞り機能を備えるシャッター、撮像素子から出力されるアナログ信号をデジタル信号に変換するA/D変換器、撮像系を覆って汚れや破損を防止するバリアを含む。カメラ内の画像処理部は、カメラで撮像して取得した撮影画像に対して画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部により得られた演算結果に基づいてカメラ内のCPU等が露光制御、測距制御、AWB(オートホワイトバランス)等の処理を行う。カメラで撮像され、画像処理部で画像処理された表示用の撮影画像は、後述する画像処理装置201に送出され、該画像処理装置201が有するPC201aのディスプレイ304に表示される。またカメラで撮像され、A/D変換器でA/D変換されてRAM等のメモリに蓄積されたデジタル撮影画像をD/A変換器でアナログ撮影画像に変換してディスプレイ304に逐次転送して表示することで、ライブビュー表示(LV表示)を実施することができる。ライブビュー表示は、静止画の撮影待機状態、動画の撮影待機状態、動画の記録時に実施可能であり、撮影された被写体像がほぼリアルタイムに表示される。後述する画像処理装置201が有するPC201aのCPU301は、後述する画像処理装置201が有するPC201aの入力装置306で行われたユーザ操作に基づく撮影準備指示に応じて、AF(オートフォーカス)処理、AE(自動露出)処理、AWB処理等の動作を開始するように、カメラおよび画像処理部を制御する。カメラ側のCPUは、撮影指示に応じて、本露光して撮像素子からの信号を読み出し、該読み出した信号に基づく撮影画像を画像処理部で画像処理して画像ファイルを生成し、該画像ファイルを外部のストレージへ記録するまでの一連の撮影処理(本撮影)の動作を開始ように制御する。撮影指示は、PC201aの入力装置306に対するユーザ操作によって行うことも、カメラ側のシャッターボタンの押下によっても行うことができる。カメラは、静止画及び動画の撮影が可能である。
なお、施設によっては構造上撮影するカメラ位置から座席のエリアごとに撮影距離や照度が異なる。そのため、一度の撮影で多くのエリアをカバーする本実施形態の撮影では、画質に差異がでてくることがあり、画質に応じて撮影画像の値段を変えたり提供枚数を変えてもよい。また、単にグラウンドに近い席であり、カメラからの距離が近い席の画像を高額に設定するのではなく、明るさ等の条件やカメラの台数により画質が良くなる座席を高額に設定するようなケースもある。
次に、本実施形態に係る画像提供システムの構成例について、図2のブロック図を用いて説明する。図2に示す如く、本実施形態に係る画像提供システムは、カメラ102~105、画像処理装置201、チケット購入部206、配信部207、を有する。
先ず、画像処理装置201について説明する。画像処理装置201は、撮影指示部101、PC201a、画像転送受信部201b、トリミング部202、選択・アップロード部203、ストレージ204,205を有する。これらの機能部は図2に示す如く画像処理装置201が有するようにしても良いし、それぞれの機能部を別個の装置として実装し、それぞれの装置が互いにデータ通信を行うような構成としても良い。このように、画像処理装置201が有するものとして説明したこれらの機能部の実装形態は特定の実装形態に限らない。
撮影指示部101は、カメラ102~105に対して同時に撮影指示を行う。撮影指示に関しては、定期的に撮影するインターバル撮影を行わせる撮影指示(例えば10秒に1回のレリーズ指示をする)と、オペレータの撮影意思に応じた手動撮影を行わせる撮影指示と、がある。
画像転送受信部201bは、カメラ102~105で撮影された撮影画像を取得してストレージ204に記録(格納)する。カメラ102~105と画像処理装置201との間の撮影画像の送受信のプロトコルは、FTP(FileTransferProtocol)などを用いる。
トリミング部202は、カメラ102~105からストレージ204に撮影画像が記録されたことをトリガーに、各撮影画像に対してトリミング処理を実施してトリミング済画像を生成し、該トリミング済画像と、対応する座席番号等と、を関連づけてストレージ205に記録(格納)する。
図2では、ストレージ204とストレージ205とを別個のストレージとしているが、ストレージ205およびストレージ205は、同じストレージにおけるそれぞれ別個の記憶領域であっても良い。
また、撮影画像に対してトリミング処理を行う際には、後述するチケット購入部206から「グループ人数・座席番号・座席配置」を入手して、その情報を基にトリミング処理を実施するが、詳細な処理については後述する。
選択・アップロード部203は、ストレージ205に格納されているトリミング済画像、座席番号、イベントの日時情報(日付)を、配信サーバとしての配信部207にアップロードする。
撮影指示部101が競技中・イベント中にインターバル撮影を行っている場合には、大量のトリミング済画像が作成される。そのため、オペレータは大量に作成されたトリミング済画像から観客が盛り上がった場面のトリミング済画像を抽出・選択して配信部207にアップロードできるようにする。大量に作成されたトリミング済画像からアップロードするトリミング済画像を選択する方法については特定の選択方法に限らない。例えば、トリミング済画像を一覧表示してオペレータに提供し、オペレータがその中からアップロードするトリミング済画像を選択するようにしても良い、また例えば、オペレータが特定の日時を入力して該当する日時のトリミング済画像をアップロードするトリミング済画像として選択しても良い。
撮影指示部101がオペレータによる手動撮影しか行わない場合は、通常観客が盛り上がった場面で撮影指示を行うことになるので、特に選択せずに全てのトリミング済画像を配信部207へのアップロード対象としても構わない。
次に、チケット購入部206について説明する。チケット購入部206は、利用者がチケットを購入するためのシステムであり、図2では画像処理装置201とは別個のシステムとして示しているが、画像処理装置201が有する機能部としても良い。チケット購入部206を介したチケット購入処理については後述する。利用者は自身が有する端末装置を操作して、観戦/鑑賞したい競技やイベントの日付および座席数をチケット購入部206に入力して代金の支払指示を入力することで、所望した日時で観戦/鑑賞するための座席の座席番号をチケット購入部206から入手する。
次に、配信部207について説明する。配信部207は、利用者が端末装置を操作して入力した観戦日/イベント日および座席番号に対応する1以上のトリミング済画像を該端末装置に返信する。利用者は、チケットに記載の観戦日/イベント日および座席番号を見て手動で観戦日/イベント日および座席番号を端末装置に入力しても良い。また、チケットに記載のQRコード(登録商標)などのコードを端末装置で読み取りおよび認識させることで観戦日/イベント日および座席番号を端末装置に入力しても良い。つまり、利用者の端末装置に観戦日/イベントおよび座席番号を入力する方法は特定の方法に限らない。端末装置は、入力された観戦日/イベントおよび座席番号を配信部207に送信し、対応するトリミング済画像を配信部207から取得する。
また、利用者へのトリミング済画像の提示は端末装置のアプリケーションを用いて行っても良いし、ブラウザでアクセスするようなWebアプリケーションを用いて行っても良く、特定の提示方法に限らない。
次に、上記のPC201aのハードウェア構成例について、図3のブロック図を用いて説明する。なお、図3に示した構成は、PC201aに適用可能なハードウェア構成の一例に過ぎず、適宜変形/変更が可能である。また、PC201aは1台のコンピュータ装置で構成しても良いし、複数台のコンピュータ装置で構成しても良い。
CPU301は、ROM302やRAM303に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU301は、PC201a全体の動作制御を行うと共に、PC201aが行うものとして説明する各処理を実行もしくは制御する。
ROM302には、PC201aの設定データや起動プログラムなどが格納されている。
RAM303は、ROM302やHDD305やメディアドライブ307からロードされたコンピュータプログラムやデータ、I/F308を介して外部から受信したデータ、を格納するためのエリアを有する。さらにRAM303は、CPU301が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM303は、各種のエリアを適宜提供することができる。
ディスプレイ304は、CPU301による処理結果を画像や文字などでもって表示することができる。ディスプレイ04は、CPU301の制御に基づいて、画像やGUI(Graphical User Interface)を含むGUI画面などを表示する。CPU301は、コンピュータプログラムに従って表示制御信号を生成し、ディスプレイ304に表示するための映像信号を生成してディスプレイ304に出力するようにPC201aの各部を制御する。ディスプレイ304は出力された映像信号に基づいて映像を表示する。なお、PC201a自体が備える構成としてはディスプレイ304に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ304は外付けのモニタ(テレビなど)であってもよい。
HDD305には、OS(オペレーティングシステム)や、PC201aが行うものとして説明する各処理をCPU301に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。HDD305に保存されているデータには、画像データや音声データなども含まれる。
HDD305に保存されているコンピュータプログラムやデータは、CPU301による制御に従って適宜RAM303にロードされ、CPU301による処理対象となる。
入力装置306は、キーボード、マウス、タッチパネル画面、ボタン、ダイヤル、ジョイスティック、などのユーザインターフェースであり、オペレータが操作することで各種の指示をCPU301に対して入力することができる。
メディアドライブ307は、SDカードやUSBメモリなどの記憶媒体に対する情報の読み書きを行う。I/F308は、外部の装置との間のデータ通信を行うためのインターフェースとして機能するものである。I/F308には、例えば、後述するモニタリング部399を接続することができる。
CPU301、ROM302、RAM303、ディスプレイ304、HDD305、入力装置306、メディアドライブ307、I/F308は何れもバス309に接続されている。
次に、撮影画像におけるトリミング位置(トリミング範囲)の設定例について、図4,5を用いて説明する。図4,5では、撮影画像における座席ごとにトリミング範囲を設定している。
図4は、観客のほぼ正面のカメラから撮影された撮影画像に対するトリミング範囲の設定例を示している。図4では、横方向をX軸、縦方向をY軸としており、撮影画像における座席ごとにトリミング範囲(矩形)が設定されている。トリミング範囲は、左上隅の位置401の座標と右下隅の位置402の座標との組で規定され、トリミング範囲は、後述する図6のデータ構造に登録される。トリミング範囲に対してトリミング処理が行われる。図4(a)の撮影画像において座席ごとに設定されたトリミング範囲の一例を図4(b)に示す。図4(b)のように全座席のトリミング範囲が設定される。ここではトリミング範囲を長方形の矩形としているが、トリミング範囲は矩形に限らず、多角形や楕円等であっても良い。
図5は、観客のやや斜め上方のカメラから撮影された撮影画像に対するトリミング範囲の設定例を示している。図5でも、横方向をX軸、縦方向をY軸としており、撮影画像における座席ごとにトリミング範囲(矩形)が設定されている。図5では、トリミング範囲は、左上隅の位置501の座標と右下隅の位置502の座標との組で規定され、トリミング範囲は、後述する図6のデータ構造に登録される。トリミング範囲に対してトリミング処理が行われる。図5(a)の撮影画像において座席ごとに設定されたトリミング範囲の一例を図5(b)に示す。図5(b)のように全座席のトリミング範囲が設定される。座席位置が斜めになっていてもトリミング範囲を図6のデータ構造に登録することができる。
各座席のトリミング範囲を格納するデータ構造の構成例を図6に示す。データ構造600は、列番号601、座席番号602、カメラ番号603、始点_X(左上隅のX座標)604、始点_Y(左上隅のY座標)605、終点_X(右下隅のX座標)606、終点_Y(右下隅のY座標)607のセットを1つ以上含む。
図6のデータ構造600では、X座標とY座標を個別のカラムとして管理しているが、(X、Y)のようなリスト情報として1つのカラムで管理しても構わない。また、列番号601と座席番号602は、図6では数値データとしているが、アルファベットなどの文字列でも構わない。座標情報としての始点_X604、始点_Y605、終点_X606,終点_Y607は撮影画像におけるピクセル位置を表す数値である。
列番号601は、座席の列番号を示しており、座席番号602は、座席の番号を示しており、カメラ番号603は、同行の座標情報を設定した撮影画像を撮影したカメラに固有の番号を示している。このようなデータ構造はHDD305などのメモリ装置に格納されている。
なお、本実施形態では、具体的な説明を行うべく、野球の試合を観戦する観客を撮影し、グループできた観客の画像をトリミングすることによって画像を提供するケースを例に取り説明する。しかしながら、その他のスポーツの試合であっても、観光地や演劇などのを対象としても、本実施形態は同様に適用可能である。
先ず、チケットの購入処理について、図7のフローチャートに従って説明する。図7のフローチャートに従ったチケット購入処理は、利用者の携帯端末にて動作する「チケット購入用のアプリケーション」や「チケット購入用のインターネットサイト」を利用してチケットを購入する際の処理を示したものである。図7のフローチャートに従った処理は、例えば、カメラ102~105に電源が入り、入力装置306へのユーザ操作が受付可能な状態になったときに開始されるものとする。
ステップS701では、CPU301は、利用者の端末装置からの、観戦/鑑賞したい競技やイベントの日付および座席数(グループ人数)の入力を受け付ける。利用者が自身の携帯端末を操作して日付および座席数を入力して送信指示を入力すると、該入力された日付および座席数はチケット購入部206を介して画像処理装置201(PC201a)に入力される。
ステップS702では、CPU301は、利用者の端末装置からの、撮影画像購入の意思があるか否かの入力を受け付ける。利用者が自身の携帯端末を操作して「撮影画像購入の意思の有無」を入力して送信指示を入力すると、該入力された「撮影画像購入の意思の有無」はチケット購入部206を介して画像処理装置201(PC201a)に入力される。
利用者の端末装置における「撮影画像購入の意思の有無」の入力は、利用者が撮影画像を購入するか否かを直接端末装置にて選択できるようにしてもよいし、「チケット購入」と「撮影画像購入の意思の有無の選択」が一度にできるようにしてもよい。また、一部の座席は、ユーザが選択をしなくても撮影画像購入がセットになっており、対象となる座席を選択した時点で撮影画像購入の意思があるものとしても良い。
ステップS703では、CPU301は、利用者の端末装置から入力された「撮影画像購入の意思の有無」を確認し、「撮影画像購入の意思が有る」場合には、処理はステップS704に進み、「撮影画像購入の意思が無い」場合には、処理はステップS706に進む。
ステップS704では、CPU301は、利用者の端末装置において指定された座席を、購入するチケットの座席として選択する。例えば、チケット購入部206(もしくはチケット購入部206を介して画像処理装置201)は、チケット購入用の画面を利用者の端末装置に提供し、該画面において利用者が代表となる座席を1つ選択すると、該選択した座席を含む、入力された座席数分の座席の配置パターンを利用者の端末装置に提供し、該配置パターンのうち利用者によって選択された配置パターンを画像処理装置201に通知し、画像処理装置201のCPU301は、該通知された配置パターンにおけるそれぞれの座席を、購入するチケットに対応する座席として選択しても良い。
また、後述する撮影画像のトリミング処理では、座席指定に応じてトリミング処理の範囲を変える。
ステップS705では、CPU301は、ステップS704において選択した配置パターンにおけるそれぞれの座席に対応する座席番号(座席位置)をグループ情報として生成する。なお、利用者が配置パターンを選択せずに、代表となる座席のみを選択した場合には、CPU301は、該代表となる座席に対応する座席番号(座席位置)をグループ情報として生成する。
なお、同時購入されなかったチケットに記載の情報をアプリケーションやインターネットサイトを通して入力することで、他の座席を同じグループに追加できるようにしてもよい。ただし、グループとなる座席は縦または横に隣り合っていることが望ましい。これは、トリミングする際に、離れた座席同士は、撮影するカメラが異なる可能性があるため、1枚のトリミング範囲に収めきれない可能性があるためである。また、トリミングした画像に、グループに含まれない他の座席が多く含まれてしまうと、1人1人のサイズが小さくなってしまう。グループ情報には、同じグループに属する座席に対応する座席番号が含まれる。
ステップS706では、CPU301は、利用者の端末装置において指定された座席を、購入するチケットの座席として選択する。例えば、チケット購入部206は、チケット購入用の画面を利用者の端末装置に提供し、該画面において利用者が座席を1つ選択すると、該選択した座席を、購入するチケットに対応する座席として選択しても良い。
次に、競技やイベントの開始前に画像処理装置201が行う設定処理について、図8のフローチャートに従って説明する。この処理は、競技やイベントの開始前に画像処理装置201の電源がオンになり、対象となる競技やイベントの準備を始める指示が画像処理装置201に入力される、もしくは競技やイベントの開始から規定時間前(例えば3時間前や前日)になると開始される。
ステップS801では、CPU301は、配信部207およびチケット購入部206との接続処理を行うことで、配信部207およびチケット購入部206との間のデータ通信を可能な状態にする。
ステップS802では、CPU301は、チケット購入部206から、競技やイベントのチケット情報を取得する。チケット情報には、トリミング処理時に必要な「同時に購入されたチケットの購入枚数(グループの人数)、座席番号、座席配置(配置パターン)のセット」の集合が含まれる。また、より商品性の高い撮影画像を選択するために、チケット情報には、座席の種類に関する情報(座席が内野・外野・VIPにあるのかといったエリアに関する情報)、撮影対象となっているエリアの座席か否かを示す情報、自由席か指定席かを示す情報、頻繁に試合を観戦しているユーザであるか否かの情報、ファンクラブに加入しているか否かの情報、等も含まれる。
ステップS803では、CPU301は、ステップS802で取得したチケット情報に基づいて、トリミング範囲の算出方法を取得する。本実施形態では、図13や図14に示すテーブルから、ステップS802で取得したチケット情報に対応する「トリミング範囲の算出方法」を取得し、該取得した「トリミング範囲の算出方法」に従ってトリミング範囲を算出する。
図13および図14は、チケット情報に対応する「トリミング範囲の算出方法」が登録されたテーブルの構成例を示す図である。図13は、図4のように観客のほぼ正面から撮影された撮影画像に対応するテーブルの構成例を示す。図14は、図5のように観客がやや斜めに撮影された撮影画像に対応するテーブルの構成例を示す。
図13および図14において人数1301は、1つのグループに属する座席数に対応しており、配置パターン1302は、利用者の端末装置に提示された配置パターンに対応しており、左上_X座標1303は、トリミング範囲の左上隅のX座標に対応している。また、左上_Y座標1304は、トリミング範囲の左上隅のY座標に対応しており、右下_X座標1305は、トリミング範囲の右下隅のX座標に対応しており、右下_Y座標1306は、トリミング範囲の右下隅のY座標に対応している。また、グループ外席1307は、配置パターンにおいて、矩形の中には入ってしまうがグループ内の座席として購入されていない座席位置に対応している。
よってステップS803では、CPU301は、撮影画像が「図4のように観客のほぼ正面」から撮影したカメラによる撮影画像であれば、図13のテーブルを参照する。また、CPU301は、撮影画像が「図5のように観客をやや斜め」から撮影したカメラによる撮影画像であれば、図14のテーブルを参照する。そしてCPU301は、参照したテーブルにおいて、チケット情報に含まれている「チケットの購入枚数(グループの人数)、座席配置(配置パターン)」に対応する、「左上_X座標1303、左上_Y座標1304、右下_X座標1305、右下_Y座標1306」によって規定される範囲をトリミング範囲として特定する。つまり、「左上_X座標1303、左上_Y座標1304」で規定される位置を左上隅の位置、「右下_X座標1305、右下_Y座標1306」で規定される位置を右下隅の位置、とするトリミング範囲を決定する。
ここでは、2つの頂点(左上隅の頂点および右下隅の頂点)で定義される長方形の矩形をトリミング範囲としているが、トリミング範囲は、多角形や楕円での矩形定義など、座標系で表すことのできる矩形であればよく、トリミング範囲の形状は特定の形状に限らない。
また、図13および図14のテーブルでは、トリミング範囲の2頂点の位置を規定する情報(グループ内のいずれかの座席位置のトリミング位置)が登録されているが、トリミング範囲のピクセル数やトリミング範囲を求めるための計算式を登録しても構わない。
ステップS804では、CPU301は、HDD305などに保存している「頻繁に試合を観戦しているユーザ(すなわち、過去の撮影画像から顔が多く検出された観客)や、ファンクラブに加入している観客」の顔画像(顔データ)から、ステップS802で取得した情報に対応する顔画像を取得(準備)する。
これにより、撮影画像の中に、顔画像中の顔と一致されたと判定された観客がいた場合に、特定の観客の画像をデータとして紐づけて集め、特定の観客にまとめて提供することができる。また、ファンクラブに加入している観客は、チケット購入時に毎回画像購入の意思を示さなくても、自動的に画像が収集されることで、試合シーズンの終了後にまとめて振り返りをすることができる。観客によっては、試合を観戦する頻度が大きく異なるので、1試合の中で、複数の画像が欲しい観客と、1試合1枚でよいが観戦した全ての試合での画像が欲しい観客と、がいる可能性がある。よって、上記のように顔画像を準備しておくことで、高い頻度で観戦する観客が毎回画像購入の意思を示すための作業をしなくても、画像を提供することができる。また、毎回画像購入の意思を示すための作業を忘れてしまっても画像を提供することができる。さらに、座席位置の分からない自由席に座ったとしても、特定の観客の画像を集めることができる。なお、ステップS802において取得したチケットの購入時の情報ではなく、観戦チケットの購入とは別途、観客が画像を購入するためのプランを設け、プランを選択した場合には、顔画像を登録し、観客が観戦した様子を毎回画像として提供できるようにしてもよい。上記のような場合に、顔画像を準備しておくことで、試合中にスムーズに観客へ画像を提供することができる。
ステップS805では、CPU301は、自身のタイマ(時計)を、カメラ102~105によりこれから撮影する現地の時間に設定する。
ステップS806では、CPU301は、カメラ102~105による撮影要因を設定する。撮影要因とは、カメラ102~105による撮影の設定内容であり、例えば、インターバル撮影を行う場合には、10秒や20秒といったインターバル撮影の間隔を示す。
なお、音量を測定するためのセンサが野球の球場に設けられており、PC201aが該センサから音量を示す音量情報を取得可能であれば、該取得した音量情報が示す音量(例えば観客の歓声の音量)が規定量以上である場合にカメラ102~105に撮影指示を行う撮影要因であっても良い。また、該取得した音量情報が示す音量(例えば観客の歓声の音量)が規定量以上である場合に、インターバル撮影の間隔を、音量が規定量未満である場合におけるインターバル撮影の間隔よりも短くする、という撮影要因であっても良い。また、音量が規定量未満の時間が所定時間以上続く場合は、インターバル撮影の間隔を長くしても良い。
また、撮影画像から試合の様子を分析して、試合の点数や試合の進み具合、選手の位置に応じて、インターバル撮影の間隔を長くしたり短くしたり、あるいは静止画像の撮影から動画像の撮影に切り替える、という撮影要因であっても良い。
また、試合の休憩時間にはインターバル撮影を停止し、休憩時間の応援合戦やクイズといったイベントが発生する時間にはインターバル撮影を開始するような撮影要因であっても良い。試合の休憩時間やイベントが発生する時間はCPU301のタイマが計時している時間から判断しても良いし、オペレータが入力装置306を用いて試合の休憩時間の開始や終了、イベントの発生や終了をCPU301に指示しても良い。
また、例えば、図23(A)のようなサッカーの試合における休憩時間(ハーフタイム)におけるインターバル撮影の間隔を、試合中におけるインターバル撮影の間隔(10秒)よりも長い間隔(20秒)とする撮影要因であっても良い。これにより、盛り上がらないシーンで観客の動きに反して必要以上に短期間に撮影が行われることが防止できるので、変化の少ない撮影画像のデータ量を削減することができる。ハーフタイムはCPU301のタイマが計時している時間から判断しても良いし、オペレータが入力装置306を用いてハーフタイムの開始や終了をCPU301に指示しても良い。
あるいは、図23(B)に示すように一般的に盛り上がると言われる野球の9回裏ツーアウトからのインターバル撮影の間隔を9回表までのインターバル撮影の間隔よりも短く設定するようにしても良い。「野球の9回裏ツーアウトから」は、撮影画像におけるスコアボードを認識することで判断しても良いし、場内アナウンスを認識することで判断しても良い。
つまり、カメラ102~105が撮影している施設における試合やエンターテインメントの種別に関係なく、該試合における特定の時間帯を取得し、該特定の時間帯ではカメラ102~105のインターバル撮影の間隔を短くするようにしても良い。
このように、予め設定されている試合や競技の内容やリアルタイムに進行するイベントの発生の有無などの撮影環境に応じてインターバル撮影の間隔を変更しても良い。なお、上記では幾つかの撮影要因の例を説明したが、例えば、予め設定されている試合1つ以上の撮影要因を組み合わせても構わない。また、撮影要因に、手動による撮影の指示を組み合わせてもよいことは言うまでもない。
ステップS807では、CPU301は、システムテストとして、カメラ102~105を実際に起動して撮影とトリミング処理を行う。撮影された画像に基づいて、その日の明るさや光の入り具合に応じた撮影条件の設定をしたり、撮影した画像を座席に紐づく座標に基づいてトリミングした際に、対象となる座席を切り取ることができるのかを確認してもよい。なお、座席側に指標となるポイントとなる被写体を置いておいて、カメラ102~105が撮影した画像の中の被写体が予め定まっている座標にあるか否かを確認してもよい。
ステップS808では、CPU301は、撮影条件をステップS807のシステムテストに基づいて設定する。
次に、試合開始後に行われる処理について、図9のフローチャートに従って説明する。図9(a)は画像処理装置201が行う処理のフローチャートであり、図9(b)はカメラ102~105のそれぞれが行う処理のフローチャートであり、図9(c)は、画像処理装置201が行うトリミング処理のフローチャートである。図9のフローチャートに従った処理は、試合が開始される、もしくは試合の開始前の撮影を開始する前に開始される。
ステップS901では、CPU301は、途中チケット情報を取得する。途中チケット情報は、試合の開始後に購入された、もしくは上記のステップS802の処理の後に購入されたチケットに関するチケット情報である。途中チケット情報はチケット購入部206から取得しても良いし、チケット購入部206から定期的、もしくは更新がある度に画像処理装置201へ通知されるようにしてもよい。
ステップS902では、CPU301は、カメラc(カメラ102~105のうちc番目のカメラであり、cの初期値は1)に関するカメラ情報をHDD305などのメモリ装置から取得する。
ステップS903では、CPU301は、カメラcの撮影範囲と対象となる座席に関する情報をHDD305などのメモリ装置から取得する。
ステップS903では、CPU301は、c>K(Kはカメラの総数であり、本実施形態ではカメラ102~105を対象としているのでK=4)であるか否かを判断する。この判断の結果、c>Kの場合には、処理はステップS907に進み、c≦Kの場合には、処理はステップS904に進む。
ステップS904では、CPU301は、カメラcから撮影する座席の範囲(ステップS903で取得した情報によって特定される)における各座席に対するトリミング範囲を、上記のステップS803で取得したトリミング範囲から取得する。そしてCPU301は、該取得したトリミング範囲(例えば、トリミング範囲を示す四隅の座標情報、または基準座標と画像サイズでもよい)とカメラcの識別情報(例えばカメラ番号)とを含むトリミング情報を生成する。
ステップS905では、CPU301は、カメラcから撮影する座席の範囲での撮影要因をHDD305などのメモリ装置から取得する。例えば、チームAとチームBとが対戦している場合には攻めと守りのタイミングとで撮影のインターバル期間を変えたほうがよい場合がある。また、座席の種類によっては、頻度を高く撮影したほうがよい場合もある。よって、カメラcの撮影範囲に含まれる座席(座席番号)に応じて撮影要因を取得することによって、観客に提供しない可能性の高い画像を多く撮影することなく、撮影チャンスを逃さないようにすることができる。なお、ステップS905にて取得する撮影要因は、全てのカメラで同じでもよい。
なお、新たにチケットが購入されたり、新たに画像購入の意思が観客から示された、即ち、新たなトリミンググループが発生した場合、ステップS904およびステップS905においてそれぞれ図8のステップS803およびステップS804の処理を行う。
ステップS906では、CPU301は、cの値を1つインクリメントする。そして次のカメラについてステップS903以降の処理を行うべく、処理はステップS903に進む。
ステップS907では、CPU301は、所定時間が経過したか否かを判断する。1回目のステップS907では、ステップS901の処理を行ってから所定時間が経過したか否かを判断し、2回目以降のステップS907では、前回のステップS907で「所定時間が経過した」と判断してから所定時間が経過したか否かを判断する。ステップS907における処理は、所定時間おきに途中チケット情報を取得するためのものである。
ステップS907において、所定時間が経過したと判断した場合には、処理はステップS901に進み、所定時間が経過していないと判断した場合には、処理はステップS908に進む。
ステップS908では、CPU301は、撮影要因が満たされた(インターバル撮影の間隔を変更するための条件が満たされた)か否かを判断する。この判断の結果、撮影要因が満たされた場合には、処理はステップS909に進み、撮影要因が満たされていない場合には、処理はステップS907に進む。
ステップS909では、CPU301は、撮影指示部101にインターバル撮影の間隔を変更する旨の指示を出力し、該撮影指示部101はカメラ102~105のそれぞれに対して該変更を指示する。これによりカメラ102~105はインターバル撮影の間隔を変更し、該変更した間隔のインターバル撮影により得られる撮影画像を出力する。
例えば、ステップS908においてCPU301は、球場に設けられた音量測定用のセンサからの音量情報が示す音量(例えば観客の歓声の音量)が規定量以上であるか否かを判断する。そして、音量情報が示す音量が規定量以上の場合、ステップS909においてCPU301は、インターバル撮影の間隔を、音量が規定量未満である場合におけるインターバル撮影の間隔よりも短くする。
また例えば、ステップS908ではCPU301は、撮影画像から試合の様子を分析して、試合の点数や試合の進み具合、選手の位置が規定の条件を満たしたか否かを判断する。そしてステップS909においてCPU301は、試合の点数や試合の進み具合、選手の位置が規定の条件を満たした場合には、インターバル撮影の間隔を長くしたり短くしたり、あるいは静止画像の撮影から動画像の撮影に切り替えるよう制御する。
また例えば、CPU301は、試合の休憩時間にはインターバル撮影を停止させ、休憩時間の応援合戦やクイズといったイベントが発生する時間にはインターバル撮影を開始するようにしても良い。
また例えば、CPU301は、サッカーの試合における休憩時間(ハーフタイム)におけるインターバル撮影の間隔を、試合中におけるインターバル撮影の間隔よりも長い間隔としても良い。また例えば、CPU301は、野球の9回裏ツーアウトからのインターバル撮影の間隔を9回表までのインターバル撮影の間隔よりも短く設定するようにしても良い。画像転送受信部201bはカメラ102~105から出力された撮影画像をストレージ204に格納する。
ステップS910では、CPU301は、ステップS904で生成したトリミング情報をトリミング部202に通知する。トリミング情報および撮影要因は所定時間ごとにアップデートされるので、途中でチケットを購入した観客も、試合の途中からトリミング済画像を得ることができるようになる。
ステップS911では、CPU301は、処理の終了条件が満たされたか否かを判断する。例えば、試合が終了したことで撮影を終了する旨の指示がオペレータにより入力装置306を操作して入力されたか否かを判断する。
このような判断の結果、処理の終了条件が満たされた場合には、処理はステップS912に進み、処理の終了条件が満たされていない場合には、処理はステップS901に進む。
ステップS912では、CPU301は、カメラ102~105の電源をOFFにすることを撮影指示部101に通知し、撮影指示部101はこの通知に基づき、カメラ102~105に対して、電源をOFFにするよう指示する。カメラ102~105のそれぞれは該指示を受け、電源をOFFにする。
このように、図9(a)のフローチャートによれば、トリミング部202へのトリミング情報の通知を、カメラ102~105への撮影指示とほぼ同時に送るので、撮影後に素早くトリミング処理を実施することができる。トリミング部202では、カメラ102~105からストレージ204へ撮影画像が送られるときには、トリミングすべきグループについて把握し、トリミング範囲を算出できているので、素早くトリミング処理をし、観客が画像を確認できるようになる。
次に、カメラ102~105による撮影に関する処理について図9(b)のフローチャートに従って説明する。図9(b)のフローチャートに従った処理はカメラ102~105のそれぞれについて行われる。
ステップS930では、画像処理装置201にて設定されて送信された撮影条件を取得する。ステップS931では、画像処理装置201から撮影指示を受信したか否かを判断する。この判断の結果、撮影指示を受けた場合には、処理はステップS932に進み、撮影指示を受けていない場合には、処理はステップS931で待機する。ステップS932では、撮影条件に基づいて撮影を行う。そしてステップS933では、該撮影により得られた撮影画像を画像処理装置201に対して送信する。
ステップS934では、撮影の終了条件が満たされたか否かを判断する。例えば、画像処理装置201から電源をOFFにする指示を受けた場合には、撮影の終了条件が満たされたと判断する。この判断の結果、処理の終了条件が満たされたと判断した場合には、図9(b)のフローチャートに従った処理は終了し、処理の終了条件が満たされていないと判断した場合には、処理はステップS931に進む。
次に、カメラ102~105から受けた撮影画像におけるトリミング範囲に対してトリミング処理を行って、該トリミング範囲内の画像をトリミング済画像として生成する処理について、図9(c)のフローチャートに従って説明する。
ステップS951では、CPU301は、ストレージ204から撮影画像を取得する指示(画像取得指示)をトリミング部202に対して行うか否かを判断する。野球であればホームランがあった時刻やファインプレーのあった時刻等のイベント発生時刻の前後に撮影された撮影画像を取得するべく、タイマが計時する現在時刻がイベント発生時刻から所定範囲内であれば、画像取得指示をトリミング部202に対して行う。イベント発生時刻は、撮影画像内における状況を認識する認識処理によって該撮影画像内でイベントが発生してることを認識した時刻であっても良い。またイベント発生時刻は、オペレータが撮影画像を確認してイベントが発生したと判断したときに入力装置306を用いてその旨を入力した時刻であっても良い。また、イベント発生時刻でなくても、例えば、試合の分析を行い、イベントが発生したことに応じて画像の撮影指示と画像の取得指示とを同時にCPU301が行ってもよい。
このような判断の結果、画像取得指示をトリミング部202に対して行うと判断した場合には、処理はステップS952に進み、画像取得指示をトリミング部202に対して行わないと判断した場合には、処理はステップS951にて待機する。
ステップS952では、CPU301は、ストレージ204から対象となる撮影画像(例えば、イベント発生時刻の前後に撮影された撮影画像)を取得する。そしてステップS953では、トリミング部202は、CPU301から通知されたトリミング情報を取得する。
ステップS954では、トリミング部202は、変数nの値を1に初期化すると共に、変数mには、ステップS952で取得した撮影画像を撮影したカメラの撮影範囲に含まれる全てのトリミング範囲の座席数を設定する。変数nの値は、例えば、1階1塁側スタンドの110番といった座席番号を通し番号で簡素化して示したものである。
本実施形態では、座席番号に関して簡単のためにn=1~mとしているが、これに限らず、1台のカメラが撮影しており、かつトリミング対象となっている座席のすべてがカバーされれば、実際に球場で使用されている座席と紐づけてもよい。複数のカメラで観客の席をカバーするためには、他のカメラの撮影範囲と被ることがある。2台のカメラから撮影されている観客であっても、一方のカメラで撮影された画像からトリミングされた画像が提供される。よって、カメラの撮影範囲とトリミング範囲とは異なることがある。トリミング範囲は、試合中に可変としてもよいし、予め球場側で定めておいてもよい。
ステップS955では、トリミング部202は、撮影画像における座席番号nの座席がトリミングを行うエリアにあるか否かを判定する。球場では、ネットやポール、屋根等によりカメラの死角になってしまったり、撮影が禁止されているエリアがある可能性がある。また、自由席など観客の位置が分からないエリアにおいては、そもそも座席の位置に対応するトリミングを行わない。この場合は、ステップS955における判定はNoとする。なお、自由席であっても後述するように顔検出によるトリミングやより広い範囲のトリミングは行うことができる。
判定の結果、撮影画像における座席番号nの座席がトリミングを行うエリアにある場合(Yes)は、処理はステップS956に進み、撮影画像における撮影番号nの座席がトリミングを行うエリアにない場合(No)は、処理はステップS963に進む。なお、チケットの購入時や、座席付近において画像購入ができないエリアであることを観客に示すようにしてもよい。
ステップS956では、トリミング部202は、撮影画像における座席番号nの座席(現在トリミング対象か否かを判定している座席)がトリミング範囲にある座席数mより小さいか否かを判定する。この判定の結果、m>nの場合は、処理はステップS957に進み、m≦nの場合は、処理はステップS965に進む。
ステップS957では、トリミング部202は、撮影画像における座席番号nの座席がトリミング対象の座席か否かを判定する。トリミング対象の座席か否かは、該座席番号nの座席のチケットを購入した観客の端末装置から「撮影画像購入の意思が有る」、「撮影画像購入の意思が無い」の何れを受信しているか否かを判断すればよい。
座席番号nの座席のチケットを購入した観客の端末装置から「撮影画像購入の意思が有る」を受信している場合には、撮影画像における座席番号nの座席がトリミング対象の座席であると判定する。一方、座席番号nの座席のチケットを購入した観客の端末装置から「撮影画像購入の意思が無い」を受信している場合には、撮影画像における座席番号nの座席はトリミング対象の座席ではないと判定する。
撮影画像における座席番号nの座席がトリミング対象の座席であると判定した場合には、処理はステップS958に進み、撮影画像における座席番号nの座席はトリミング対象の座席ではないと判定した場合には、処理はステップS961に進む。
ステップS958では、トリミング部202は、ステップS952で取得した撮影画像から、トリミングを行う対象となるトリミング画像を選択する。ステップS952で取得した撮影画像からトリミング画像を選択する選択基準は特定の選択基準に限らない。例えば、現在対象となっている座席番号nの座席のトリミンググループの観客の様子に応じて、最も表情が良いものや、前後の撮影画像と比較して動きの大きなものを選択するようにしてもよい。また、トリミンググループごとで選択する画像を変えず、マニュアルで画像を選択したり、トリミング範囲の観客の動きを数値化し、一番大きな動きがあると思われる画像を選択してもよい。
ステップS959では、トリミング部202は、ステップS958で選択したトリミング画像に対してトリミング処理を行う。ステップS959におけるトリミング処理の詳細については図10を用いて後述する。
ステップS960では、CPU01は、変数nを1つインクリメントする。そして処理はステップS956に進む。座席番号nの座席がすでにトリミング処理が実施済みのトリミンググループに含まれている座席である場合には、変数nを1つインクリメントして、まだステップS957の判定をしていない座席を探していく。
ステップS961およびステップS962における処理について説明する。本実施形態においては、試合の後に観客が画像を得られるように座席番号と紐づけてエリアでのトリミングを行う。すなわち、グループトリミングのように同時購入した観客が入り、その他の観客が入らないようにトリミング範囲を決めるのではなく、30人や50人といったように予め決められた人数でのトリミングを行う。これにより、トリミングにかかる時間とデータ量を削減することができ、グループトリミングの対象となっている観客には素早く画像の提供ができるようにしつつ、そうでない観客にも後から画像を提供できるようにしている。
ステップS961では、トリミング部202は、ステップS958と同様にトリミング画像を選択する。エリアトリミングの場合には、各座席の観客に合わせてトリミング画像を保存しておかないので、座席番号nの座席の観客に応じたトリミング画像の選択は行わない。エリアトリミングの場合には、手動でトリミング画像を選択してもよいし、トリミング範囲にいる観客の動きを数値化して最も動きの大きな数値の画像を選択してもよい。もしくは、予め顔画像が準備されていた観客の表情が良い、もしくは動きの大きな画像を選択するようにしてもよい。このように、グループトリミングの対象となっていない観客であっても、画像購入をする可能性の高い観客の表情が良い、もしくは大きく動いている画像を選択することで、将来、画像を購入したより多くの観客の満足度を満たすことができる。それぞれの観客の表情の良い画像を保存しておくと、データ量が多くなりコストアップにつながり、またデータの取り出しも時間を要す。購入の可能性の高い、高い頻度で観戦する観客を優先的に画像を選択することで、よりコストが低くさらに素早く画像を提供することができるようになる。なお、顔検出された観客には、例えば10試合や5試合といった所定の数の試合ごとに、対象の観客の画像をまとめて、観客に通知をしてもよいし、次の試合の観戦時に観客に画像を通知し、購入を促してもよい。さらに、前回の試合で撮影された画像を、次の試合のチケットの購入時に観客に提示することで、どのような画像が撮影されるのかを観客が把握し、画像購入をするか否かの判断をしやすくしてもよい。
ステップS962では、トリミング部202は、ステップS961で選択したトリミング画像に対してエリアトリミングする。エリアトリミングは上述したように、所定の人数で区切った画像をトリミングする。既に他の座席n(座席番号nの座席)に対する処理においてエリアトリミングされた画像に含まれている座席nであった場合には、改めてエリアトリミングをせず、画像のデータ量の削減をする。
ステップS963およびステップS964のそれぞれでは、上記のステップS961およびステップS962と同様の処理を実行する。トリミング対象の座席でない自由席であれば、顔検出に基づいた処理を行い、トリミング対象座席でグループトリミング範囲の観客でない場合には、エリアトリミングをしないようにしてもよい。また、一部の熱狂的なファンが固まっていたり、団体の座っている座席においては、エリアトリミングの範囲を広く設けてもよい。例えば、同じ色の服を着ているユーザをトリミング範囲としてもよい。これにより、応援しているチームのユニフォームを着ている団体を一枚に収めることができる。
ステップS965では、CPU301は、トリミング済画像の中に、上記のステップS804において準備した顔画像との類似度が規定値以上となる顔が含まれているか否かを判定する。この判定の結果、トリミング済画像の中にステップS804で準備した顔画像との類似度が規定値以上となる顔が含まれている場合には、処理はステップS966に進む。一方、トリミング済画像の中にステップS804で準備した顔画像との類似度が規定値以上となる顔が含まれていない場合には、処理はステップS967に進む。
ステップS966では、CPU301は、トリミング済画像と、該トリミング済画像内の顔との類似度が規定値以上となる顔画像の識別情報(例えばID)と、を関連づける。またCPU301は、観客が観戦中の試合における画像フラグをONにする。画像フラグがONであれば、観客に対して、いつの試合に撮影された画像があるのかを提示することができる。
トリミング部202は、トリミング済画像と、該トリミング済画像に関連する様々な情報(対応する座席番号や顔画像の識別情報等)と、を関連づけてストレージ205に記録(格納)する。
ステップS967では、選択・アップロード部203は、ストレージ205に格納されているトリミング済画像、座席番号、イベントの日時情報(日付)を配信部207にアップロードし、グループトリミングの対象となっている観客が画像を閲覧可能にする。
なお、グループトリミングの対象となっている観客でなくても、トリミングした画像を提示するようにしてもよい。このとき、グループトリミングの対象外となっている観客にはウォーターマークでサンプルなどの文字をいれる。なお、アップロードしなかった画像はストレージ204やストレージ205から削除、もしくは画質を落として記録することで、画像の容量を減らし、コストの削減へとつなげる。ただし、試合後、所定期間はステップS958、S961、S963で選択した画像を保存しておいてもよいし、削除をする前に各観客に通知してもよい。
上記のステップS959におけるトリミング処理について、図10のフローチャートに従って説明する。ステップS1001では、トリミング部202は、チケット情報を取得する。チケット情報の一例を図11に示す。図11では、グループの人数に応じた座席配置の例を示している。
図11(a)は4人(人数1301=「4」)のグループの座席配置例を示しており、パターン(1)(配置パターン1302=「1」)では4人が横並びになっており、パターン(2)(配置パターン1302=「2」)では2人ずつ前後に並んでいる。
図11(b)は5人(人数1301=「5」)のグループの座席配置例(パターン(1)、(2)、(3))(配置パターン1302=「1」、「2」、「3」)を示している。
図11(c)は6人(人数1301=「6」)のグループの座席配置例(パターン(1)、(2)、(3))(配置パターン1302=「1」、「2」、「3」)を示している。
図12は、座席配置における座席の関係性を示した図である。グループ内で左下の座席位置を基準として、水平方向の座席位置を「番」、垂直方向の座席位置を「列」で表現し、水平方向右側に向かって「番」の数字がインクリメントされ、垂直方向上側に向かって「列」の番号がインクリメントされる。図12は図11(c)のパターン(2)における座席配置の具体的な例を示したものである。X+2番・Y列にはグループ内の利用者はいないが、矩形をトリミングする際のデータとして必要であるため、上記の図13および図14のテーブルにおいてグループ外席1307として定義する。
ステップS1002では、トリミング部202は、トリミング情報を取得する。トリミング情報には、左上_X座標1303、左上_Y座標1304、右下_X座標1305、右下_Y座標1306、グループ外席1307、が含まれている。なお、事前にトリミング範囲を算出せずにステップS1001においてトリミング範囲の算出を行ってもよい。
ステップS1003では、トリミング部202は、ステップS1002で取得したトリミング情報内に有効なグループ外席1307が含まれているか否かを判断する。有効なグループ外席1307とは、値を有するグループ外席1307のことであり、図13および図14の例では、人数1301=「5」および配置パターン1302=「2」に対応するグループ外席1307は値「(X+2).Y」を有しているので、有効なグループ外席1307である。また、人数1301=「5」および配置パターン1302=「3」に対応するグループ外席1307は値「(X+2).(Y+1)」を有しているので、有効なグループ外席1307である。その他のグループ外席1307は値を有していないので、有効なグループ外席1307ではない。
ステップS1002で取得したトリミング情報内に有効なグループ外席1307が含まれている場合には、処理はステップS1004に進む。一方、ステップS1002で取得したトリミング情報内に有効なグループ外席1307が含まれていない場合には、処理はステップS1005に進む。
ステップS1004では、トリミング部202は、撮影画像においてグループ外席1307の値で規定される領域をマスクする。例えば、図13および図14の例では、人数1301=「5」および配置パターン1302=「3」に対応するグループ外席1307は値「(X+2).(Y+1)」を有している。然るに、図12に示す如く、右上隅の座席((Y+1)列・(X+2)番)に対応するトリミング範囲(図6において規定)をマスクする。領域をマスクする方法には様々な方法があり、該領域の解像度を落としても良いし、該領域を単色の色で塗りつぶしても良い。
なお、ステップS1004において、グループ外座のトリミング位置の全範囲を塗りつぶしてしまうと、一部上下隣のグループ内の座席のトリミング位置と重なっていることがあるため、若干トリミング位置よりも内側を塗り潰すことが望ましい。これは、グループ外の観客が写らないようにするための処理である。また、特に肖像権の問題などがなく、利用者の意思としてグループ外の人物が写っていても問題ない場合には、ステップS1004の処理は必要がないケースもある。
ステップS1005では、トリミング部202は、ステップS1002において取得したトリミング情報に基づいて、トリミング範囲を確定させる。図15は、本実施形態における、トリミング範囲の計算例を示した図である。図15(a)は、図4のように観客のほぼ正面から撮影された画像に対する計算方法の例を示しており、図15(b)は、図5のように観客がやや斜めに撮影された画像に対しての計算方法の例を示している。
図15(a)の例では、図12と同様であるから、右下隅はマスクされている。また、トリミング範囲の左上隅の座標は、トリミング情報によれば(X.(Y+1)_左上、X.(Y+1)_左上)である。これは、X番・(Y+1)列の座席のトリミング範囲(図6により規定)の左上の座標を図15(a)のトリミング範囲の左上隅の座標とすることを示している。また、トリミング範囲の右下隅の座標は、トリミング情報によれば((X+2).Y_右下、(X+2).Y_右下)である。これは、(X+2)番・Y列の座席のトリミング範囲(図6により規定)の右下の座標を図15(a)のトリミング範囲の右下隅の座標とすることを示している。
図15(b)の例でも、図12と同様であるから、右下隅はマスクされている。また、トリミング範囲の左上隅の座標は、トリミング情報によれば(X.Y_左上、X.(Y+1)_左上)である。これは、X番・Y列の座席のトリミング範囲(図6により規定)の左上のX座標、X番・(Y+1)列の座席のトリミング範囲(図6により規定)の左上のY座標、をそれぞれ図15(a)のトリミング範囲の左上隅のX座標、Y座標とすることを示している。また、トリミング範囲の右下隅の座標は、トリミング情報によれば((X+2).(Y+1)_右下、(X+2).Y_右下)である。これは、(X+2)番・(Y+1)列の座席のトリミング範囲(図6により規定)の右下のX座標、(X+2)番・Y列の座席のトリミング範囲(図6により規定)の右下のY座標、をそれぞれ図15(a)のトリミング範囲の右下隅のX座標、Y座標とすることを示している。
ステップS1006では、トリミング部202は、ステップS1005において確定したトリミング範囲に対するトリミング処理を行う。これによりトリミング部202は、該トリミング範囲内の画像をトリミング済画像(撮影画像から該当人数・座席配置に従ったトリミング位置で切り出したトリミング済画像)として生成する。そしてトリミング部202は、該生成したトリミング済画像を、撮影日付や座席番号などの関連する情報と関連づけてストレージ205に格納する。
なお、本実施形態において次のようにシステムを運用して、観客がより容易に画像が取得できるようにしてもよい。例えば、チケットに記載のQRコードを、利用者の端末装置のカメラが読み取り、該携帯端末が該読み取ったQRコードを認識し、該認識の結果として特定したアクセス先である配信部207に画像の閲覧要求を行うようにしても良い。また、本実施形態では、事前にグループ情報を取得するようにしているが、処理を行う度に取得してもよい。この場合、システムも常にグループ情報を作り直す必要があり、それを都度トリミング部202から取得するので、システム全体としては処理が増える。しかし、例えば、野球の場合当日券の売り上げの割合が多く、試合開始後にグループ情報が多く作成される場合などには有効である。
[第2の実施形態]
以下では、第1の実施形態との差分について説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。本実施形態では、事前に観客が画像の購入意思を示さなかったが、試合の終了後に画像を購入しようとした場合における画像提供システムについて説明する。
カメラ102~105およびチケット購入部206は第1の実施形態と同様である。本実施形態に係る画像提供システムの構成例を図16に示す。画像処理装置201は、撮影指示部101、画像転送受信部201b、ストレージ204、選択・アップロード部203を有する。撮影指示部101、画像転送受信部201b、ストレージ204、選択・アップロード部203は画像処理装置201が有していても良いし、それぞれ別個の装置が有していても良い。撮影指示部101および画像転送受信部201bは第1の実施形態と同様である。
また、本実施形態では、トリミング部202および配信部207が1つの装置に収まっている。しかし、トリミング部202および配信部207のそれぞれが別個の装置であっても良い。
選択・アップロード部203は、ストレージ204に撮影画像が格納されたことをトリガーに、該撮影画像をイベント日付や座席ごとのトリミング範囲(図6)と共に配信部207にアップロードする。
選択・アップロード部203が配信部207にアップロードする撮影画像はトリミングされていない高解像の画像である。そのため、インターバル撮影などで撮影枚数が多くなった場合や、カメラの台数が多くなった場合には、大量のデータが配信部207にアップロードされることになる。よって、後からグループトリミングをしようとした際には、より大量のデータを画像処理装置201が保持しなければならない。
なお、ここでは座席ごとのトリミング範囲を画像処理装置201から配信部207にアップロードしているが、座席ごとのトリミング範囲を配信部207およびトリミング部202が有していても良い。ただし、座席ごとのトリミング範囲はあくまでもカメラ102~105で撮影される画像に対しての位置情報となるので、画像処理装置201側におけるカメラ102~105の取り付け位置や画角を変更した場合に都度更新が必要となる。然るに、画像処理装置201と配信部207およびトリミング部202がより連携して対応する必要がある。
配信部207は、利用者が携帯端末を操作して入力したイベント日付と座席番号をトリミング部202に転送し、選択・アップロード部203から送信された情報群をトリミング部202に転送して、トリミング部202にトリミング処理を指示する。そして配信部207は、トリミング部202が生成したトリミング済画像を利用者の端末装置に送信することで、該トリミング済画像を利用者に提示する。
利用者が携帯端末にイベント日付や座席番号を入力する方法は特定の方法に限らず、利用者がチケットを見て手動で入力しても良いし、チケットにQRコードなどを印字して、それをスマートホンで読み取って認識することで入力しても良い。また、チケット情報が分からない場合には顔検出でもよく、その場合は、利用者の顔画像に対応するチケット情報が既知であることが必須である。このように、情報の入力方法は上述の方法に限らない。顔画像は、スマートホンで撮影した人数分の自撮り画像をそれぞれチケット購入時に登録するようにすればよい。
また、利用者への情報の提示はスマートホンのアプリケーションでも良いし、ブラウザでアクセスするようなWebアプリケーションの形でも良く、提示方法については特定の提示方法に限らない。
トリミング部202は、動作自体は第1の実施形態で説明したとおりであるが、利用者が購入を希望する都度にトリミング済画像を生成することになり、利用者がトリミング済画像を取得するまでの時間にそのトリミング時間が含まれてしまう。そのため、画像の提供を素早く行うことができない。また、素早く行うためにはより画像処理を高速に実施できる環境が必要となる。
また、別の画像提供システムの構成例を図17に示す。図17に示した構成は、図16に示した構成において、画像処理装置201にPC201aを加えた構成となっている。図17の画像提供システムでは、画像をストレージ204に保存している。図17の処理では、図16とは異なり、配信部207に大量の撮影画像が送信されることはないが、利用者の端末装置からの画像購入要求を受けてから画像処理装置201に対象カメラで撮影した撮影画像を要求してアップロードしてもらう。そのため、図16の画像提供システムよりも画像取得分だけ時間が長くかかってしまうので、利用者がトリミング済画像を取得するのにさらに時間がかかってしまう。
図17に示す如く、本実施形態では、利用者がチケットを購入した後で、利用者の端末装置から画像購入要求が配信部207に対して送信されたところから処理がスタートする(1)。
配信部207は、画像購入要求の対象となるトリミング済画像のトリミング元となった撮影画像を画像処理装置201へ要求し(2)、PC201aは、該要求に応じてストレージ204から該当する撮影画像の読み出す(3)。その後、選択・アップロード部203がは、PC201aがストレージ204から読み出した撮影画像を配信部207へ送信する(4)。このとき、配信部207には、撮影画像だけでなく、日付や座席ごとのトリミング範囲等も送信されるための、配信部207に送信するデータの量が大きくなる。配信部207からトリミング部202に対してトリミング指示が出力される(5)。トリミング部202は該トリミング指示を受けると、配信部207が選択・アップロード部203から受信した撮影画像に対してトリミング処理を行ってトリミング済画像を生成し、該生成したトリミング済画像を配信部207に出力する(6)。その後、配信部207は、トリミング部202から受けたトリミング済画像を、利用者の端末装置に対して送信する(7)。
このように、図17の方法では、事前に観客が画像購入の意思を示していなくても、トリミンググループを対象としたトリミング済画像を観客に提供することができる。しかし、システム内、装置内における情報や指示のやり取りが多く、事前に画像の購入意思のある観客よりも画像の提供にまでに時間を要する可能性がある。
なお、観客に画像を提供する際には、座席情報も紐づけて観客に提供することで、観客がSNSに画像をアップロードした際に、画像をみた人がどの位置の座席であればよい画像が撮られるのかを認識することができる。
さらに、座席の位置に応じて明るさに関する画像処理を行い、暗い部分や明るい部分に対して適正な画像処理が施された画像を提供するようにすることで、広い範囲の観客を同じ画角範囲に含めて撮影してもより良い画像を提供することが可能になる。同じ画角内において明るさが所定以上変わるような場合には、RAW画像を取得し、後で画像の加工をしやすくしてもよい。
次に、本実施形態における撮影指示処理について、図18のフローチャートに従って説明する。図18のフローチャートに従った処理は、試合の進行状況に応じて、撮影する頻度を変更するための処理である。この処理は、試合開始前に予めストレージ204などのメモリ装置に記録されたタイムスケジュールに基づく撮影タイミング制御用パラメータを試合経過中に変更しながら各カメラに対して撮影制御を行う。図18のフローチャートに従った処理は、撮影が開始されたことに応じて開始される。
ステップS1801では、CPU301は、ストレージ204などのメモリ装置に保存されているプログラムに含まれている、「現在時刻における撮影タイミング制御用パラメータ」を取得する。撮影タイミング制御用パラメータは、フラグF、所定時間T、インターバル撮影時間Sを含む。
フラグFは、発生したイベントや条件に対するフラグである。所定時間Tは、現在の撮影タイミング制御用パラメータの見直しを実行するまでの時間である。インターバル撮影時間Sは、カメラにインターバル撮影指示を実行するまでの時間である。フラグF、所定時間T、インターバル撮影時間Sは、変更が発生した際に、変更した時刻を示す時刻情報とともにストレージ204に保存される。また、ここではフラグFには、初期値を入れておき、後述のスコア条件群やカメラ観察条件のいずれかを満たしたタイミングでカウントアップする。
ステップS1802では、CPU301は、ストレージ204などのメモリ装置に保存されているプログラムに含まれているイベント群のうち、いずれかが現在発生しているか否かを判断する。プログラムに含まれているイベントとは、投球式、イニングの交代時間、応援合戦、花火の打ち上げといった試合進行中に発生するイベントが挙げられる。イベントが発生しているか否かはオペレータが入力装置306を用いてCPU301に通知しても良いし、ライブ配信用のデータといった外部のデータを使用してもよい。
プログラムに含まれているイベント群のうちいずれかが現在発生している場合には、処理はステップS1803に進み、何れのイベントも現在発生していない場合には、処理はステップS1804に進む。
ステップS1803では、CPU301は、現在の撮影タイミング制御用パラメータを、現在発生しているイベントに対応する撮影タイミング制御用パラメータに更新する。つまり、現在のフラグF、所定時間T、インターバル撮影時間Sのそれぞれの値を、現在発生しているイベントに対応するフラグf’、所定時間t’、インターバル撮影時間s’(何れも予めストレージ204などのメモリ装置に登録されている)に更新する。
ステップS1804では、CPU301は、ストレージ204などのメモリ装置に保存されているプログラムに含まれているスコア条件群のうちいずれかのスコア条件が満たされたか否かを判断する。スコア条件とは、イニングの進行状況、点差、ホームチームが点を入れた、失点した、などが挙げられる。スコア条件が満たされたか否かは、撮影画像内における状況の認識結果に基づいて判断しても良いし、他の手法でもって判断しても良い。
プログラムに含まれているスコア条件群のうちいずれかが現在満たされている場合は、処理はステップS1805に進み、何れのスコア条件も満たされていない場合には、処理はステップS1806に進む。
ステップS1805では、CPU301は、現在の撮影タイミング制御用パラメータを、現在満たされているスコア条件に対応する撮影タイミング制御用パラメータに更新する。つまり、現在のフラグF、所定時間T、インターバル撮影時間Sのそれぞれの値を、現在満たされているスコア条件に対応するフラグf、所定時間t、インターバル撮影時間s(何れも予めストレージ204などのメモリ装置に登録されている)に更新する。
ステップS1806では、CPU301は、ストレージ204などのメモリ装置に保存されているプログラムに含まれている観察カメラ条件が撮影画像内で発生している(カメラが条件を満たしている)か否かを判断する。観察カメラ条件とは、撮影画像内の観客のうち立っている観客の割合が規定値以上、選手がガッツポーズをしているなどが挙げられる。撮影画像内で観察カメラ条件が発生しているか否かは、撮影画像内における状況を認識する認識処理などにより判断することができる。
このような判断の結果、撮影画像内で観察カメラ条件が発生している場合には、処理はステップS1807に進み、撮影画像内で観察カメラ条件が発生していない場合には、処理はステップS1808に進む。
ステップS1807では、CPU301は、現在の撮影タイミング制御用パラメータを、現在発生している観察カメラ条件に対応する撮影タイミング制御用パラメータに更新する。つまり、現在のフラグF、所定時間T、インターバル撮影時間Sのそれぞれの値を、現在発生している観察カメラ条件に対応するフラグf、所定時間t、インターバル撮影時間s(何れも予めストレージ204などのメモリ装置に登録されている)に更新する。
ステップS1808では、撮影指示部101は、カメラに対し、該カメラについて設定されているインターバル撮影時間Sの間隔でインターバル撮影を行うよう指示する。
ステップS1809では、CPU301は、カメラに対応する所定時間Tが前回更新されてからの経過時間が所定時間Tを超えたか否かを判断する。
この判断の結果、カメラに対応する所定時間Tが前回更新されてからの経過時間が所定時間Tを超えた場合には、処理はステップS1810に進む。一方、カメラに対応する所定時間Tが前回更新されてからの経過時間が所定時間Tを超えてない場合には、処理はステップS1804に進む。
ステップS1810では、CPU301は、撮影処理の終了条件が満たされたか否かを判断する。例えば、オペレータが入力装置306を操作して撮影処理の終了指示を入力した場合には、撮影処理の終了条件が満たされたと判断する。
このような判断の結果、撮影処理の終了条件が満たされた場合には、図18のフローチャートに従った処理は終了し、撮影処理の終了条件が満たされていない場合には、処理はステップS1801に進む。
次に、本実施形態における撮影画像の選択処理について、図19のフローチャートに従って説明する。
ステップS1901では、画像転送受信部201bは、ステップS1808における指示に応じて撮影された撮影画像を取得し、該取得した撮影画像をストレージ204などのメモリ装置に保存する。
ステップS1902では、選択・アップロード部203は、ステップS1901で取得した撮影画像をカメラに対応するフラグFと、試合開始前にプログラムに設定されているフラグF’と、の大小比較を行う。この大小比較の結果、F≧F’であれば、処理はステップS1903に進み、F<F’であれば、図19のフローチャートに従った処理は終了する。
ステップS1903では、選択・アップロード部203は、ステップS1901でストレージ204などのメモリ装置に保存された撮影画像にフラグFを付与する。ステップS1905では、選択・アップロード部203は、ステップS1903においてフラグFが付与された撮影画像を配信部207にアップロードする。
つまり、フラグFは、条件を満たしている場合にカウントアップされるため、更新されたフラグFが予め設定されているF‘よりも大きくなっていればスコア条件または観察カメラ条件のいずれかに該当し、残すべき盛り上がりシーンの画像である可能性が高いということを示している。
なお、事前に画像の購入意思とチケット購入情報の座席位置などを収集していない場合、購入したいという意思入力があってから、画像の取得(撮影からの取得を含む)を行う。この場合、購入意思と一緒に座っている座席情報(チケット購入情報)を購入時に画像処理装置側に送り、その後購入意思とともに入手した座席情報を用いてトリミング処理が行われる。
次に、本実施形態におけるインターバル撮影時間の計算方法について、図20を用いて説明する。図20(a)および図20(b)のそれぞれでは、前回の撮影から次の撮影までの間の期間内に行われる処理の数が異なる。
図20(a)においてインターバル撮影時間Sa2001は、撮影タイミング制御用パラメータに含まれているインターバル撮影時間である。上記のステップS1808では、前回の撮影からインターバル撮影時間Sa2001だけ間隔を空けてから次の撮影を行うことで「インターバル撮影時間Sa2001を間隔とするインターバル撮影」を実施可能である。ここで、前回の撮影から次の撮影までの間の期間内に、上記のステップS1802、S1804、S1806といった条件判定(それぞれ処理A、処理B、処理C)を行うための処理時間である設定値更新時間A2002が発生する。そこで、インターバル撮影を行う上で、設定値更新時間A2002と差分時間A2003とが、前回の撮影から次の撮影までの間の期間内に収まるようにインターバル撮影時間Sa2001を求める必要がある。
図20(b)においてインターバル撮影時間Sb2004は、撮影タイミング制御用パラメータに含まれているインターバル撮影時間である。上記のステップS1808では、前回の撮影からインターバル撮影時間Sb2004だけ間隔を空けてから次の撮影を行うことで「インターバル撮影時間Sb2004を間隔とするインターバル撮影」を実施可能である。ここで、前回の撮影から次の撮影までの間の期間内に、処理A~Dを行うための処理時間である設定値更新時間B2005が発生する。そこで、インターバル撮影を行う上で、設定値更新時間B2005と差分時間B2006とが、前回の撮影から次の撮影までの間の期間内に収まるようにインターバル撮影時間Sb2004を求める必要がある。
このように、予めプログラムに含まれている撮影タイミング制御用パラメータに基づいてインターバル撮影を行い、イベントや試合の展開で観客の盛り上がりに応じて、撮影タイミング制御用パラメータの見直しを行う。撮影画像を選択する際に、事前に予想されていた盛り上がりを満たす画像のみアップロードを行う。
なお、後述するモニタリング部399などの機能部によるモニタリング等により他の条件が追加されていくケースもあり、このようなケースであっても(リアルタイムに増える場合でっても)、本実施形態は対応可能である。
以上、説明した実施形態において、アップロード画像全体のデータ量を減らしつつ、盛り上がりシーンには撮影機会を逃さずにユーザの購買意欲を満たす画像を提供することができる。
[第3の実施形態]
本実施形態では、撮影指示処理と画像選択処理の変形例についてそれぞれ図21と図22を用いて説明する。図21、図22では、撮影時には予め分かっているもしくは撮影状況において盛り上がると考えられるタイミングの前にインターバル撮影時間Tを短くしておき、撮影後に実際の盛り上がり時刻を取得し、不要な画像を削除する。これにより、撮影機会を逃さないようにしつつも、観客が実際には盛り上がらなかった可能性の高い画像は削除し、データ量を減らすことができる。この処理は、試合開始前に予めプログラムに含まれているタイムスケジュールに基づく撮影タイミング制御用パラメータを試合経過中に変更しながら各カメラに対して撮影制御を行う。図21および図22のそれぞれのフローチャートに従った処理は、撮影が開始されたことに応じて開始される。本実施形態には、第1の実施形態に係る画像提供システムを用いても構わないし、第2の実施形態に係る画像提供システムを用いても構わない。
先ず、図21のフローチャートに従った撮影指示処理について説明する。ステップS2101では、CPU301は、インターバル撮影時間(インターバル撮影間隔)Tをt1に設定する。ステップS2102では、CPU301は、自身のタイマが計時している現在時刻が、プログラムに含まれているイベントの開始時刻であるか否かを判定する。イベントとは、予めプログラムに含まれているイベントであり、例えば投球式、イニングの交代時間、応援合戦、花火の打ち上げといった試合進行中に発生するイベントのことである。これらのイベントでは開催期間(開始時刻および終了時刻のセット)が定まっており、プログラムに予め含まれている。
現在時刻がイベントの開始時刻である場合には、処理はステップS2103に進む。一方、現在時刻がイベントの開始時刻ではない場合には、処理はステップS2108に進む。
ステップS2103では、CPU301は、特別インターバル撮影Iの開始時刻Isとして現在時刻をHDD305などのメモリ装置に登録する。ステップS2104では、CPU301は、インターバル撮影時間Tをt2(<t1)に設定する。インターバル撮影時間をより短い時間に設定することで、観客が盛り上がった状態の撮影機会を逃す可能性を低減させることができる。
ステップS2105では、撮影指示部101は、カメラ102~105に対してインターバル撮影時間t2でインターバル撮影を行うよう指示し、カメラ102~105は、インターバル撮影時間t2の間隔でインターバル撮影を行い、撮影画像を出力する。画像転送受信部201bは、カメラ102~105から出力された撮影画像をストレージ204に格納する。
ステップS2106では、CPU01は、自身のタイマが計時している現在時刻がイベントの終了時刻になったか否かを判定する。現在時刻がイベントの終了時刻になった場合には、処理はステップS2107に進み、現在時刻がイベントの終了時刻になっていない場合には、処理はステップS2105に進む。
ステップS2107では、CPU301は、特別インターバル撮影Iの終了時刻Ieとして現在時刻をHDD305などのメモリ装置に登録する。ステップS2108では、CPU301は、撮影画像中の状況を認識することで得られる現在の試合のスコアがスコア条件を満たすか否かを判定する。
スコア条件とは、イニングの進行状況、点差、ホームチームが点を入れた、失点した、などが挙げられる。また、バレーボールであれば、23対24になった状態からいずれかがセットを取得するまでがスコア条件を満たすものである。また、いずれかが23点以上になった状態から、他方が4点以上連続して点数を取得して追い上げた状態から、いずれかが25点を取得するまでがスコア条件を満たすものである。さらに、互いに1セットずつ取得した状態において、いずれか一方が7点以上連続して点数を取得した状態から、他方が点数を取得するまでの状態がスコア条件を満たすものである。このように、スコア条件は、イベントの種類や状況などに応じて様々なものが考えられる。
現在の試合のスコアがスコア条件を満たしている場合には、処理はステップS2109に進み、現在の試合のスコアがスコア条件を満たしていない場合には、処理はステップS2114に進む。
ステップS2109~ステップS2113のそれぞれにおける処理は、上記のステップS2103~ステップS2107における処理と同様の処理である。ただし、ステップS2110においてインターバル撮影時間Tに設定するt3ははt2と異なっていてもよいし、スコア条件を複数設け、スコア条件に応じてインターバル撮影時間Tが異なるようにしても良い。すなわち、より盛り上がるスコアであると予測される状態である場合には、インターバル撮影時間Tをより短くしてもよい。もしくは、スコア条件をステップS2108において満たしたと判断してからの経過時間に基づき、インターバル撮影時間Tを徐々に短くしていってもよい。
ステップS2114では、CPU301は、特定試合条件を満たすか否かを判定する。特定試合条件とは、例えばアメフトであれば4回目の攻撃の開始から終了までや、8ヤード以上進んでいる状態から10ヤードに進むまでを特定試合条件を満たすものとしてもよい。特定試合条件は、選手の位置や試合の進み具合に応じて決まるものであり、カメラで撮影された撮影画像を分析することによって、撮影画像内における試合状況が特定試合条件を満たすか否かを判定することができる。
撮影画像内における試合状況が特定試合条件を満たす場合には、処理はステップS2115に進み、撮影画像内における試合状況が特定試合条件を満たさない場合には、処理はステップS2120に進む。
ステップS2115~ステップS2119のそれぞれにおける処理は、上記のステップS2103~ステップS2107(ステップS2109~ステップS2113)における処理と同様の処理である。ただし、ステップS2116においてインターバル撮影時間Tに設定するt4はt2、t3と異なっていてもよいし、特定試合条件の種類に応じてインターバル撮影時間Tが異なるようにしても良い。なお、試合の特性に応じてステップS2108~ステップS2113の処理と、ステップS2114~ステップS2119の処理と、の何れかを行うようにしてもよい。
ステップS2120では、CPU301は、処理の終了条件が満たされたか否かを判断する。例えば、オペレータが入力装置306を操作して処理を終了する指示を入力した場合には、処理の終了条件が満たされたと判断する。
このような判断の結果、処理の終了条件が満たされた場合には、図21のフローチャートに従った処理は終了する。一方、処理の終了条件が満たされてない場合には、処理はステップS2102に進む。
次に、図22のフローチャートに従った画像選択処理について説明する。図22のフローチャートに従った処理は、図21のフローチャートに従った処理において撮影されてストレージ204に格納された撮影画像のうち、削除する撮影画像とトリミング処理の対象となる撮影画像とを選択する処理である。図22のフローチャートに従った処理は、図21のフローチャートに従った処理の開始と共に開始される。
ステップS2201では、CPU301は、ストレージ204におけるカメラnの撮影画像を検出する。なお、ステップS2201において検出する画像はライブビュー画像(LV画像)でもよい。
ステップS2202では、CPU301は、ステップS2201において取得した撮影画像において観客の動きが閾値以上であったか否かを判定する。観客の動きが閾値以上とは、半数以上の観客が手を挙げたことや、観客の動きを数値化し、その平均が所定以上を超えたことなどを指す。
撮影画像における観客の動きが閾値以上である場合には、処理はステップS2203に進み、撮影画像における観客の動きが閾値未満である場合には、処理はステップS2204に進む。
ステップS2203では、CPU301は、観客の動きが閾値以上であると判定した撮影画像の撮影時刻を盛り上がり時刻Eとする。ステップS2204では、CPU301は、盛り上がり時刻が撮影画像の提供者もしくは観客から入力(指定)されたか否かを判定する。盛り上がり時刻の入力(指定)とは、野球であれば何時何分何秒にホームランが打たれたということや、良いプレーがあった瞬間の時刻を入力することである。盛り上がり時刻の入力は、実際に会場が盛り上がった後に入力をするので、いつ盛り上がりがあったのかを正確に指定することができる。一方で、実際に盛り上がるまでには、どのタイミングで観客が盛り上がるのかは分からない。盛り上がり時刻の入力があったと判定した場合は、処理はステップS2205に進み、盛り上がり時刻の入力が無かったと判定した場合には、処理はステップS2206に進む。
ステップS2205では、CPU301は、撮影画像の提供者もしくは観客から入力(指定)された盛り上がり時刻を取得する。ステップS2206では、CPU301は、図22のフローチャートに従った処理の終了条件が満たされたか否かを判断する。図22のフローチャートに従った処理は、試合が終了し、撮影が終了した後1時間後や2時間後といった所定時間後に終了する。これは、盛り上がり時刻の入力が試合後に行われる可能性があるためである。
処理の終了条件が満たされた場合には、図22のフローチャートに従った処理は終了する。一方、処理の終了条件が満たされていない場合には、処理はステップS2201に進む。
ステップS2207では、CPU301は、図21のフローチャートに従った処理において登録された特別インターバル撮影Iの開始時刻Isと終了時刻Ieとの間に、盛り上がり時刻Eが含まれているか否かを判定する。すなわち、図21のフローチャートに従った処理において盛り上がる可能性が高いとしてインターバル撮影時間Tを短くした期間において、実際に盛り上がりがあったのかを判定する。Is<E<Ieを満たすと判定した場合(Yes)は、処理はステップS2208に進む。一方、Is<E<Ieを満たさないと判定した場合(No)には、処理はステップS2214に進む。
ステップS2208では、CPU301は、特別インターバル撮影I=iに含まれる撮影画像の撮影時刻を取得する。特別インターバル撮影Iは、1回目の撮影からN回目の撮影までの各撮影に番号が振られており、特別インターバル撮影I=iとは、i回目の撮影を指す。つまり、ステップS2208では、ステップS2207においてYesと判定された時刻に対応する特別インターバル撮影I=iに含まれる撮影画像の撮影時刻を取得する。
ステップS2209では、CPU301は、盛り上がり時刻E±A1の撮影時刻がステップS2208において取得した撮影時刻にあるか否かを判定する。A1は例えば、1秒や3秒といった時間である。
盛り上がり時刻E±A1の撮影時刻がステップS2208において取得した撮影時刻にある(Yes)場合は、処理はステップS2210に進む。一方、盛り上がり時刻E±A1の撮影時刻がステップS2208において取得した撮影時刻にない(No)場合は、処理はステップS2211に進む。
ステップS2210では、CPU301は、盛り上がり時刻E±A1の期間に撮影された撮影画像m=1~kの情報を取得する。この情報には、撮影画像の画像番号、実際の撮影時刻やこのときのインターバル撮影時間Tなどが含まれる。
ステップS2211では、CPU301は、盛り上がり時刻E±A2の撮影時刻がステップS2208において取得した撮影時刻にあるか否かを判定する。A2は例えば、5秒や7秒といった時間であり、A1より長い時間である。
盛り上がり時刻E±A2の撮影時刻がステップS2208において取得した撮影時刻にある(Yes)場合は、処理はステップS2212に進む。一方、盛り上がり時刻E±A2の撮影時刻がステップS2208において取得した撮影時刻にない(No)場合は、処理はステップS2213に進む。
ステップS2209においてNOと判定されるということは、実際に盛り上がりがあった直近の時間には撮影を行っていなかったということであるが、より盛り上がり時刻Eに近いタイミングでの撮影画像を取得するためにA2を設ける。
ステップS2212では、CPU301は、盛り上がり時刻E±A2の期間に撮影された撮影画像m=1~kの情報を取得する。この情報には、撮影画像の画像番号、実際の撮影時刻やこのときのインターバル撮影時間Tなどが含まれる。
ステップS2213では、CPU301は、盛り上がり時刻Eから最も近い撮影時刻の撮影画像m=1、2の情報を取得する。この情報には、撮影画像の画像番号、実際の撮影時刻やこのときのインターバル撮影時間Tなどが含まれる。盛り上がり時刻Eの前後A2内において撮影を行っていなかったということなので、盛り上がり時刻Eの前後で撮影された2枚の撮影画像の情報を取得する。このように、盛り上がり時刻により近い画像情報を取得することで、より観客の盛り上がっている様子を撮影した画像を観客に提供することができる。
ステップS2214では、CPU301は、盛り上がり時刻Eより前と後であり、Eから最も近い撮影時刻である2枚の撮影画像を撮影画像wとし、該画像wに関する情報を取得する。この情報には、画像番号、実際の撮影時刻やこのときのインターバル撮影時間Tなどが含まれる。
ステップS2215では、CPU301は、特別インターバル撮影I=iに含まれる撮影画像、すなわち、ステップS2208において撮影時刻を取得した撮影画像のうちステップS2210、S2212,S2213で情報を取得した画像mと、特別インターバル撮影I=iに含まれる撮影画像のうちt1毎の撮影時刻の画像と、をストレージ204へ保存し、その他の撮影画像を削除する。このとき、t1毎の撮影時刻の撮影画像がなければ、t1に近い間隔で撮影された撮影画像を保存しておけばよい。たとえば、特別インターバル撮影I=iにおいてT=2秒で撮影していたが、基本となるインターバル撮影時間Tが5秒であった場合には、撮影時刻が6秒ごとの撮影画像を保存し、その他の撮影画像を削除してもよい。
ステップS2216では、CPU301は、画像mおよび画像wに対して図10のフローチャートに従ったトリミング処理を行う。これにより、観客に素早く画像を提供することができる。
なお、ステップS2202では、試合の盛り上がりを、撮影画像中の観客の動きが閾値以上であったかどうかで判定した。しかし、音声を検出するマイクをモニタリング部399としてPC201a(I/F308)に接続し、マイクが収集した歓声などの音量が閾値以上であったかどうかで試合の盛り上がりを判定するようにしても良い。そして、マイクが収集した音量が閾値以下の場合は、インターバル撮影時間をそれまでよりも長くするようにしても良い。また、モニタリング部399としてのマイクが収集した音をPC201aで認識し、会場で特定の楽曲が流れていることを検知した場合には、盛り上がっていると判定しても良い。
また、例えば、スポットライトのような舞台やステージの照明を、光量を想定するセンサとしてのモニタリング部399を用いてモニタリングしておき、照度の変化によって盛り上がりを判定しても良い。また、舞台が暗転した場合には、インターバル撮影を止めることも可能である。
こうしたエンターテインメントのリアルタイムな演出効果や進行状況をモニタリングしておくことによって、リアルタイムにインターバル撮影時間を変更することが可能になる。そのため、よりシャッターチャンスを逃さず、観客の良い表情のシーンを撮影することが可能になる。また、観客の動きと上述の別のモニタリング結果を合わせて盛り上がりを判定するようにしても良い。
また、モニタリング部399によるモニタリング結果を撮影画像と関連付けて記録しておくことによって、選択・アップロード部203による画像選択の時にモニタリング結果で選択することも可能になる。モニタリング結果は、撮影画像のヘッダ等のファイル内に入れておいても良い。また、CPU301でモニタリング結果から学習させたAI(人工知能)によってどのようなシーンであるかを判定し、例えば「曲名:○○○」のシーンといったキャプションを撮影画像に入れて観客に提供するようにしても良い。
また、試合の状況や休憩時間などのエンターテインメントのその時の進行状況に応じて、撮影指示を行う撮影間隔を変えることによって、同一シーンが続く画像や動き・変化の少ない画像を保存しないように制御して容量を削減することも可能になる。
以上、説明した実施形態によれば、アップロード画像全体のデータ量を減らしつつ、盛り上がりシーンには撮影機会を逃さずにユーザの購買意欲を満たす画像を提供することができる。
なお、画像処理装置201が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサや回路)が処理を分担することで、装置全体の制御を行ってもよい。
また、上述した実施形態では、画像処理装置201を例に取り説明した、画像処理装置201以外にも、画像に関する制御が可能な電子機器もしくは複数の電子機器からなるシステムに適用しても良い。すなわち、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、AI(人工知能)と結び付けて制御を行うことも適用可能である。
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
なお、以上説明した全ての構成は必須の構成ではなく、以上説明した構成に適宜新たな機能部/処理を追加しても良いし、以上説明した構成から1つ以上の機能部/処理を省いても良い。
また、以上説明した各処理の主体は上記の説明に限定するものではなく、他の主体であっても良い。また、以上説明した各種の情報の格納先は上記の説明に限定するものではなく、他の格納先であっても良い。
また、以上の説明において用いた具体的な数値は、説明を具体的に行うために用いたものであり、以上の説明において用いた具体的な数値に限定することを意図したものではない。
また、以上説明した各実施形態の一部もしくは全部を組み合わせても構わないし、以上説明した各実施形態の一部もしくは全部を選択的に使用しても構わない。また、発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
101:撮影指示部 102:カメラ 103:カメラ 104:カメラ 105:カメラ 201a:PC 201b:画像転送受信部 202:トリミング部 203:選択・アップロード部 204:ストレージ 205:ストレージ 206:チケット購入部 207:配信部

Claims (7)

  1. エンターテイメントが行われる施設における観客を撮影する少なくとも1つの撮影手段に撮影指示を行う指示手段と、
    前記撮影手段によるインターバル撮影の撮影間隔を前記エンターテイメントの進行状況に応じて変更する際の変更条件として、前記撮影手段の撮影範囲に含まれる座席に応じた変更条件を取得する取得手段と、
    前記撮影手段で前記撮影範囲のインターバル撮影を行っている際に、前記取得手段が取得した変更条件が満たされたことに応じて、インターバル撮影の撮影間隔が増減するように制御する制御手段と
    を有することを特徴とするシステム。
  2. 前記エンターテイメントはスポーツ競技であり、
    前記制御手段は、前記撮影手段で前記撮影範囲のインターバル撮影を行っている際に、前記スポーツ競技における攻めと守りとで該インターバル撮影の撮影間隔が増減するように制御することを特徴とする請求項1に記載のシステム。
  3. 前記制御手段は、前記撮影手段で前記撮影範囲のインターバル撮影を行っている際に、前記取得手段が取得した変更条件が満たされたことに応じて、該インターバル撮影による静止画像の撮影から動画像の撮影に切り替えるよう制御することを特徴とする請求項1または2に記載のシステム。
  4. 前記撮影手段でインターバル撮影を行って得られた撮影画像における座席に対応する領域をトリミングしたトリミング済画像を生成する生成手段をさらに有することを特徴とする請求項1乃至のいずれか1項に記載のシステム。
  5. 前記トリミング済画像に基づく画像を、購入した画像として、または/及び、SNSにアップロード可能な画像として前記観客に提供する提供手段をさらに有することを特徴とする請求項に記載のシステム。
  6. 少なくとも1つのコンピュータを、請求項1乃至のいずれか1項に記載されたシステムの各手段として機能させるためのプログラム。
  7. システムの制御方法であって、
    前記システムの指示手段が、エンターテイメントが行われる施設における観客を撮影する少なくとも1つの撮影手段に撮影指示を行う指示工程と、
    前記システムの取得手段が、前記撮影手段によるインターバル撮影の撮影間隔を前記エンターテイメントの進行状況に応じて変更する際の変更条件として、前記撮影手段の撮影範囲に含まれる座席に応じた変更条件を取得する取得工程と、
    前記システムの制御手段が、前記撮影手段で前記撮影範囲のインターバル撮影を行っている際に、前記取得工程で取得した変更条件が満たされたことに応じて、インターバル撮影の撮影間隔が増減するように制御する制御工程と
    を有することを特徴とするシステムの制御方法。
JP2019145671A 2019-08-07 2019-08-07 システム、システムの制御方法、プログラム Active JP7344711B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019145671A JP7344711B2 (ja) 2019-08-07 2019-08-07 システム、システムの制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019145671A JP7344711B2 (ja) 2019-08-07 2019-08-07 システム、システムの制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2021027524A JP2021027524A (ja) 2021-02-22
JP2021027524A5 JP2021027524A5 (ja) 2022-08-12
JP7344711B2 true JP7344711B2 (ja) 2023-09-14

Family

ID=74664843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019145671A Active JP7344711B2 (ja) 2019-08-07 2019-08-07 システム、システムの制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP7344711B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010524276A (ja) 2007-03-08 2010-07-15 リチャード マッキントッシュ、ジョン ビデオイメージ表示システムおよびその方法
JP2019036791A (ja) 2017-08-10 2019-03-07 キヤノン株式会社 画像処理装置、画像処理システム、制御方法、及び、プログラム
JP2019049960A (ja) 2017-09-07 2019-03-28 心エンジン株式会社 画像提供システム、画像提供プログラム及び動画提供システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010524276A (ja) 2007-03-08 2010-07-15 リチャード マッキントッシュ、ジョン ビデオイメージ表示システムおよびその方法
JP2019036791A (ja) 2017-08-10 2019-03-07 キヤノン株式会社 画像処理装置、画像処理システム、制御方法、及び、プログラム
JP2019049960A (ja) 2017-09-07 2019-03-28 心エンジン株式会社 画像提供システム、画像提供プログラム及び動画提供システム

Also Published As

Publication number Publication date
JP2021027524A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
US8665345B2 (en) Video summary including a feature of interest
US9013604B2 (en) Video summary including a particular person
JP4640456B2 (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP2020043584A (ja) 複数のメディアストリームの処理
JP2006140559A (ja) 画像再生装置及び画像再生方法
KR101684461B1 (ko) 경기장 영상 공유를 위한 시스템, 이를 위한 서버, 이를 위한 단말, 이 경기장 영상 공유 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체
WO2020256120A1 (ja) 画像提供システム及びその制御方法
JP7344711B2 (ja) システム、システムの制御方法、プログラム
JP7301521B2 (ja) 画像処理装置
JP7305461B2 (ja) 画像提供システム、画像提供装置、その制御方法、及びプログラム
WO2020189057A1 (ja) 画像処理装置、画像処理方法、プログラム
JP7366606B2 (ja) 画像提供システム、画像提供装置、制御方法及びプログラム
JP2021002825A (ja) 画像提供システム、画像提供装置及びその制御方法
JP7282519B2 (ja) 画像処理装置または画像処理サーバー
JP2021016121A (ja) 画像提供システム
WO2020095647A1 (ja) 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体
JP7233886B2 (ja) 画像処理装置
JP7289630B2 (ja) 画像処理装置
JP2021150832A (ja) 画像提供システム及びその制御方法
JP2021016122A (ja) 画像配信システム、画像配信システムの制御方法、およびそのプログラム
JP2024046244A (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
JP2020188328A (ja) 映像システム
JP5851375B2 (ja) 画像検索システムおよび画像検索方法
JP2011061857A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
JP2009232022A (ja) 画像検索装置、画像検索方法、画像再生装置、画像再生方法、画像検索用プログラム、および画像再生用プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R150 Certificate of patent or registration of utility model

Ref document number: 7344711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150