JPWO2019059325A1 - 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム - Google Patents

映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム Download PDF

Info

Publication number
JPWO2019059325A1
JPWO2019059325A1 JP2019512929A JP2019512929A JPWO2019059325A1 JP WO2019059325 A1 JPWO2019059325 A1 JP WO2019059325A1 JP 2019512929 A JP2019512929 A JP 2019512929A JP 2019512929 A JP2019512929 A JP 2019512929A JP WO2019059325 A1 JPWO2019059325 A1 JP WO2019059325A1
Authority
JP
Japan
Prior art keywords
data
image data
still image
unit
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019512929A
Other languages
English (en)
Other versions
JP6568670B1 (ja
Inventor
伸也 下城
光秀 松田
出 瀬之口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amatelus
Original Assignee
Amatelus
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amatelus filed Critical Amatelus
Application granted granted Critical
Publication of JP6568670B1 publication Critical patent/JP6568670B1/ja
Publication of JPWO2019059325A1 publication Critical patent/JPWO2019059325A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/19656Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】情報処理端末に対する簡易な操作で、ユーザが見たい被写体の方向を、色々な方向から滑らかに表示する。【解決手段】複数の動画データを取得する取得部と、複数の動画データそれぞれについて、静止画データを生成するデータ生成部と、静止画データを、位置データ、および時間データと関連付けて記憶する記憶部と、ユーザが見たい静止画データにおける位置指定値を受け付ける指定値受付部と、指定値受付部が受付けた位置指定値に基づいて静止画データを選択し、通信ネットワークを介して外部の表示装置に送信する選択部と、を備え、選択部は、指定値受付部が位置指定値を受付けない場合には、既に指定されている前記位置指定値に対応する静止画データを選択するとともに、指定値受付部が位置指定値を受付けた場合には、時間データを基準にして、当該位置指定値の変化に基づいて、対応する静止画データを選択する。【選択図】図1

Description

本発明は、映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラムに関するものであって、特に、複数のカメラによって撮影された画像を利用する映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラムである。
近年、複数のカメラで撮影された画像を利用する映像配信装置が開発されている。例えば、特許文献1には、同一の被写体に対して視点が異なる複数台のカメラのうち、予めユーザ指定された一部のカメラの配置状態を基準として、被写体に対する視点を変える構成が開示されている。そして、一連の結合動画像の生成に用いる画像を撮影する1又は2以上の他のカメラを、ユーザ指定のカメラと共にグループ指定し、この指定したグループ内の各カメラの各撮影動画像を所定の切り換えタイミングで切り換え結合して一連の結合動画像を生成するためにその結合する順番を決定する旨が開示されている。
また、特許文献2には、複数の撮像装置を3次元空間上に配置して、対象物の複数の映像を撮影することができる撮影システムであって、複数の各カメラから記録装置に送られ、視点を変更したような被写体の各動画像信号を配信する旨が記載されている。
特開2015−177394号公報 特開2004−53616号公報
ここで、特許文献1及び2記載の発明においては、複数のカメラで撮影された、それぞれ指定されたカメラの動画を、その都度結合処理すると、データ量が重くなりユーザが被写体の見たい方向を指定できないという問題があった。
そこで、本発明は、上記の問題に鑑みてなされたものであり、情報処理端末に対して簡易な操作で、ユーザが見たい被写体の方向を色々な方向から滑らかに表示することを目的とするものである。
本発明に係る映像配信装置は、異なる地点で撮像した複数の動画データを取得する取得部と、取得部が取得した複数の動画データそれぞれについて、所定の時間ごとのフレームを静止画として抽出して静止画データを生成するデータ生成部と、静止画データを、複数の動画データそれぞれにおける被写体を撮像した撮像位置を示す位置データ、および静止画データが撮像された時間データと関連付けて記憶する記憶部と、ユーザが見たい静止画データにおける位置データを指定する位置指定値を受け付ける指定値受付部と、指定値受付部が受付けた位置指定値に基づいて、時間データに沿って静止画データを選択し、通信ネットワークを介して外部の表示装置に送信する選択部と、を備え、選択部は、指定値受付部が位置指定値を受付けない場合には、既に指定されている位置指定値に対応する静止画データを選択するとともに、指定値受付部が位置指定値を受付けた場合には、当該位置指定値を受付けた時に対応する静止画データの時間データを基準にして、当該位置指定値の変化に基づいて、対応する静止画データを選択する。
また、選択部は、時間データを基準にする際に、その瞬間において選択されている位置データに対応する静止画データを、最初に選択してもよい。
また、取得部は、被写体をそれぞれ異なる方向から撮像した複数の動画データを取得し、位置データは、被写体を撮像した方向を特定可能な情報を示す方向データであり、指定値受付部は、ユーザが見たい静止画データにおける方向データを指定する方向指定値を、位置指定値として受付けてもよい。
本発明に係る映像配信システムは、前述した映像配信装置と、被写体を取り囲むように配置され、被写体をそれぞれ異なる方向から撮像するカメラを有するとともに撮像により得られる動画の録画機能を有し、録画された動画を通信ネットワークに送出し、かつ複数の撮像部を構成する複数の携帯端末と、を備え、取得部は、携帯端末が被写体をそれぞれ撮像することにより得られる複数の動画を、通信ネットワークを介して携帯端末それぞれから取得する。
また、本発明に係る映像配信システムは、映像配信装置から送信された静止画データ受信して表示する表示モニタと、表示モニタの前方におけるユーザの指の動きを、方向指定値を選択する方向指定操作として認識して、ユーザの指の移動量を方向指定値として認識する操作認識部と、を有し、表示装置を構成する情報処理端末を更に備え、情報処理端末は、選択部から受信する静止画データにより、方向指定操作中は、該方向指定操作に基づき変化する方向指定値における被写体の静止画データを表示するとともに、方向指定操作がされていない時には、該方向指定操作の完了位置に対応する方向指定値の静止画データを、時系列順に順次受信して表示することにより、完了位置に対応する方向からの疑似的動画を表示してもよい。
また、操作認識部は、表示モニタの表面に指が触れた状態でユーザが指を滑らせるスワイプ操作を、方向指定操作として認識してもよい。
また、選択部は、指定値受付部が方向指定値を受付ける場合において、単位時間当たりの方向指定値の変化量が閾値未満の場合には、方向データが連続的につながるように、静止画データを選択するとともに、単位時間当たりの方向指定値の変化量が閾値以上の場合には、方向データが間欠的につながるように、静止画データを選択してもよい。
また、情報処理端末は、方向指定値に基づいて、表示モニタに表示させる静止画データを、選択部に対して要求する要求部と、表示モニタに、HTMLデータを用いて、要求部が取得した静止画データを描画する描画部と、を備え、描画部が静止画データを表示モニタに描画する時間Tは、要求部が静止画データを選択部から取得して、描画部に転送する時間Tよりも短くてもよい。
本発明に係る映像配信方法は、コンピュータが、異なる地点で撮像した複数の動画データを取得する取得ステップと、取得ステップで取得した複数の動画データそれぞれについて、所定の時間ごとのフレームを静止画として抽出して静止画データを生成するデータ生成ステップと、静止画データを、複数の動画データそれぞれにおける被写体を撮像した撮像位置を示す位置データ、および静止画データが撮像された時間データと関連付けて記憶する記憶ステップと、ユーザが被写体を見るための位置を指定する位置指定値を受け付ける指定値受付ステップと、指定値受付ステップで受付けた位置指定値に基づいて、前記時間データに沿って静止画データを選択し、通信ネットワークを介して外部の表示装置に送信する選択ステップと、を実行し、選択ステップでは、指定値受付ステップで位置指定値を受付けない場合には、既に指定されている位置指定値に対応する静止画データを選択するとともに、指定値受付ステップで位置指定値を受付けた場合には、当該位置指定値を受付けた時に対応する静止画データの時間データを基準にして、当該位置指定値の変化に基づいて、対応する静止画データを選択する。
本発明に係る映像配信プログラムは、コンピュータに、異なる地点で撮像した複数の動画データを取得する取得機能と、取得機能が取得した複数の動画データそれぞれについて、所定の時間ごとのフレームを静止画として抽出して静止画データを生成するデータ生成機能と、静止画データを、複数の動画データそれぞれにおける被写体を撮像した撮像位置を示す位置データ、および静止画データが撮像された時間データと関連付けて記憶する記憶機能と、ユーザが被写体を見るための位置を指定する位置指定値を受け付ける指定値受付機能と、指定値受付機能が受付けた位置指定値に基づいて、前記時間データに沿って静止画データを選択し、通信ネットワークを介して外部の表示装置に送信する選択機能と、を実現させ、選択機能では、指定値受付機能において位置指定値を受付けない場合には、既に指定されている位置指定値に対応する静止画データを選択するとともに、指定値受付機能において位置指定値を受付けた場合には、当該位置指定値を受付けた時に対応する静止画データの時間データを基準にして、当該位置指定値の変化に基づいて、対応する静止画データを選択する。
本発明によれば、情報処理端末から、被写体を見るための方向の指定を受け付け、方向の指定を受け付けるごとに当該方向に対応する静止画を取得し、当該方向に対応する静止画を記憶されている時系列順に、情報処理端末に送信することによって、情報処理端末に対する簡易な操作で、ユーザが見たい被写体の方向を、色々な方向から滑らかに表示することができる。
本発明の一実施形態における映像配信システムの構成例を示す図である。 図1に示す映像配信装置の構成ブロック図である。 図1に示す情報処理端末の構成ブロック図である。 図1に示す複数の撮像部の配置例を示す図である。 図1に示す記憶部に保存された静止画データの模式図であって、(a)静止画データが保存されている状態を示す図、(b)静止画データを時系列に並べた図である。 図1に示す情報処理端末に表示される静止画データの順番を説明する模式図である。 図1に示す情報処理端末内での処理を説明するシーケンス図である。 図1に示す映像配信装置の制御フロー図である。 図1に示す情報処理端末の制御フロー図である。 図1に示す映像配信システムによりユーザが閲覧できる模擬的動画の説明図である。 動画配信システムの構成例を示す図である。 複数の撮像装置の配置について説明するための図である。 動画データ及び分割データについて説明するための図である。 分割データの切り替えについて説明するための図である。 動画配信方法について説明するためのフローチャートである。 サーバの動作について説明するためのフローチャートである。
本発明の実施形態について、図面を参照して説明する。図1は、本発明の一実施形態における映像配信システム1の構成例を示す図である。
図1に示すように、映像配信システム1は、被写体Oを取り囲むように配置された複数の携帯端末10(撮像部)と、携帯端末10により撮像した撮像データを配信する映像配信装置20と、映像配信装置20からの映像を表示する表示モニタ36を有する情報処理端末30(表示装置)と、を備えている。
複数の携帯端末10、映像配信装置20、および情報処理端末30は、通信ネットワークを介して互いに接続されている。通信ネットワークとして、無線LANをはじめとする、様々な通信方式(一例として、WiFi、3G、LTE、Bluetooth(登録商標))のいずれかを利用することができる。なお、通信ネットワークは有線ネットワークであってもよい。
複数の携帯端末10は、被写体Oをそれぞれ異なる方向から撮像するカメラを有するとともに、撮像により得られる動画の録画機能を有している。携帯端末10は、録画した動画を通信ネットワークに送出することができる。カメラはCCDまたはCMOS等の撮像素子を有している。
なお、以下の説明では、動画データとしてMPEGデータを扱い、静止画データとしてJPEGデータを扱う例を示すが、動画データおよび静止画データのフォーマットは任意に変更することができる。
また本実施形態では、複数の携帯端末10が被写体Oを囲む、いわゆる「バレットタイム撮影」を行っている。バレットタイム撮影は、被写体Oの周囲にカメラをたくさん並べて、アングルを動かしたい方向にそれぞれのカメラを順番に連続撮影していくものである。
このバレットタイム撮影では、画像処理によって、被写体Oの動きをスローモーションにしたり、カメラワークが高速で移動する映像を撮影したりすることができる。映像配信装置20は、変速再生するための画像処理部(不図示)を備えてもよい。画像処理部は、例えば、スロー再生、速度アップをすることができる。なお、このような画像処理部を、映像配信装置20ではなく、情報処理端末30が備えていてもよい。
次に、映像配信装置20の構成について説明する。なお、以下に説明する映像配信装置20の構成は、あくまで例示であり、以下に説明する必要な機能を確保できる範囲において、種々の変更を行うことができる。
映像配信装置20は、情報処理端末30に対して映像配信システム1のサービスを提供するための装置である。映像配信装置20は、例えば、いわゆるサーバ装置やコンピュータ(例えば、デスクトップ、ラップトップ、タブレットなど)である。図2は、映像配信装置20の構成ブロック図である。
図2に示すように、映像配信装置20は、取得部21と、データ生成部22と、指定値受付部23と、選択部24と、記憶部25と、ROM26と、RAM27と、I/Oポート28と、ルータと、HUBと、MPEGデコードモジュール29と、を備えている。
取得部21、データ生成部22、指定値受付部23、選択部24は、映像配信装置20の各部を制御する機能を有するプロセッサであり、図示の例では中央処理装置(Central Processing Unit)である。なお、取得部21、データ生成部22、指定値受付部23、選択部24は、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(application-specific integrated circuit)、FPGA(field programmable gate array)などであってもよい。
取得部21は、異なる地点で撮像した複数の動画データをI/Oポート28を介して取得する。本実施形態では、取得部21は、被写体Oをそれぞれ異なる方向から撮像した複数の動画データを取得する。
すなわち、取得部21は、複数の携帯端末10が被写体Oをそれぞれ撮像することにより得られる複数の動画を、通信ネットワークを介して携帯端末10それぞれから取得する。取得部21が取得した動画は、記憶部25に記憶される。
取得部21は、動画データの取得に際して、ROM26に記憶されたデータ取得プログラムを実行する。
データ生成部22は、取得部21が取得した複数の動画データそれぞれについて、所定の時間ごとのフレームを静止画として抽出して静止画データを生成する。
データ生成部22は、静止画データの生成に際して、ROM26に記憶されたデータ生成プログラムを実行する。データ生成プログラムは、MPEGデコードモジュール29を用いて、記憶部25に記憶された動画データを解凍し、静止画データの集合としたうえで、記憶部25に再度保存する。この際、各静止画データは、それぞれが撮像されたタイミングを示す時間データと関連付けて保存される。静止画データの生成においては、必要に応じて、生成した静止画データの一部をRAM27に保存してもよい。
指定値受付部23は、ユーザ40が見たい静止画データにおける位置データを指定する位置指定値を受け付ける。本実施形態では、指定値受付部23は、ユーザ40が見たい静止画データにおける被写体Oを撮像した方向を特定可能な方向データを指定する方向指定値を、位置指定値として受付ける。
具体的には、指定値受付部23は、後述する情報処理端末30における表示モニタ36の画面に触れた状態で指を滑らせる操作、いわゆるスワイプ操作などの画面操作により、図10に示すように、被写体Oの右側をみたいのか、左側を見たいのかを指示することで、携帯端末10のうちのA〜L(図4参照)のどの方向から被写体Oを見るかといった方向の指定を受け付ける。ここで、図10は、ユーザが閲覧できる模擬的動画の説明図である。
例えば、画面左側から右側に向けて、画面にタッチした指を滑らせるスワイプ操作を行うことで、被写体の右側が表示されるように、被写体を見る向きを変化させてもよい。一方、右側から左側に向けて、画面にタッチした指を滑らせるスワイプ操作を行うことで、被写体の左側が表示されるように、被写体を見る向きを変化させてもよい。すなわちこの場合には、指の動く方向に沿って、被写体を見るユーザの位置が、被写体に対して変化していることとなる。
また例えば、画面左側から右側に向けて、画面にタッチした指を滑らせるスワイプ操作を行うことで、被写体の左側が表示されるように、被写体を見る向きを変化させてもよい。一方、画面右側から左側に向けて、画面にタッチした指を滑らせるスワイプ操作を行うことで、被写体の右側が表示されるように、被写体を見る向きを変化させてもよい。すなわちこの場合には、指の動く方向に沿って、被写体をユーザに対して回転させていることとなる。
また、スワイプ操作を行わずに、画面のタッチにより、見る方向を変えてもよい。例えば、画面のうち、横方向の中心部に対して右側に位置する部分をタッチするか、左側に位置する部分をタッチするかにより、見る方向を変化させてもよい。
この場合には、タッチする部分の左右方向の中央部からの距離が近い場合に、画面の回転角を小さくし、タッチする部分の左右方向の中央部からの距離が近い場合に画面の回転を小さくしてもよい。
図2に示す選択部24は、指定値受付部23が受付けた方向指定値に基づいて、時間データに沿って静止画データを選択し、通信ネットワークを介して外部の表示装置である情報処理端末30に送信する。本実施形態では、情報処理端末30がこの静止画データを受信して、HTML(Hyper Text Markup Language)データを生成する。ここで、HTMLデータとは、映像を提供するためのウェブページのデータであり、ウェブブラウザを用いて利用することができるHTML形式で配信可能なデータを指す。
記憶部25は、映像配信装置20における各種情報を記憶する。記憶部25は、静止画データを、複数の動画データそれぞれにおける被写体Oを撮像した撮像位置を示す位置データ、および静止画データが撮像された時間データと関連付けて記憶する。時間データとしては、時刻情報を記憶してもよいし、それぞれの静止画が撮像されたタイミングを相対的に記したタイムスタンプを記憶するような態様であってもよい。
本実施形態では、位置データとは、被写体Oを撮像した撮像方向を示す方向データである。
また、記憶部25は、映像配信装置20が動作するうえで必要とする各種プログラムおよびデータを記憶する機能を有してもよい。記憶部25は、例えば、HDD(Hard Disc Drive)、SSD(Solid State Drive)、フラッシュメモリなどの各種の記録媒体である。
次に、情報処理端末30の構成について説明する。なお、以下に説明する情報処理端末30の構成は、あくまで例示であり、以下に説明する必要な機能を確保できる範囲において、種々の変更を行うことができる。
情報処理端末30は、例えばユーザ40が所有するスマートフォンやタブレット等の端末装置であり、選択部24から送信される静止画データを受信して、HTMLデータとして表示する。図3は、情報処理端末30の構成ブロック図である。
図3に示すように、情報処理端末30は、無線通信部31と、I/Oポート32と、CPU33と、RAMと、ROMと、フラッシュメモリ34と、グラフィックメモリと、描画LSI35と、表示モニタ36と、タッチパネル37と、操作認識部38と、JPEGデコードモジュール39と、を備えている。
無線通信部31は、映像配信装置20とのデータの送受信をI/Oポート32を介して行う。なお、情報処理端末30は、無線通信部31に代えて、有線通信部を有していてもよい。
フラッシュメモリ34は、映像配信装置20から送信された静止画データからHTMLデータを生成して解析、実行するWEBブラウザと、タッチパネル制御フォームウェアと、を備えている。
CPU33は、方向指定値に基づいて、表示モニタ36に表示させる静止画データを、映像配信装置20に対して要求する要求部として機能する。
また、CPU33は、ウェブブラウザからアクセスされたウェブページ(HTMLデータ)に対して、逐次静止画の内容を時系列に沿って変更することで、ユーザ40に疑似的動画を提供する。このウェブページでは図10に示すように、情報処理端末30の表示モニタ上において、ユーザ40が被写体Oを見たい方向から見えるようになっている。
要求部は、映像配信装置20に対する静止画の要求に際して、フラッシュメモリに記憶された制御プログラムを実行する。制御プログラムに使用する言語としては、JavaScriptを採用することができる。
JavaScript内の関数を用いて、静止画データを選択する周波数を設定することで、精度よく静止画データを要求することができる。なお、制御プログラムに使用する言語としては、JavaScript以外の言語であってもよい。
要求部は、例えばROMの要求メモリに記憶された要求プログラムを実行することで、映像配信装置20に対して静止画データを要求する。この際、要求プログラムは、後述する操作認識部38が認識し、RAMに保存された方向指定値を用いて、ユーザ40が見たい方向と対応する静止画データを特定し、特定した静止画データを要求する要求信号を、映像配信装置20に送信する。
要求部は、映像配信装置20における映像配信装置20から受信した静止画データを、JPEGデコードモジュール39を用いてデコードし、描画LSI35に転送する。
描画LSI35は、HTMLデータを用いて、要求部がI/Oポート32を介して取得した静止画データを表示モニタ36に表示する描画部として機能する。描画LSI35は、静止画データをグラフィックメモリに描画することで、静止画データの表示を行う。本実施形態では、情報処理端末30は、2つのグラフィックメモリA、Bを有している。なお、この説明における静止画データのサイズとしては、好ましくは15〜120KB、より好ましくは20〜40KBである。
タッチパネル37は、表示モニタ36の背面に配置されている。タッチパネル37は静電容量式の投影型であり、ユーザ40の指が多点で接触するのを検出することができる。タッチパネル37は、ユーザ40の指の動きによる位置座標の変化と、指が動いた時間と、を用いて、指の速度や加速度を算出し、指の変位量を方向指定値の変化量として検出することができる。これにより、操作認識部38は、ユーザ40からの操作を認識する。
操作認識部38は、表示モニタ36の前方におけるユーザ40の指の動きを方向指定操作として認識して、方向指定値として認識し、RAMに保存する。
本実施形態では、操作認識部38は、表示モニタ36の表面に指が触れた状態でユーザ40が指を滑らせるスワイプ操作を、方向指定操作として認識する。
そして本実施形態では、映像配信装置20の選択部24は、方向指定値を受付けない場合には、既に指定されている方向指定値に対応する静止画データを選択する。また、選択部24は、方向指定値を受付ける場合には、当該方向指定値を受付けた時に対応する静止画データの時間データを基準にして、当該方向指定値の変化に基づいて、対応する静止画データを選択する。
ここで、当該方向指定値を受付けた時に対応する静止画データの時間データを基準にするとは、当該静止画データと同じ時間データ、および既に選択された時間データの次の時間データのうちの少なくともいずれか一方に該当する静止画データを選択するということを意味する。この点について、図4から図6を用いて詳述する。
図4は、複数の携帯端末10の配置例を示す図であり、図5は、静止画データの模式図であって、(a)静止画データが保存されている状態を示す図、(b)静止画データを時系列に並べた図である。また、図6は、情報処理端末30に表示される静止画データの順番を説明する模式図である。
図4は、被写体Oに対して同一高さの平面において、複数の携帯端末10を円周状に配置した例を示している。なお、この配置例はあくまで例示であり、携帯端末10の数量や配置間隔は任意に変更することができる。
複数の携帯端末10には、それぞれを識別する識別番号(A〜L)が付与されている。識別番号を把握することで、ユーザは、被写体Oを撮像する方向を特定することができる。このため、本実施形態では、この識別番号を情報処理端末30が映像配信装置20に対して指定する方向データとして扱う。
なお、方向データとしては、被写体Oを撮像する方向が特定できる情報であれば、携帯端末10の識別番号の他、携帯端末10が配置された位置を示す座標情報や、上面視で被写体Oを通る所定の基準線からの角度等で表現される情報であってもよい。
次に、図5(a)に示すように、映像配信装置20におけるデータ生成部22で生成されたデータは、各識別番号のフォルダ内に、時間データの時系列に沿って保存される。この説明では、各静止画データのファイル名のうち、識別番号に続く3桁の数字が時間データとなる。
この場合には、例えば動画データのフレーム数を30FPSとすると、前後の静止画データ同士のフレームピッチが約0.033秒となる。そして、図5(b)に示すように、静止画データを時間データに沿って再生することで、疑似的動画を得ることができる。なお、動画データのフレーム数は、約24〜30FPSであることが好ましい。
図6に示す表は、縦軸が方向データとしての識別番号であり、横軸が時間データとなっている。表には、縦軸および横軸に対応する静止画データのファイル名が羅列されている。そしてこの表では、表の下に図示するユーザの操作に応じて、情報処理端末30に表示される静止画データの推移を表現している。すなわち表のうち、実線で示す矢印が通過するセルに該当する静止画データが、情報処理端末30に表示されていることを意味している。
まず、C001の静止画データを再生している状態において、時系列にそって、順次動画が再生されていく。
そして、静止画を選択部24が選択する過程において、ユーザ40のスワイプ操作により指定値受付部23が方向指定値を受付けると、図6の表に示すように、選択部24は、当該方向指定値を受付けた時に対応する静止画データの時間データ(t=5p)を基準にして、スワイプ操作における方向指定値の変化量に基づいて、対応する静止画データ(C005〜K005)を選択する。
ここで、選択部24は、方向指定値を受付けた時刻(t=5p)を基準にする際に、その瞬間において選択されている位置データ(方向データ)に対応する静止画データ(C005)を、最初に選択する。そして、本実施形態では、方向指定値が変化していく過程において、選択部24は、同一の時間データに相当する静止画データを1フレームずつ、識別番号の順に選択していく。そして、方向指定値がスワイプ操作により指定された静止画データ(K005)を表示したときに、一度停止状態となる。ユーザが再度再生開始ボタンを押すことで、その時の方向指定値に対応する静止画データが継続して再生される。なお、前述したように、一度停止状態とせずに、連続してその時の方向指定値に対応する静止画データを継続して再生してもよい。
また、ユーザが再度スワイプ操作を行うと(t=100p)、前述と同様に、方向指定値の変化に伴って、選択部24が、同一の時間データに相当する静止画データを1フレームずつ、識別番号の順に選択していく(K100〜F100)。そしてスワイプ操作により指定された静止画データ(F100)を表示した後は、一度停止状態としない場合には、同じ方向指定値に対応する静止画データが引き続き継続して再生される。
なお、前述の説明では、選択部24が方向指定値を受付けた時に対応する静止画データの時間データ(t=5p)を基準にして、当該静止画データと同じ時間データを選択するという態様について説明しているがこのような態様に限られない。
すなわち、本発明の映像配信装置では、破線で示す矢印のように、選択部24が方向指定値を受付けた時に対応する静止画データの時間データ(t=5p)を基準にして、既に選択されている時間データの次の時間データを順次選択してもよい。この場合には、スワイプ中も動画が停止されることなく、再生された状態を維持することができる。
また、選択部24は、指定値受付部23が方向指定値を受付けない場合において、単位時間当たりの方向指定値の変化量が閾値未満の場合には、方向データが連続的につながるように、静止画データを選択する。
一方、選択部24は、単位時間当たりの方向指定値の変化量が閾値以上の場合には、方向データが間欠的につながるように、静止画データを選択する。ここで、「間欠的に」とは、連続的に並ぶ方向データに対して、一部のデータのみを取得することを意味している。
すなわち、ユーザ40が指を大きく、又は速く動かすことで、スワイプ操作による操作量が大きいと操作認識部38が判断した場合には、隣り合う方向データに対応する静止画データを取得することなく、元の方向データから、離れた方向データに対応する静止画データを取得することができる。これにより、例えばユーザ40が、撮像方向が正反対に位置する携帯端末10から取得した静止画データを瞬時に確認することができる。
そして、情報処理端末30は、選択部24から受信する静止画データにより、方向指定操作中は、該方向指定操作に基づき変化する方向指定値における被写体Oの静止画データを表示する。
一方、情報処理端末30は、方向指定操作がされていない時には、該方向指定操作の完了位置に対応する方向指定値の静止画データを、時系列順に順次受信して表示することにより、完了位置に対応する方向からの疑似的動画を表示する。
ここで、情報処理端末30において、描画部が静止画データを表示モニタ36に描画する時間Tは、要求部が静止画データを選択部24から取得して、描画部に転送する時間Tよりも短い。この点について、図7を用いて説明する。図7は、情報処理端末30内での処理を説明するシーケンス図である。
図7に示すように、要求部は選択部24に要求した静止画データを受信すると、JPEGデコードモジュール39に転送する。そして、JPEGデコードモジュール39で静止画データのデコードが完了すると、デコードされた静止画データが描画部である描画LSI35に転送される。ここで、要求部による静止画データの要求から描画部に転送するまでの時間をTとする。
次に、描画部は、転送されてきた静止画データをグラフィックメモリに描画する。この際、本実施形態では、2つのグラフィックメモリを交互に使用して、静止画データの描画が行われる。グラフィックメモリへの静止画データの描画が完了すると、その静止画データが表示モニタ36に表示される状態となる。ここで、描画部がグラフィックメモリに描画する時間をTとする。
そして、本実施形態では、TがTよりも短いので、描画部による描画が終わった際に、常に描画部が、次に描画をするべき静止画データの転送を待っている状態を実現することができる。これにより、円滑に静止画データを再生することができる。
次に、映像配信装置20の処理手順について、図8を用いて説明する。図8は、映像配信装置20の制御フロー図である。
まず、複数の携帯端末10それぞれが、動画データを撮影する(S1)。次に、映像配信装置20における取得部21が、複数の動画データを取得する取得ステップ(S2)を実行する。
次に、取得部21が取得した複数の動画データそれぞれについて、データ生成部22が、所定の時間ごとのフレームを静止画として抽出して静止画データを生成するデータ生成ステップ(S3)を実行する。
次に、データ生成ステップで生成した静止画データを、位置データ、および静止画データが撮像された時間データと関連付けてCPUが記憶する記憶ステップ(S4)を実行する。記憶部25に規則する時間データは、携帯端末10に内蔵されている時計機能を用いてもよいし、映像配信装置20に内蔵された時計機能を用いてもよい。また、時刻を示すデータを用いることなく、それぞれの撮影タイミングの情報を用いて、計算により時間データを記録してもよい。
次に、ユーザ40が前記被写体Oを見るための位置を指定する位置指定値を受け付ける指定値受付ステップ(S5)を実行する
次に、指定値受付ステップで受付けた位置指定値に基づいて、選択部24が静止画データを選択し、通信ネットワークを介して情報処理端末30に送信する選択ステップ(S6)を実行する。
そして、選択ステップでは、指定値受付ステップで位置指定値を受付けない場合には、既に指定されている位置指定値に対応する前記静止画データを選択する。また、指定値受付ステップで位置指定値を受付けた場合には、位置指定値を受付けた時に対応する静止画データの時間データを基準にして、当該位置指定値の変化に基づいて、対応する前記静止画データを選択する。
次に、情報処理端末30の処理手順について、図9を用いて説明する。図9は、情報処理端末30の制御フロー図である。
まず、情報処理端末30の操作認識部38が、操作認識ステップ(S110)として、ユーザのスワイプ操作を認識する。操作認識部38は、スワイプ操作から方向指定値を特定する。
次に、要求部が映像配信装置20に静止画データを要求する要求ステップ(S120)を実行する。この要求ステップでは、操作認識部38が特定した静止画データを要求する要求信号を、映像配信装置20に送信する。
要求ステップは、映像配信装置20における前述した指定値受付ステップ(図8:S5)と対応している。
ここで、要求部は、静止画データの受信(ダウンロード)が完了するまで、この操作を繰り返す(S121のNo)。静止画の受信が完了すると(S121のYes)、要求部は、静止画データをJPEGデコードモジュールで解凍したのちに、描画部に転送する。 要求部は、静止画データが描画部に転送されるのが完了するまで、この操作を繰り返す(S122のNo)。
最後に、静止画データの描画部への転送が完了すると(S122のYes)、描画ステップ(S130)として、描画部が静止画データを描画する。描画部は、2つのグラフィックメモリを交互に用いて、静止画データを描画する。描画部は、描画が完了するまで描画動作を繰り返す(S131のNo)。
描画部による描画動作が完了すると(S131のYes)、ユーザ40は、所望する方向から被写体Oを撮像した静止画データを、連続的な疑似的動画として情報処理端末30の表示モニタ36で閲覧することができる。
以上説明したように、本実施形態に係る映像配信システム1では、情報処理端末30から、被写体Oを見るための方向指定値を受け付け、方向指定値を受け付けるごとに当該方向に対応する静止画データを取得して再生する。このため、情報処理端末30に対する簡易な操作で、ユーザ40が見たい被写体Oの方向を、色々な方向角度から滑らかに表示することができる。
また、選択部24が、時間データを基準にして静止画を選択する際に、その瞬間において選択されている位置データに対応する静止画データを最初に選択する。このため、被写体を見る方向が突如変化するのを抑えて、模擬的動画を連続的なつながりのある自然な動画とすることができる。
また、情報処理端末30の画面上でのスワイプ操作に応じて、撮像部1台分の静止画データだけを連続して送信することにより、映像配信装置20と情報処理端末30との間のデータ通信料を少なくすることができる。これにより、映像配信装置20と情報処理端末30との間の通信ネットワークにおける通信容量に限りがある中で、例えば複数の撮像部それぞれの静止画データを同時に送信するような構成と比較して、静止画データ一枚当たりの容量を大きくすることができ、情報処理端末30で再生する疑似的動画を高解像度にすることもできる。
また、撮像部が、動画の録画機能を有し、録画された動画データを通信ネットワークに送出可能な携帯端末10であるため、通信ネットワークを介して撮像部と映像配信装置20とのデータのやりとりを容易に行うことができる。
また、表示モニタ36の画面をスワイプ操作するという簡単な操作により、方向指定操作を行うことができるので、ユーザ40が直感的で簡単な操作により、疑似的動画において、被写体Oを見たい方向を指定することができる。
また、ユーザ40が、大きくスワイプ操作した場合等に、選択部24が間欠的に静止画データを選択するので、仮に選択部24が連続的に静止画データを選択してゆく場合と比較して、情報処理端末30に送信するデータ量を減らすことができる。
これにより、ユーザ40の方向指定操作における操作量が大きくなり、操作量と対応するように並ぶ方向データの数量が多くなった場合であっても、映像配信装置20と、情報処理端末30と、の間で通信するデータ量が大きくなるのを確実に抑えることができる。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではない。
例えば、上記実施形態では、撮像部として、携帯端末10が有するカメラである構成を示したが、このような態様に限られない、撮像部としては、一眼レフやデジタルカメラなどであってもよい。
また、上記実施形態では、映像配信装置20から送信された静止画データを用いて、情報処理端末30がHTMLデータを生成する構成を示したが、このような態様に限られない。映像配信装置20において、静止画データをHTMLデータ化したうえで、情報処理端末30に送信してもよい。
また、上記実施形態では、複数の撮像部によるバレットタイム撮影である構成を示したが、このような態様に限られない。例えば、複数の地点で撮影した景色等の動画を用いてもよい。
また、上記実施形態におけるバレットタイム撮影では、複数の携帯端末10が、被写体Oに対して同一高さの平面において、円周状に配置されている構成を示したが、このような態様に限られない。複数の高さに平面を設定し、それぞれの高さの平面において、カメラグループを構成し、このカメラグループをまたぐように、選択部24が静止画データを選択してもよい。これにより、被写体Oに対して、3次元的に見る方向を選択することができる。
また、撮像部による撮影対象は、図1のようなスポーツしている人間ではなく、例えば作業をしている人間や、人以外の動物であってもよいし、競技場全体、芸能人、歌手の公演などであってもよい。また、映像配信システム1は、風景にも利用できるが基本的には人間、動物等の動くモノが有効である。それは、この映像配信システム1が、360度動画のような疑似的動画を提供できるため、動的な被写体Oに対して有効であるからである。
また、情報処理端末30は、スワイプ操作だけではなく、指の軌跡によって他の方向を指定することも可能である。すなわち、ユーザ40が指を情報処理端末30の表示モニタ36に接触させることなく、画面の前方で移動させることにより、操作指令を入力することができる。この場合には、例えば操作認識部38として、表示モニタ36の前方を撮像して、指の動きを座標化するフォームウェアを、情報処理端末30に別途インストールして実現することができる。
また、本実施形態では、指定値受付部23が方向指定値を受付けている間、すなわち、方向指定値が変化していく過程において、選択部24は、該当する時間データに相当する1フレーム分の静止画データを、識別番号の順に選択していく構成を示したが、このような態様に限られない。
例えば方向指定値が変化していく過程において、選択部24は、該当する時間データに相当する静止画データ、およびその静止画データの後に続く静止画データを、任意の複数フレーム分選択してもよい。この場合には、任意の複数フレーム分の静止画データを、ひとつのファイルとして扱ってもよい。
また、上記実施形態では、指定値受付部23が方向指定値を受付ける場合において、単位時間当たりの方向指定値の変化量が閾値以上の場合に、方向データが間欠的につながるように、選択部24が、静止画データを選択する構成を示したが、このような態様に限られない。
すわなち、このように間欠的に静止画データを選択する処理を、映像配信装置20側で行わずに、情報処理端末30側で行ってもよい。
この場合には、例えば、情報処理端末30のうち、操作認識部38が認識した方向指定操作における操作量が閾値以上の場合に、要求部が、表示モニタ36に表示させる静止画データを、選択部24に対して間欠的に要求する構成としてもよい。
また、映像配信システム1の各機能部は、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって実現してもよいし、CPU(Central Processing Unit)およびメモリを用いてソフトウェアによって実現してもよい。また、各機能部は、1または複数の集積回路により実現されてよく、複数の機能部の機能を1つの集積回路により実現されることとしてもよい。LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSIなどと呼称されることもある。
次に、本発明と関連する動画配信システム(映像配信システム)100の実施形態について説明する。
図11は、動画配信システム100の構成例を示す図である。
動画配信システム100は、複数の撮像装置110と、動画配信装置の一例としてのサーバ130と、情報端末120と、を備える。
複数の撮像装置110と、サーバ130と、情報端末120とは、通信ネットワークNを介して接続される。
撮像装置110は、被写体を撮像して動画データを生成する。一例として、撮像装置110は、スマートフォン、タブレット端末、カメラ、ビデオカメラ等である。
具体的な構成例として、撮像装置110は、撮像部111と、第1通信部112と、第1制御部113と、を備える。
撮像部111は、被写体を撮像して動画データを生成するために、レンズ及びイメージセンサ等を備える。
第1通信部112は、撮像部111で生成された動画データをサーバ130に送信する。
第1制御部113は、撮像部111及び第1通信部112を制御する。第1制御部113は、撮像部111で生成された動画データに対して、適宜、画像処理を行う。この画像処理には、一例として、動画データに対して撮像時刻のデータを加える処理が含まれていてもよい。また、画像処理には、一例として、動画データに対して、撮像装置110を識別するための識別データを加える処理が含まれていてもよい。
撮像装置110は、上述したように複数あり、被写体をそれぞれ別の角度から撮像するように配される。複数の撮像装置110によって撮像される被写体は、同一であることが好ましい。
図12は、複数の撮像装置110の配置について説明するための図である。ここで、図12(A)は第1の配置例について説明するための図、図12(B)は第2の配置例について説明するための図である。
図12(A)に示すように、複数の撮像装置110は、被写体obを取り囲むように配置される。又は、図12(B)に示すように、複数の撮像装置110は、一列に配置される。なお、複数の撮像装置110の配置は、図12に示す例に限定されることはない。
図11に示す情報端末120は、サーバ130から送信された分割データに基づいて表示を行う。一例として、情報端末120は、スマートフォン、タブレット端末、パーソナルコンピュータ等である。
具体的な構成例として、情報端末120は、第2通信部121と、表示部122と、第2制御部123と、を備える。
第2通信部121は、サーバ130から送信された分割データを受信する。第2通信部121は、データ送信要求情報、切替要求情報及び送信停止要求情報をサーバ130に送信する。
データ送信要求情報は、サーバ130から情報端末120に分割データを送信するように要求する情報信号である。
切替要求情報は、サーバ130から情報端末120に送信されている、1の撮像装置110で生成された動画データに基づく分割データを、1の撮像装置110を除く他の撮像装置110で生成された他の動画データに基づく他の分割データに切り替えて、他の分割データをサーバ130から情報端末120に送信するように要求する情報信号である。
送信停止要求情報は、サーバ130から情報端末120に送信されている分割データの送信停止を要求する情報信号である。
表示部122は、一例として、動画等を表示する。また、表示部122は、タッチパネル等の、情報を入力可能な機能を有していてもよい。表示部122が入力機能を有さない場合、情報端末120には、情報を入力可能な入力部が配される。
第2制御部123は、第2通信部121及び表示部122を制御する。一例として、第2制御部123は、第2通信部121において分割データを受信した場合、分割データに基づく動画を表示部122に表示させる。また、第2制御部123は、例えば表示部122を介して情報が入力された場合、その情報に基づいてデータ送信要求情報、切替要求情報又は送信停止要求情報を生成し、生成した、データ送信要求情報、切替要求情報又は停止要求情報を送信するよう第2通信部121を制御する。
サーバ130は、第3通信部131、記憶部132、第3制御部133を備える。
第3通信部131は、複数の撮像装置110及び情報端末120と、通信ネットワークNを介して通信を行う。第3通信部131は、複数の撮像装置110それぞれから送信された動画データを受信する。第3通信部131は、情報端末120から送信された、データ送信要求情報、切替要求情報及び送信停止要求情報を受信する。第3通信部131は、記憶部132に記憶される分割データを情報端末120に送信する。
記憶部132は、データを記憶する。具体的には、記憶部132は、被写体をそれぞれ別の角度から撮像した複数の動画データが、1以上のフレームに分割された分割データの単位で、一例として時系列順に記憶される。すなわち、各動画データは、任意の秒数単位でまとめられて分割データとなっている。分割データには、例えば、タイムスタンプ等の再生順序の情報が付与されてもよい。また、分割データ(フレーム)は、一例として、画像ファイルをまとめたものやfragmented mp4若しくはMPEG2−ts形式といった動画形式で記録されてもよい。記憶部132は、サーバ130で利用されるプログラム及び種々のデータを記憶する。記憶部132は、ハードディスク及びメモリ等の種々の記録媒体である。
第3制御部133は、第2受信部で受信された複数の動画データを、1以上のフレームに分割した分割データの単位で時系列順に記憶部132に記憶させる。具体的には、第3制御部133は、第3通信部131で受信された複数の動画データそれぞれに対して、所定のフレーム数毎に分割する処理を行う。一例として、所定のフレーム数とは、1又は複数のフレーム数である。所定のフレーム数に分割された分割データは、この分割データの単位で、記憶部132に記憶される。
図13は、動画データ及び分割データについて説明するための図である。ここで、図13(A)は動画データについて説明するための図、図13(B)は分割データの第1例について説明するための図、図13(C)は分割データの第2例について説明するための図、図13(D)は分割データの第3例について説明するための図である。
図13(A)に示すように、動画データD1は、複数のフレームF1,F2,F3…から構成される。
第3制御部133は、動画データを複数のフレーム毎に分割して、分割データの単位で動画データを記憶部132に記憶してもよい。図13(B)に一例を示すように、3枚のフレーム毎に分割されることにより、フレームF1〜F3に分割された分割データD2、フレームF4〜F6に分割された分割データD2のように、動画データの複数のフレームは、順次分割される。
また、第3制御部133は、動画データを、複数のフレームと、1のフレームとに分割して、分割データの単位で記憶部132に記憶してもよい。この場合、分割データは、複数のフレームで構成される複数枚分割データと、1枚のフレームで構成される単数枚分割データと、で構成される。すなわち、分割データは、複数枚分割データと単数枚分割データとは、時系列で交互に配されるように構成される。単数枚分割データを構成するフレームは、直前の複数枚分割データを構成する時系列で最後のフレーム、又は、直後の複数枚分割データを構成する時系列で最初のフレームと、同一であってもよい。
図13(C)に一例を示すように、フレームF1〜F3に分割された分割データD2(複数枚分割データD2M)、フレームF4に分割された分割データD2(単数枚分割データD2S)、フレームF5〜F7に分割された分割データD2(複数枚分割データD2M)、フレームF8に分割された分割データD2(単数枚分割データD2S)のように、動画データの複数フレームは、順次分割される。この場合、フレームF4は、フレームF3及びフレームF5のいずれかと同一であってもよい。同様に、フレームF8は、フレームF7及びフレームF9(図示せず)のいずれかと同一であってもよい。
なお、第3制御部133は、単数枚分割データを構成するフレームを削除してもよい。例えば、第3制御部133は、後述するように送信停止要求が有った場合、単数枚分割データを送信する。第3制御部133は、送信した単数枚分割データ(フレーム)に関してのログ情報を記憶し、所定期間毎にログ情報を解析して、単数枚分割データの使用頻度が閾値よりも低い場合には、使用頻度の低い単数枚分割データ(フレーム)を削除してもよい。
また、単数枚分割データは、時系列で連続して複数あってもよい。分割データは、1の複数枚分割データと、複数の単数枚分割データとは、時系列で交互に配されるように構成される。連続する複数の単数枚分割データのうち、時系列で最初の単数枚分割データを構成するフレームは、直前の複数枚分割データを構成する時系列で最後のフレームと同一であってもよい。また、連続する複数の単数枚分割データのうち、時系列で最後の単数枚分割データを構成するフレームは、直後の複数枚分割データを構成する時系列で最前のフレームと同一であってもよい。
図13(D)に一例を示すように、フレームF1〜F3に分割された分割データD2(複数枚分割データD2M)、フレームF4に分割された分割データD2(単数枚分割データD2S)、フレームF5に分割された分割データD2(単数枚分割データD2S)、フレームF6に分割された分割データD2(単数枚分割データD2S)、フレームF7〜F9(フレームF9は図示せず)に分割された分割データD2(複数枚分割データD2M)のように、動画データの複数フレームは、順次分割される。この場合、フレームF4〜6は、フレームF1〜3とそれぞれ同一、又は、フレームF7〜F9(フレームF9は図13(D)に図示せず)とそれぞれ同一であってもよい。
ここで、図13(C)の例で説明したものと同様に、第3制御部133は、使用頻度の低い単数枚分割データ(フレーム)を削除してもよい。
なお、第3制御部133は、撮像装置110において動画データに識別データが付加されている場合、識別データ(撮像装置110)に対応付けて動画データを記憶部132に記憶する。サーバ130の記憶部132に複数の撮像装置110の位置関係が設定されたデータが記憶されている場合、記憶部132に記憶される動画データについても、どの撮像装置110(どの位置)で撮影された動画データか、第3制御部133は、識別可能になる。
第3制御部133は、第3通信部131が受信したデータ送信要求情報に基づいて分割データを記憶部132から読み出すように制御する。例えば、第3制御部133は、データ送信要求情報によって、複数の分割データのうちいずれかを送信するよう要求された場合、要求された分割データを記憶部132から読み出すように制御する。第3制御部133は、読み出した分割データを外部の情報端末120に送信するよう第3通信部131を制御する。
データ送信要求情報は、サーバ130から情報端末120に分割データを送信するように要求する情報信号である。
第3制御部133は、第3通信部131でデータ送信要求情報を受信した場合、複数の撮像装置110のうちいずれか1の撮像装置110で生成された動画データを分割データの単位で記憶部132から読み出すように制御する。読み出される分割データは、予め設定された撮像装置110で生成された動画データに基づく分割データである。又は、読み出される分割データは、情報端末120において撮像装置110が選択されて、その選択された情報がデータ送信要求情報に付加された場合、選択された撮像装置110で生成された動画データに基づく分割データである。さらに、読み出される分割データは、情報端末120に置いて撮影時刻又は再生時間等の時間が指定され、時間指定の情報がデータ送信要求情報に付加された場合、動画データに付加された時刻情報に基づいて、時間指定に対応する時刻情報が付加された分割データである。
第3制御部133は、記憶部132から読み出した分割データを、情報端末120に送信するよう第3通信部131を制御する。
さらに、第3制御部133は、データ送信要求情報で要求された分割データに後続する分割データを時系列順に記憶部132から読み出すよう制御すると共に、読み出した分割データを時系列順に情報端末120に送信するよう第3通信部131を制御する。第3制御部133は、情報端末120からの次のデータ送信要求情報がなくとも後続する分割データを記憶部132から読み出して送信する。
第3制御部133は、分割データの切り替えを要求する切替要求情報が情報端末120から有った場合、送信している分割データを除く、他の動画データに基づく他の分割データを記憶部132から時系列順に読み出すように制御する。具体的には、第3制御部133は、切替要求情報が有ったタイミングで分割データと他の分割データとが時刻的に連続するような他の分割データを記憶部132から順次読み出すよう制御する。第3制御部133は、読み出した他の分割データを情報端末120に送信するよう第3通信部131を制御する。
切替要求情報は、サーバ130から情報端末120に送信されている、1の撮像装置110で生成された動画データに基づく分割データを、1の撮像装置110を除く他の撮像装置110で生成された他の動画データに基づく他の分割データに切り替えて、他の分割データをサーバ130から情報端末120に送信するように要求する情報信号である。
第3制御部133は、一例として、切替要求情報が、1の撮像装置110で撮影された動画から、1の撮像装置110の右隣りに配置された他の撮像装置110で撮影された動画への切替要求だった場合、上述したように識別データに対応付けて分割データを記憶部132に記憶しているため、その対応付けに基づいて、要求の有った他の分割データを記憶部132から読み出す。
この場合、第3制御部133は、分割データから他の分割データに切り替えるタイミングで、分割データと他の分割データとの撮像時刻が時刻的に連続又はほぼ連続するように、他の分割データを記憶部132から読み出す。
図14は、分割データの切り替えについて説明するための図である。ここで、図14(A)は分割データについて説明するための図、図14(B)は分割データの切り替えについて説明するための第1の図、図14(C)は分割データの切り替えについて説明するための第2の図である。
図14(A)に一例を示すように、動画データAを分割して得られる分割データD2−A1,D2−A2、D2−A3,D2−A4…と、動画データBを分割して得られる分割データD2−B1,D2−B2,D2−B3,D2−B4…とのそれぞれは、同じ又はほぼ同じ撮像時刻に撮像して得られるフレームから構成される。
なお、実施形態によって、動画データAを分割して得られる分割データと、動画データBを分割して得られる分割データとは、異なる撮影時刻に撮影されたものであってもよい。
図14(B)に一例を示すように、第3制御部133は、動画データAに基づく分割データD2−A1,D2−A2を順次送信した後、切替要求信号Sを受け付けた場合、時間的に分割データD2−A2の直後となる、分割データD2−B3を記憶部132から読み出す。さらに、第3制御部133は、分割データD2−B3から時間的に後になる分割データD2−D4…を記憶部132から順次読み出す。
又は、図14(C)に一例を示すように、第3制御部133は、動画データAに基づく分割データD2−A1,D2−A2を順次送信した後、切替要求信号Sを受け付けた場合、時間的に分割データD2−A2と同じタイミングとなる、分割データD2−B2を記憶部132から読み出す。さらに、第3制御部133は、分割データD2−B2から時間的に後になる分割データD2−B3,D2−B4…を記憶部132から順次読み出す。
第3制御部133は、撮像装置110において動画データに時刻情報が加えられているため、その時刻情報に基づいて、分割データと他の分割データとの時刻的に連続又はほぼ連続した読み出しが可能になる。又は、第3制御部133は、動画データに時刻情報が加えられていない場合でも、情報端末120において分割データに基づいて動画が再生された時の最初からの再生時間を取得し、その分割データの再生時間に対応するフレームを含む他の分割データを記憶部132から読み出すことにより、分割データと他の分割データとの時刻的に連続又はほぼ連続した読み出しが可能になる。
具体的な一例として、情報端末120は、1の撮像装置110に対応した分割データに基づく動画を順次表示している場合に、表示部122の表示画面において右から左へスワイプ操作が行われると、第2制御部123は、1の分割データの元となる動画データを生成した1の撮像装置110に対して右側に配置される他の撮像装置110で撮像した動画データから生成された分割データの送信を要求するために、切替要求情報をサーバ130に送信するように制御する。
サーバ130の第3制御部133は、切替要求情報を受信すると、動画データに付加された識別データに基づいて他の撮像装置110を特定し、特定された他の撮像装置110で撮像された他の動画データを分割データの単位で時系列順に記憶部132から読み出し、他の分割データとして情報端末120に順次送信するよう制御する。ここで、切替要求情報には情報端末120が受信している分割データに識別データを含ませることにより、情報端末120が他の撮像装置110を指定できるようにしてもよく、サーバ130が記憶する動画データに付加された識別情報に基づいて他の撮像装置110を特定してもよい。
情報端末120は、他の分割データを受信すると、他の分割データに基づく動画を表示部122に表示する。
第3制御部133は、分割データの送信中に、分割データの送信停止を要求する送信停止要求情報が情報端末120から有った場合、分割データの送信を停止するよう第3通信部131を制御する。送信停止要求情報は、サーバ130から情報端末120に送信されている分割データの送信停止を要求する情報信号である。この場合、第3制御部133は、送信していた分割データを除く、1又は複数の他の動画データに基づく他の分割データであって、分割データを停止させたタイミングと時系列的に同じタイミングの他の分割データを記憶部132から読み出し、読み出した他の分割データを送信するよう第3通信部131を制御する。
第3制御部133は、1の撮像装置110で生成された動画データに基づく分割データを送信するよう制御していた場合、第3通信部131で送信停止要求情報を受信すると、記憶部132から分割データの読み出しを停止すると共に、情報端末120へのその分割データの送信を停止するよう第3通信部131を制御する。第3制御部133は、1又は複数の他の撮像装置110で撮像された動画データに基づく他の分割データを記憶部132から読み出し、読み出した他の分割データを情報端末120へ送信するよう第3通信部131を制御する。この場合、第3制御部133は、最後に送信した分割データに付加された時刻情報と同じ又はほぼ同じ時刻情報が付加された他の分割データを読み出す。
例えば、図14(A)を用いて説明すると、第3制御部133は、動画データAに基づく分割データD2−A2を送信した後に、送信停止要求情報を受信すると、動画データBに基づく分割データD2−B2又は分割データD2−B3を送信した後、分割データの送信を停止するように制御する。
なお、第3制御部133は、撮像装置110において動画データに時刻情報が付加されていない場合、分割データに基づく動画の情報端末120で再生した時の再生時間に基づいて、その再生時間に対応する時間となる他の分割データを特定し、その特定した他の分割データを記憶部132から読み出す。
また、第3制御部133は、分割データの送信中に情報端末120から分割データの送信停止要求情報が有った場合、送信停止要求情報が有った時から時間的に最も近い単数枚分割データを送信するよう第3通信部131を制御する。第3制御部133は、第3通信部131で送信停止要求情報を受信した場合、分割データの時系列的な順次読み出しを停止する。第3制御部133は、分割データの時系列的な順次読み出しを停止したタイミングから、時系列的に直後又は直前の単数枚分割データを記憶部132から読み出して、読み出した単数枚分割データを情報端末120に送信するよう第3通信部131を制御する。
例えば、図13(D)を用いて説明すると、第3制御部133は、フレームF1〜F3を有する分割データD2を送信する場合に送信停止要求があると、その分割データD2から時間的に最も近い、フレームF4を備える単数枚分割データD2Sを送信するように制御する。
また、第3制御部133は、情報端末120から送信停止要求情報が有って、分割データの送信を停止するよう制御した後、情報端末120から切替要求情報が有った場合、送信を停止した分割データを除く、1又は複数の他の動画データに基づく他の分割データを情報端末120に送信するよう制御する。この場合、他の分割データは、分割データを停止させたタイミングと時系列的に同じタイミングの他の単数枚分割データである。
第3制御部133は、送信停止要求情報を第3通信部131で受信すると、分割データの送信を停止するよう制御する。その後、第3制御部133は、情報端末120からの切替要求情報を第3通信部131で受信すると、要求の有った他の動画データに基づく他の分割データを記憶部132から読み出して、読み出した他の分割データを情報端末120に送信するよう第3通信部131を制御する。この場合、第3制御部133は、最後に送信した分割データに付加された時刻情報と同じ又はほぼ同じ時刻情報が付加された他の分割データを読み出す。なお、第3制御部133は、撮像装置110において動画データに時刻情報が付加されていない場合、分割データに基づく動画の情報端末120で再生した時の再生時間に基づいて、その再生時間に対応する時間となる他の分割データを特定し、その特定した他の分割データを記憶部132から読み出す。
第3制御部133は、複数枚分割データを送信する場合、分割データの切り替えを要求する切替要求情報が情報端末120からあると、単数枚分割データを記憶部132から読み出し、読み出した単数枚分割データを送信するように第3通信部131を制御する。この場合、単数枚分割データは、送信する複数枚分割データから時間的に近い単数枚分割データである。より詳しくは、単数枚分割データは、複数枚分割データの元となる動画データを除く、他の動画データから生成された単数枚分割データである。
第3制御部133は、分割データを記憶部132から時系列順に読み出し、読み出した分割データを情報端末120に順次送信するよう制御している場合に、分割データとしての複数枚分割データを送信したタイミング又は送信するタイミングで、第3通信部131で切替要求情報を受信すると、単数枚分割データを記憶部132から読み出して、その単数枚分割データを情報端末120に送信するよう第3通信部131を制御する。
この場合、記憶部132から読み出す単数枚分割データは、送信される複数枚分割データの元となる動画データとは異なる他の動画データから生成された単数枚分割データである。さらに、その単数枚分割データは、複数枚分割データを送信する又は送信したタイミングから、時間的に近い単数枚分割データである。なお、単数枚分割データは、複数枚分割データを送信する又は送信したタイミングから、時間的に最も近く、複数枚分割データの直前又は直後の時間に対応する単数枚分割データであってもよく、複数枚分割データから数フレーム分早い又は遅い時間に対応する単数枚分割データであってもよい。第3制御部133は、上述したものと同様に、動画データに付加された時刻情報又は分割データに基づく再生時間に基づいて、記憶部132から読み出す単数枚分割データを特定することができる。
また、上述したように情報端末120では、表示部122に対してスワイプ操作が行われることに基づいて、切替要求情報が生成される。第3制御部133は、情報端末120におけるスワイプ操作において、表示部122に対するユーザの指のタッチが終了した場合(表示部122から指が離れた場合)、及び、表示部122に対するユーザの指のタッチが停止している場合(表示部122から指が離れていない場合)には、切替要求情報に基づいて、動画データに基づく単数枚分割データ(元の単数枚分割データ)のみを情報端末120に送信する。また、第3制御部133は、元の単数枚分割データの送信と同時に、他の動画データに基づく分割データ(他の分割データ)を記憶部132から読み出す。第3制御部133は、記憶部132から読み出す他の分割データの撮影時刻が送信を続けている元の単数枚分割データの撮影時刻と同一(又は、近しい)時刻になった場合、元の単数枚分割データから他の分割データに切り替えて、他の分割データを情報端末120に送信する。
なお、第3制御部133は、分割データを情報端末120に順次送信している場合に、切替要求情報が情報端末120からあると、送信を続けている動画データに基づく単数枚分割データ(元の単数枚分割データ)のみ情報端末120に送信し続けると共に、以前の時刻となる他の動画データに基づく複数枚分割データ(他の複数枚分割データ)も元の単数枚分割データに並列して情報端末120に送信してもよい。この場合、第3制御部133は、送信している他の複数枚分割データの撮影時刻が並列して送信し続けている元の単数枚分割データの撮影時刻と同一(又は、近しい)時刻になった場合、元の単数枚分割データの送信を停止し、他の複数枚分割データを送信し続けてよい。なお、情報端末120は、元の単数枚分割データに基づく画像を表示部に表示し、単数枚分割データの受信が停止すると、他の複数枚分割データに基づく動画を表示する。
次に、動画配信方法について説明する。
図15は、動画配信方法について説明するためのフローチャートである。である。
ステップST1として、複数の撮像装置110それぞれは、一例として、同一の被写体を異なる角度から撮像して、動画データを生成する。各撮像装置110は、生成した動画データをサーバ130に送信する。
ステップST2として、サーバ130は、ステップST1で送信された動画データを受信する。
ステップST3として、サーバ130は、ステップST2で受信した動画データを、1以上のフレームに分割し分割データの単位で時系列順に記憶する。
ステップST4として、サーバ130は、外部の情報端末120から、分割データの送信を要求するデータ送信要求情報を受信する。
ステップST5として、サーバ130は、ステップST4で受信した要求情報に基づいて、ステップS3で記憶した分割データを読み出す。
ステップST6として、サーバ130は、ステップST5で読み出した分割データを、情報端末120に時系列順に送信する。
ステップST7として、情報端末120は、ステップST6で送信された分割データを順次受信する。
ステップST8として、情報端末120は、ステップST7で受信された分割データに基づく動画を表示する。
なお、この動画配信方法において、サーバ130は、ステップST2からステップST6の処理を、このサーバ130を構成するコンピュータのプログラムによって実行させてもよい。
次に、サーバ130の動作について説明する。
図16は、サーバの動作について説明するためのフローチャートである。
ステップS11として、サーバ130(第3制御部133)は、第3通信部131で受信した要求情報がデータ送信要求情報か、切替要求情報か、送信停止要求情報かを判断する。処理は、データ送信要求情報の場合には、ステップS12に進む。処理は、切替要求情報の場合には、ステップS13に進む。処理は、送信停止要求情報の場合には、ステップS14に進む。
ステップS12として、サーバ130(第3制御部133)は、分割データを順次送信する。
ステップS13として、サーバ130(第3制御部133)は、分割データから他の分割データに切り替えて、他の分割データを送信する。サーバ130(第3制御部133)は、後続の他の分割データを順次送信する。なお、場合によって、サーバ130(第3制御部133)は、他の単数枚分割データを送信することが可能である。
ステップS14において、サーバ130(第3制御部133)は、第1〜3のいずれの場合かを判断する。第1〜3の場合は、例えば、予め設定された条件に基づいて判断される。一例として、サーバ130(第3制御部133)は、送信停止要求を受信した場合に、予め設定された条件が第1の場合には、第1の場合の処理を実行する。
ステップS14において第1の場合と判断された場合、ステップS15において、サーバ130(第3制御部133)は、他の分割データを送信して、分割データ及び他の分割データの送信を停止する。
ステップS14において第2の場合と判断された場合、ステップS16において、サーバ130(第3制御部133)は、単数枚分割データを送信して、データ送信を停止する。
ステップS14において第3の場合と判断された場合、ステップS17において、サーバ130(第3制御部133)は、分割データの送信を停止する。
ステップS18において、サーバ130(第3制御部133)は、切替要求情報を受信したか否かを判断する。処理は、切替要求情報を受信した場合、ステップS19に進む。処理は、切替要求を受信していない場合、ステップ18の判断を再度行う。
ステップS19において、サーバ130(第3制御部133)は、他の分割データを送信する。
次に、実施形態の効果について説明する。
動画配信装置としてのサーバ130は、動画データが1以上のフレームに分割された分割データの単位で時系列順に記憶される記憶部132と、外部の情報端末120からデータ送信要求情報を受信すると共に、分割データを情報端末120に送信する第3通信部131と、第3通信部131が受信したデータ送信要求情報(要求情報)に基づいて分割データを記憶部132から読み出し、読み出した分割データを情報端末120に送信するよう第3通信部131を制御する第3制御部133と、を備える構成である。
動画配信装置としてのサーバ130は、動画データを分割データの単位で記憶部132に記憶し、その分割データの単位で送信する。分割データの単位とすることにより、一例として、3枚のフレームで構成される分割データと、1枚のフレームで構成される画像が3枚あるデータとでは、分割データの方が圧縮され、ファイルサイズを小さくすることができる。これにより、動画配信装置は、データ送信にかかる時間を従来に比べて短くすることができる。
また、サーバ130は、情報端末120に分割データの形式で保存又は分割データの形式にアクセスさせることができるので、他の分割データに容易に切り替えることができる。すなわち、サーバ130は、1の撮像装置110で撮像された動画から他の撮像装置で撮像された画像にシームレスに切り替えることができる。
なお、従来では、通常の動画を情報端末に送信する場合、ファイル容量がある程度大きく、及び、撮像装置の数が多いほど、前もって情報端末の記憶部にデータを読み込んでおく必要があるが、実際はこれが難しい。また、ローカルディスクから動画を読み込む場合、情報端末は、読み込みに時間がかかり、動画の読み込み後も切替の時間までシークする必要があるために、シームレスな切替が困難となる。
動画配信装置の第3制御部133は、データ送信要求情報によって、複数の分割データのうちいずれかを送信するよう要求された場合、要求された分割データを記憶部132から読み出し、読み出した分割データを情報端末120に送信するよう制御する。この場合、第3制御部133は、データ送信要求情報で要求された分割データに後続する分割データを時系列順に記憶部132から読み出し、読み出した分割データを時系列順に情報端末120に送信するよう制御する。
これにより、動画配信装置としてのサーバ130は、分割データを送信する場合、通信ネットワークNにかかる負荷を従来(1枚のフレームで構成される画像を順次送信する場合)に比べて小さくすることができる。また、分割データに基づく動画が表示される情報端末120では、データ受信の負荷を小さくすることができる。
動画配信装置の第3制御部133は、切替要求情報が有った場合、送信している分割データを除く、他の動画データに基づく他の分割データであって、切替要求情報が有ったタイミングで分割データと他の分割データとが時刻的に連続するような他の分割データを記憶部132から順次読み出し、読み出した他の分割データを送信するよう制御する。
動画配信装置としてのサーバ130は、動画データを分割データの単位で情報端末120に送信しているため、1の分割データから他の分割データにすぐに切り替えて、他の分割データを情報端末120に送信することができる。これにより、情報端末120は、切替要求情報をサーバ130に送信した後、今まで受信していたデータのダウンロードが全て終了するまで待つ必要がない。すなわち、情報端末120は、分割データに基づく動画から、他の分割データに基づく動画に、直ぐに切り替えることができる。
動画配信装置の第3制御部133は、分割データの送信中に送信停止要求情報が有った場合、分割データの送信を停止するよう制御する。この場合、第3制御部133は、送信していた分割データを除く、1又は複数の他の動画データに基づく他の分割データであって、分割データを停止させたタイミングと時系列的に同じタイミングの他の分割データを記憶部132から読み出し、読み出した他の分割データを送信するよう制御する。
これにより、情報端末120は、分割データと、他の分割データとがダウンロードされるため、情報端末120における操作のみで、分割データに基づく画像と、他の分割データに基づく画像とを切り替えることができる。
動画配信装置としてのサーバ130では、分割フレームは、複数のフレームで構成される複数枚分割データと、1枚のフレームで構成される単数枚分割データと、で構成される。この場合、複数枚分割データと単数枚分割データとは、時系列で交互に配されるように構成される。
分割データが送信される情報端末120では、単数枚分割データが配されることにより、例えば、1の分割データに基づいて表示される動画から、他の分割データに基づいて表示される動画データに切り替えるのが、容易になる。
動画配信装置としてのサーバ130では、単数枚分割データは、時系列で連続して複数ある。この場合、1の複数枚分割データと、複数の単数枚分割データとは、時系列で交互に配されるように構成される。
分割データが送信される情報端末120では、単数枚分割データが複数配されることにより、例えば、1の分割データに基づいて表示される動画から、他の分割データに基づいて表示される動画データに切り替えるのが、より容易になる。
動画配信装置の第3制御部133は、分割データの送信中に送信停止要求情報が有った場合、送信停止要求情報が有った時から時間的に最も近い単数枚分割データを送信するようを制御する。
これにより、情報端末120は、単数枚分割データを受信するため、単数枚分割データに基づく画像の確認が動画に比べて容易になる。さらに情報端末120は、その後に、切替要求情報を送信することに基づいて他の分割データを受信した場合でも、情報端末120上の画像の切り替えが容易になる。
動画配信装置の第3制御部133は、送信停止要求情報が有って、分割データの送信を停止するよう制御した後、切替要求情報が有った場合、送信を停止した分割データを除く、1又は複数の他の動画データに基づく他の分割データであって、分割データを停止させたタイミングと時系列的に同じタイミングの他の単数枚分割データを情報端末120に送信するよう制御する。
これにより、情報端末120は、単数枚分割データに基づく画像の表示が可能になり、画像の切り替えを行うことができる。動画配信装置は、1の他の単数枚分割データを送信するため、複数枚分割データを送信する場合に比べて、送信するデータ量を少なくすることができる。
動画配信装置の第3制御部133は、複数枚分割データを送信する場合、切替要求情報が情報端末120からあると、単数枚分割データを送信するように制御する。この場合、単数枚分割データは、送信する複数枚分割データから時間的に近い単数枚分割データであって、複数枚分割データの元となる動画データを除く他の動画データから生成された単数枚分割データである。
動画配信装置は、送信している分割データを他の分割データに切り替える場合、複数枚分割データから時間的に近い単数枚分割データを送信するため、情報端末120で表示される分割データに基づく動画が時間的に離れて切り替えられることはなく、ユーザに違和感を与えることを抑えることができる。
動画配信システムは、被写体をそれぞれ別の角度から撮像し、それぞれ動画データを生成する、複数の撮像装置110と、複数の撮像装置110で生成された動画データそれぞれに基づく分割データを記憶し、分割データを送信するサーバ130と、サーバ130から送信された分割データに基づいて表示を行う情報端末120と、を備える。この場合、サーバ130は、複数の動画データを、1以上のフレームに分割された分割データの単位で時系列順に記憶する記憶部132と、情報端末120から要求情報を受信すると共に、分割データを情報端末120に送信する第3通信部131と、第3通信部131が受信した要求情報に基づいて分割データを記憶部132から読み出し、読み出した分割データを情報端末120に送信するよう第3通信部131を制御する第3制御部133と、を備える。
動画配信システムのサーバ130は、動画データを分割データの単位で記憶部132に記憶し、その分割データの単位で送信する。分割データの単位とすることによりデータが圧縮され、ファイルサイズを小さくすることができる。
動画配信システムのサーバ130は、分割データを送信する場合、通信ネットワークにかかる負荷を従来に比べて小さくすることができる。また、動画配信システムの情報端末120では、データ受信の負荷を小さくすることができる。
動画配信方法は、被写体をそれぞれ別の角度から撮像した複数の動画データを、1以上のフレームに分割て分割データの単位で時系列順に記憶するステップと、外部の情報端末120からデータ送信要求情報(要求情報)を受信するステップと、受信したデータ送信要求情報に基づいて分割データを読み出すステップと、読み出した分割データを外部の情報端末120に送信するステップと、を行う。
動画配信方法は、動画データを分割データの単位で記憶部132に記憶し、その分割データの単位で送信する。分割データの単位とすることによりデータが圧縮され、ファイルサイズを小さくすることができる。
動画配信プログラムは、被写体をそれぞれ別の角度から撮像した複数の動画データを、1以上のフレームに分割して分割データの単位で時系列順に記憶するステップと、外部の情報端末120から要求情報を受信するステップと、受信したデータ送信要求情報(要求情報)に基づいて分割データを読み出すステップと、読み出した分割データを外部の情報端末120に送信するステップと、をコンピュータに実行させる。
動画配信プログラムは、動画データを分割データの単位で記憶部132に記憶し、その分割データの単位で送信する。分割データの単位とすることによりデータが圧縮され、ファイルサイズを小さくすることができる。
以下、変形例について説明する。
第3制御部133は、分割データを情報端末120に送信している場合に、情報端末120から切替要求があると、切替要求があったタイミングで、1の分割データをさらに複数の分割データに分割してもよい。一例として、第3制御部133は、6枚のフレームで構成された分割データCを情報端末120に送信している場合に、切替要求があると、記憶部132に記憶される分割データCを、時系列順に前半の3枚のフレームで構成された分割データC1と、時系列順に後半の3枚のフレームで構成された分割データC2とに分割してもよい。なお、フレーム数は、上記一例に限定されることはない。また、同一の動画データを分割データの単位で複数回送信している場合、同じタイミングで複数回の切替要求が有ると、切替要求があったタイミングに対応する1の分割データを複数の分割データに分割してもよい。
また、上記実施形態では、動画データを時系列順に1以上のフレームに分割して、分割データを生成する例について説明した。しかし、この例に限定されることはなく、動画データを構成する複数のフレームを時系列順に任意のタイミングで順次選択し、選択したフレームから分割データを生成してもよい。
また、上記実施形態では、撮像装置110からサーバ130に動画データを送信する例について説明した。しかし、この例に限定されることはなく、撮像装置110で被写体を撮像することにより生成される動画データを、いったんメモリ等に記憶しておき、撮像が終了した後にメモリとサーバ130とを接続して、メモリからサーバ130に動画データを移動させてもよい。
また、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。また、前述した各実施形態における構成を適宜組み合わせてもよい。
1 映像配信システム
10 携帯端末
20 映像配信装置
21 取得部
22 データ生成部
23 指定値受付部
24 選択部
25 記憶部
30 情報処理端末
33 CPU(要求部)
35 描画LSI(描画部)
38 操作認識部
40 ユーザ
O 被写体
100 動画配信システム
110 撮像装置
120 情報端末
130 サーバ

Claims (10)

  1. 異なる地点で撮像した複数の動画データを取得する取得部と、
    前記取得部が取得した前記複数の動画データそれぞれについて、所定の時間ごとのフレームを静止画として抽出して静止画データを生成するデータ生成部と、
    前記静止画データを、前記複数の動画データそれぞれにおける被写体を撮像した撮像位置を示す位置データ、および前記静止画データが撮像された時間データと関連付けて記憶する記憶部と、
    ユーザが見たい前記静止画データにおける前記位置データを指定する位置指定値を受け付ける指定値受付部と、
    前記指定値受付部が受付けた前記位置指定値に基づいて、前記時間データに沿って前記静止画データを選択し、通信ネットワークを介して外部の表示装置に送信する選択部と、を備え、
    前記選択部は、前記指定値受付部が前記位置指定値を受付けない場合には、既に指定されている前記位置指定値に対応する前記静止画データを選択するとともに、
    前記指定値受付部が前記位置指定値を受付けた場合には、当該位置指定値を受付けた時に対応する静止画データの時間データを基準にして、当該位置指定値の変化に基づいて、対応する前記静止画データを選択する映像配信装置。
  2. 前記選択部は、前記時間データを基準にする際に、その瞬間において選択されている位置データに対応する前記静止画データを、最初に選択することを特徴とする請求項1に記載の映像配信装置。
  3. 前記取得部は、被写体をそれぞれ異なる方向から撮像した複数の動画データを取得し、
    前記位置データは、前記被写体を撮像した方向を特定可能な情報を示す方向データであり、
    前記指定値受付部は、ユーザが見たい前記静止画データにおける前記方向データを指定する方向指定値を、前記位置指定値として受付けることを特徴とする請求項1又は2に記載の映像配信装置。
  4. 前記請求項3に記載の映像配信装置と、
    被写体を取り囲むように配置され、前記被写体をそれぞれ異なる方向から撮像するカメラを有するとともに撮像により得られる動画の録画機能を有し、録画された前記動画を通信ネットワークに送出し、かつ複数の撮像部を構成する複数の携帯端末と、を備え、
    前記取得部は、前記携帯端末が前記被写体をそれぞれ撮像することにより得られる複数の前記動画を、前記通信ネットワークを介して前記携帯端末それぞれから取得することを特徴とする映像配信システム。
  5. 前記映像配信装置から送信された前記静止画データを受信して表示する表示モニタと、
    前記表示モニタの前方におけるユーザの指の動きを、前記方向指定値を選択する方向指定操作として認識して、ユーザの指の移動量を前記方向指定値として認識する操作認識部と、を有し、前記表示装置を構成する情報処理端末を更に備え、
    前記情報処理端末は、前記選択部から受信する前記静止画データにより、前記方向指定操作中は、該方向指定操作に基づき変化する前記方向指定値における前記被写体の静止画データを表示するとともに、
    前記方向指定操作がされていない時には、該方向指定操作の完了位置に対応する方向指定値の静止画データを、時系列順に順次受信して表示することにより、前記完了位置に対応する方向からの疑似的動画を表示することを特徴とする請求項4に記載の映像配信システム。
  6. 前記操作認識部は、前記表示モニタの表面に指が触れた状態でユーザが指を滑らせるスワイプ操作を、前記方向指定操作として認識することを特徴とする請求項5に記載の映像配信システム。
  7. 前記選択部は、前記指定値受付部が前記方向指定値を受付ける場合において、
    単位時間当たりの前記方向指定値の変化量が閾値未満の場合には、前記方向データが連続的につながるように、前記静止画データを選択するとともに、
    単位時間当たりの前記方向指定値の変化量が閾値以上の場合には、前記方向データが間欠的につながるように、前記静止画データを選択することを特徴とする請求項6に記載の映像配信システム。
  8. 前記情報処理端末は、前記方向指定値に基づいて、前記表示モニタに表示させる前記静止画データを、前記選択部に対して要求する要求部と、
    前記表示モニタに、HTML(Hyper Text Markup Language)データを用いて、前記要求部が取得した前記静止画データを描画する描画部と、を備え、
    前記描画部が前記静止画データを前記表示モニタに描画する時間Tは、前記要求部が前記静止画データを前記選択部から取得して、前記描画部に転送する時間Tよりも短いことを特徴とする請求項7に記載の映像配信システム。
  9. コンピュータが、
    異なる地点で撮像した複数の動画データを取得する取得ステップと、
    前記取得ステップで取得した前記複数の動画データそれぞれについて、所定の時間ごとのフレームを静止画として抽出して静止画データを生成するデータ生成ステップと、
    前記静止画データを、前記複数の動画データそれぞれにおける被写体を撮像した撮像位置を示す位置データ、および前記静止画データが撮像された時間データと関連付けて記憶する記憶ステップと、
    ユーザが前記被写体を見るための位置を指定する位置指定値を受け付ける指定値受付ステップと、
    前記指定値受付ステップで受付けた前記位置指定値に基づいて、前記時間データに沿って前記静止画データを選択し、通信ネットワークを介して外部の表示装置に送信する選択ステップと、を実行し、
    前記選択ステップでは、前記指定値受付ステップで前記位置指定値を受付けない場合には、既に指定されている前記位置指定値に対応する前記静止画データを選択するとともに、
    前記指定値受付ステップで前記位置指定値を受付けた場合には、当該位置指定値を受付けた時に対応する静止画データの時間データを基準にして、当該位置指定値の変化に基づいて、対応する前記静止画データを選択する映像配信方法。
  10. コンピュータに、
    異なる地点で撮像した複数の動画データを取得する取得機能と、
    前記取得機能が取得した前記複数の動画データそれぞれについて、所定の時間ごとのフレームを静止画として抽出して静止画データを生成するデータ生成機能と、
    前記静止画データを、前記複数の動画データそれぞれにおける被写体を撮像した撮像位置を示す位置データ、および前記静止画データが撮像された時間データと関連付けて記憶する記憶機能と、
    ユーザが前記被写体を見るための位置を指定する位置指定値を受け付ける指定値受付機能と、
    前記指定値受付機能が受付けた前記位置指定値に基づいて、前記時間データに沿って前記静止画データを選択し、通信ネットワークを介して外部の表示装置に送信する選択機能と、を実現させ、
    前記選択機能では、前記指定値受付機能において前記位置指定値を受付けない場合には、既に指定されている前記位置指定値に対応する前記静止画データを選択するとともに、
    前記指定値受付機能において位置指定値を受付けた場合には、当該位置指定値を受付けた時に対応する静止画データの時間データを基準にして、当該位置指定値の変化に基づいて、対応する前記静止画データを選択する映像配信プログラム。
JP2019512929A 2017-09-20 2018-09-20 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム Active JP6568670B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017180411 2017-09-20
JP2017180411 2017-09-20
PCT/JP2018/034937 WO2019059325A1 (ja) 2017-09-20 2018-09-20 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019143055A Division JP7123405B2 (ja) 2017-09-20 2019-08-02 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム

Publications (2)

Publication Number Publication Date
JP6568670B1 JP6568670B1 (ja) 2019-08-28
JPWO2019059325A1 true JPWO2019059325A1 (ja) 2019-11-14

Family

ID=65720515

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019512929A Active JP6568670B1 (ja) 2017-09-20 2018-09-20 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム
JP2019143055A Active JP7123405B2 (ja) 2017-09-20 2019-08-02 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム
JP2021070467A Active JP7253279B2 (ja) 2017-09-20 2021-04-19 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム
JP2023043289A Pending JP2023063607A (ja) 2017-09-20 2023-03-17 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2019143055A Active JP7123405B2 (ja) 2017-09-20 2019-08-02 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム
JP2021070467A Active JP7253279B2 (ja) 2017-09-20 2021-04-19 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム
JP2023043289A Pending JP2023063607A (ja) 2017-09-20 2023-03-17 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム

Country Status (11)

Country Link
US (3) US10417744B2 (ja)
EP (1) EP3687181A4 (ja)
JP (4) JP6568670B1 (ja)
KR (2) KR102461037B1 (ja)
CN (3) CN109525771B (ja)
AU (1) AU2018338407B2 (ja)
BR (1) BR112020005589A2 (ja)
CA (1) CA3076320A1 (ja)
GB (1) GB2587043B (ja)
IL (1) IL273453B2 (ja)
WO (1) WO2019059325A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US10417744B2 (en) 2017-09-20 2019-09-17 Amatelus Inc. Video distribution device, video distribution system, video distribution method, and video distribution program
US20210409613A1 (en) * 2018-12-21 2021-12-30 Sony Group Corporation Information processing device, information processing method, program, and information processing system
JP6571859B1 (ja) * 2018-12-26 2019-09-04 Amatelus株式会社 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム
US20230394629A1 (en) * 2020-10-26 2023-12-07 Jun Min HAN Reproduction method for image
KR102281128B1 (ko) * 2020-10-26 2021-07-26 한창엽 영상의 재생 방법
CN113507582A (zh) * 2021-07-14 2021-10-15 北京洞微科技发展有限公司 一种轨道表观影像数据分析的新方法
KR102595431B1 (ko) * 2021-07-16 2023-10-27 서울사이버대학교 산학협력단 실감형 영상 콘텐츠 제작 및 배포 시스템 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113971B1 (en) * 1996-08-05 2006-09-26 Canon Kabushiki Kaisha Communication method and apparatus, server and client on network, and program codes realizing communication thereof
US6233428B1 (en) * 1997-09-17 2001-05-15 Bruce Fryer System and method for distribution of child care training materials and remote monitoring of child care centers
JP2004053616A (ja) 2002-05-28 2004-02-19 Sony Corp 撮影システム、複数の撮像装置の支持装置、並びに複数の撮像装置の配置調整方法
GB2414190B (en) * 2004-03-26 2007-03-07 Sumitomo Rubber Ind Golf swing diagnosing system
JP4587166B2 (ja) * 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
US9189070B2 (en) * 2010-09-24 2015-11-17 Sharp Kabushiki Kaisha Content display device, content display method, portable terminal, program, and recording medium
JP5096628B1 (ja) * 2011-09-29 2012-12-12 徹平 江里口 動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システム
CN104036536B (zh) * 2013-03-07 2018-06-15 腾讯科技(深圳)有限公司 一种定格动画的生成方法和装置
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
JP2015005823A (ja) 2013-06-19 2015-01-08 パナソニック株式会社 画像処理装置およびデジタルミラーシステム
CN103823877A (zh) * 2014-02-28 2014-05-28 胡勇建 实物展示方法、实物展示系统及对应的图片获取装置
JP6238134B2 (ja) 2014-03-17 2017-11-29 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN104601978A (zh) * 2015-01-06 2015-05-06 北京中科广视科技有限公司 自由视点图像的获取系统与方法
WO2016208102A1 (ja) 2015-06-25 2016-12-29 パナソニックIpマネジメント株式会社 映像同期装置及び映像同期方法
WO2017038541A1 (ja) * 2015-09-03 2017-03-09 ソニー株式会社 映像処理装置、映像処理方法、及び、プログラム
US10206645B2 (en) * 2015-09-18 2019-02-19 General Electric Company Multi-perspective interventional imaging using a single imaging system
JP7021842B2 (ja) 2015-11-13 2022-02-17 パナソニック ネットソリューションズ株式会社 映像配信システム及び映像配信方法
CN106909263A (zh) * 2015-12-22 2017-06-30 王骁勇 三维图像的交互展示方法及系统
JP6778912B2 (ja) 2016-02-03 2020-11-04 パナソニックIpマネジメント株式会社 映像表示方法及び映像表示装置
WO2017134706A1 (ja) 2016-02-03 2017-08-10 パナソニックIpマネジメント株式会社 映像表示方法及び映像表示装置
JP6957215B2 (ja) * 2017-06-06 2021-11-02 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10417744B2 (en) 2017-09-20 2019-09-17 Amatelus Inc. Video distribution device, video distribution system, video distribution method, and video distribution program

Also Published As

Publication number Publication date
GB2587043A (en) 2021-03-17
EP3687181A4 (en) 2021-06-02
EP3687181A1 (en) 2020-07-29
JP6568670B1 (ja) 2019-08-28
WO2019059325A1 (ja) 2019-03-28
US20200228754A1 (en) 2020-07-16
JP2023063607A (ja) 2023-05-09
US11562466B2 (en) 2023-01-24
US10417744B2 (en) 2019-09-17
JP2019205197A (ja) 2019-11-28
KR20190032994A (ko) 2019-03-28
IL273453A (en) 2020-05-31
IL273453B1 (en) 2023-04-01
CN111357296A (zh) 2020-06-30
US11113787B2 (en) 2021-09-07
KR102511407B1 (ko) 2023-03-16
CN115942044A (zh) 2023-04-07
GB2587043B (en) 2023-02-15
IL273453B2 (en) 2023-08-01
US20210398249A1 (en) 2021-12-23
KR102461037B1 (ko) 2022-10-31
CN109525771B (zh) 2022-07-01
JP7123405B2 (ja) 2022-08-23
CN109525771A (zh) 2019-03-26
AU2018338407B2 (en) 2023-06-22
AU2018338407A1 (en) 2020-04-09
JP7253279B2 (ja) 2023-04-06
CA3076320A1 (en) 2019-03-28
BR112020005589A2 (pt) 2020-10-27
US20190087936A1 (en) 2019-03-21
JP2021114782A (ja) 2021-08-05
CN111357296B (zh) 2022-12-02
KR20200112802A (ko) 2020-10-05
GB2587043A9 (en) 2022-09-14
GB202004134D0 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
JP6568670B1 (ja) 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム
US10447874B2 (en) Display control device and display control method for automatic display of an image
JP5942933B2 (ja) 端末装置、及びプログラム
JP6409107B1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6178705B2 (ja) 映像配信システム、映像配信装置及び映像配信プログラム
KR20170137634A (ko) 통신장치, 통신 제어방법 및 통신 시스템
US20220050869A1 (en) Video delivery device, video delivery system, video delivery method and video delivery program
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
JP7249637B2 (ja) 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム
WO2023093344A1 (zh) 图像显示方法、装置、存储介质及电子设备
JP6600399B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5942932B2 (ja) 端末装置、及びプログラム
WO2023103875A1 (zh) 自由视角视频的视角切换方法、装置及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190306

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190306

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190306

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190328

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190802

R150 Certificate of patent or registration of utility model

Ref document number: 6568670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250