JP5935694B2 - 動画像配信システム、及び動画像配信方法 - Google Patents

動画像配信システム、及び動画像配信方法 Download PDF

Info

Publication number
JP5935694B2
JP5935694B2 JP2012538610A JP2012538610A JP5935694B2 JP 5935694 B2 JP5935694 B2 JP 5935694B2 JP 2012538610 A JP2012538610 A JP 2012538610A JP 2012538610 A JP2012538610 A JP 2012538610A JP 5935694 B2 JP5935694 B2 JP 5935694B2
Authority
JP
Japan
Prior art keywords
moving image
image
data group
frame data
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012538610A
Other languages
English (en)
Other versions
JPWO2012049941A1 (ja
Inventor
小林 牧夫
牧夫 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2012049941A1 publication Critical patent/JPWO2012049941A1/ja
Application granted granted Critical
Publication of JP5935694B2 publication Critical patent/JP5935694B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画像配信システム、及び動画像配信方法に関する。特に、本発明は、ディジタル撮影した動画像を配信する動画像配信システム、並びに動画像配信方法に関する。
ディジタル撮影により得られた画像データをインターネットにより配信する、いわゆるWebカメラを用いたシステムがある。このシステムにおいて、配信対象の画像データは、それを撮影したWebカメラ装置あるいは別途設けられたサーバ装置に記憶される。画像データを閲覧しようとするユーザは、端末により、Webカメラ装置あるいはサーバ装置にアクセスし、所望の画像データを受信する。
カメラ装置のレンズに平面レンズを用いた場合、得られる画像は平面画像であることから、画像の取り扱いが簡便である。しかしながら、平面レンズによる1回あたりの撮像範囲は比較的狭い。そのため、例えば、雲台に設けられたステッピングモータによりカメラを回転あるいは上下させることで、撮像範囲が補償される。後述の特許文献1には、携帯端末が、遠隔に設けられた可動型のWebカメラの方向をモータ制御する方法が記載されている。
カメラ装置のレンズとして、魚眼レンズのような広角レンズが用いられることがある。魚眼レンズを用いた場合、1回の撮影で180°四方の範囲をカバーできるため、平面レンズの場合のようにカメラを頻繁に動かす必要はない。後述の特許文献2には、魚眼レンズを採用したディジタルカメラが記載されている。特許文献2に記載のディジタルカメラは、魚眼レンズで撮影した静止画を、カメラ裏面のディスプレイに平面画像として表示する。
配信システムのカメラ装置に平面レンズを用いた場合、前述したように、撮像範囲を広げるために、ステッピングモータによりカメラを頻繁に動かす必要がある。そのため、ユーザ端末に同期した複雑なモータ制御が必要になる。その結果、撮影の処理時間を短縮し難く、配信を待つユーザにストレスが生じるという不都合がある。
魚眼レンズを用いた場合、1回あたりの撮影範囲は拡大される。しかしながら、撮影された全方位画像には歪みが現れるため、その歪んだ像を正像に変換する必要がある。特に、動画像の場合、映像を滞りなく再生するために、正像への変換を迅速に行うことが求められる。上記特許文献2に記載の方法は、魚眼レンズにより撮影した画像の処理に関する。この処理においては、撮影される画像は静止画であり、動画像については想定されていない。
このような課題を解決するために、広角レンズを用いて撮影された動画像を再生する端末装置の利便性を高める技術が知られている(例えば、特許文献3参照)。
日本国特開平11−295783号公報 日本国特開2006−279739号公報 日本国特開2009−088850号公報
しかしながら、特許文献3に記載の技術によっては、ユーザが所望の領域の動画像を表示器へ表示しようとするとき、携帯端末のキー部のキーを操作して選択するため煩わしく使用しづらい。
上記課題を解決するために、本発明の第1の形態による、ディジタル撮影した動画像を配信する動画像配信システムであって、撮像装置とサーバ装置と端末装置とを備え、撮像装置は、広角レンズにより全方位の動画像を撮影する撮像部と、撮像部が撮影した動画像を構成するフレームデータ群をサーバ装置へ送信する制御部とを有し、サーバ装置は、撮像装置からのフレームデータ群の各フレームデータが表す画像を複数の領域に分割し、各領域の画像を正像に変換して、領域別の部分データ群を得る演算部と、撮像装置からのフレームデータ群を蓄積し且つ部分データ群を領域別に蓄積する記憶部と、端末装置から要求された動画像のフレームデータ群及び動画像に関し端末装置から要求された領域の部分データ群を記憶部から選択して端末装置に送信する制御部とを有し、端末装置は、動画像を再生する表示器と、端末装置の回転角度情報を検出する姿勢センサと、再生すべき動画像の識別情報、及び動画像に関しユーザが指定する領域の識別情報をサーバ装置へ送信し、当該送信に応じてサーバ装置から受信した部分データ群を参照して、姿勢センサによる回転角度情報の検出時間が所定時間に達したときの回転角度情報に基づいて算出される領域に対応する部分データの動画像を表示器に表示する制御部とを有する。
本発明の第2の形態による、ディジタル撮影した動画像を配信する動画像配信方法であって、広角レンズにより撮影した全方位の動画像を構成するフレームデータ群をサーバ装置へ蓄積する段階と、フレームデータ群の各フレームデータが表す画像を複数の領域に分割する分割し、各領域の画像を正像に変換して、サーバ装置において、領域別の部分データ群を得る段階と、部分データ群を領域別にサーバ装置へ蓄積する段階と、端末装置により再生すべき動画像の識別情報をサーバ装置へ送信する段階と、識別情報に対応する動画像のフレームデータ群をサーバ装置から端末装置へ送信する段階と、サーバ装置から送信されたフレームデータ群を用いて動画像を端末装置により再生する段階と、端末装置により再生された動画像に関し、ユーザが指定する領域の識別情報をサーバ装置へ送信する段階と、指定された領域の識別情報に対応する部分データ群をサーバ装置から端末装置へ送信する段階と、サーバ装置から送信された部分データ群を参照し、姿勢センサによる回転角度情報の検出時間が所定時間に達したときの回転角度情報に基づいて算出される領域に対応する部分データの動画像を端末装置により再生する段階とを含む。
本発明の実施態様は、上記に限られない。
この発明の実施形態においては、回転角度に依存した座標位置の領域を表示器に表示でき、ユーザは直感的に所望の領域の動画像を表示させることができる。
本発明の一実施形態に係る動画像配信システムの利用環境の一例を示す図である。 図1に示すWebカメラ装置のブロック構成の一例を示す図である。 図1に示す携帯端末のブロック構成の一例を示す図である。 図1に示す画像演算サーバのブロック構成の一例を示す図である。 図3に示す携帯端末の姿勢センサを説明するための図である。 図2に示す魚眼レンズ及び撮像対象領域を説明するための図である。 本発明の一実施形態における全方位画像の分割処理を説明するための図である。 図3に示す携帯端末を説明するための図である。 図4に示す画像演算サーバの動作フローの一例を示す図である。 図3に示す携帯端末の動作フローの一例を示す図である。 図3に示す携帯端末の動作フローの一例を示す図である。 図3に示す携帯端末の画面表示を説明するための図である。 図3に示す携帯端末の画面表示を説明するための図である。 図3に示す携帯端末の画面表示を説明するための図である。
以下、発明の実施の形態を通じて本発明を説明する。以下の実施形態は、請求の範囲にかかる発明を限定しない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る動画像配信システム100の利用環境の一例を示す。動画像配信システム100は、ディジタル撮影した動画像を配信するシステムである。
動画像配信システム100は、複数のWebカメラ装置110a、b、c、・・・(以下、Webカメラ装置110と総称する。)、複数の携帯端末120a、b、c、・・・(以下、携帯端末120と総称する。)、画像演算サーバ130、及び通信回線140を備える。通信回線140は、インターネット等のコンピュータネットワーク、通信事業者のコアネットワーク、及び種々のローカルネットワークを含む。Webカメラ装置110は、本実施形態における「撮像装置」の一例であってよい。画像演算サーバ130は、本実施形態における「サーバ装置」の一例であってよい。携帯端末130は、本実施形態における「端末装置」の一例であってよい。
本実施形態では、説明が煩雑になることを防ぐことを目的として、動画像配信システム100が一の画像演算サーバ130を備える構成について説明した。しかしながら、動画像配信システム100は、複数の画像演算サーバ130を備えてよい。
図2は、Webカメラ装置110のブロック構成の一例を示す。Webカメラ装置110は、魚眼レンズ111、撮像素子112、信号処理部113、記憶部114、及び制御部115を有する。魚眼レンズ111は、本実施形態における「広角レンズ」の一例であってよい。以下に、各構成要素の機能及び動作を説明する。
撮像素子(撮像部)112は、魚眼レンズ111により動画像を撮影する。撮像素子112には電荷結合素子(CCD)などを使用することができる。信号処理部113は、撮像素子112が出力した動画像のアナログ信号をディジタル信号に変換し、それを記憶部1244へ格納する。記憶部1244に格納されるディジタル信号は、動画像を構成する一連の静止画データであり、一連のフレームデータに対応する。制御部115は、Webカメラ装置110を制御する機能及び通信回線140に対して通信する機能を具備する。制御部115は、記憶部114に格納されたフレームデータを画像演算サーバ130へ送信する。このとき送信されるフレームデータには、各フレームを識別するためのフレーム情報が付加される。
図3は、携帯端末120のブロック構成の一例を示す。携帯端末120は、表示器121、キー部122、姿勢センサ123、記憶部124、及び制御部125を有する。以下に、各構成要素の機能及び動作を説明する。
記憶部124は、動画像のデータを記憶する。表示器121は、記憶部124のデータに対応する動画像を表示する。キー部122は、操作ボタンとして機能する。図5に示すように、携帯端末120の表示器121の面の上下方向をX軸方向とする。表示器121の面の左右方向をY軸方向とする。表示器121の面の鉛直方向をZ軸方向とする。X軸、Y軸およびZ軸は、互いに直交する。姿勢センサ123は、それぞれの方向軸を中心とした回転角度を検出することができ、検出した回転角度を制御部125へ通知する。制御部125は、これら各部を制御する。制御部125は、通信回線140に対して通信する機能を具備する。制御部125は、キー部122や姿勢センサ123での入力操作によりユーザから指定された動画像のデータを画像演算サーバ130から取得する。
図4は、画像演算サーバ130のブロック構成の一例を示す。画像演算サーバ130は、演算部131、記憶部132、及び制御部133を有する。以下に、各構成要素の機能及び動作を説明する。
演算部131は、Webカメラ装置110からのフレームデータに分割処理及び正像処理を施す。記憶部132は、動画像のデータを記憶する。制御部133は、通信回線140に対して通信する機能を具備する。
演算部131は、ソフトウェアにより構成されていてもよいし、専用のディジタルプロセッサ(DSP)であってもよい。制御部133は、Webカメラ装置110から受信した動画像のフレームデータを前述のフレーム情報と共に記憶部132へ格納する。演算部131は、フレーム情報を参照して、記憶部132から1フレーム分のフレームデータを順次抽出する。そして、演算部131は、抽出した各フレームデータが表す画像を所定の領域に分割する分割処理を行う。
画像演算サーバ130が受信したフレームデータは、魚眼レンズ111で撮像された全方位の画像データであるため、図6に示すように、像に歪みが現れる。図6に示す全方位画像は、撮像対象の領域aの部分bの集合を魚眼レンズ111により等角度撮影して得られる画像である。全方位画像において、魚眼レンズ111のレンズ面cからの距離が離れた部分(b)ほど、像が縮小されるので歪みが強くなる。
演算部131は、フレームデータが表す全方位画像に前述の分割処理を行った後、分割された各領域の画像の歪みを補正する正像処理を行う。そして、演算部131は、正像処理を施した部分データを、その領域を識別するための情報を付加したうえで記憶部132へ格納する。記憶部132には、動画像を構成するフレームデータ群と、各フレームデータから得られた領域別の部分データ群とが蓄積される。フレームデータは、魚眼レンズ111による歪みを含んだ全体画像のデータである。部分データは、正像処理により歪みが補正された部分画像のデータである。
図7を参照して、演算部131によるフレームデータの分割処理について説明する。図7は、メッシュ状に分割された全方位画像の一例を示す。図示の全方位画像は、水平方向及び垂直方向に等間隔に分割された撮像対象領域(図6:a)を魚眼レンズ111により投影した画像と考えることができる。図7の全方位画像において、任意の分割領域は「Sm,n」で識別され、撮像対象領域は全部で(M+N)個に分割される。演算部131は、領域Sm,nごとに正像処理を行う。
図8に、携帯端末120における動画像の表示例を示す。図示の例は、図7の画像と同様な画像が携帯端末120の表示器121に表示され、その画像中の領域S6,7にカーソルがある状態を表す。図8の画像は、メッシュ状の分割領域を表示するためのデータをフレームデータに重畳することにより得られる画像である。分割領域を表示器121に表示するためのデータは、フレームデータと共に画像演算サーバ130から供給される。
携帯端末120のユーザは、表示器121の画面において、ある領域の動画像を拡大して閲覧したい場合、キー部122の「←」、「→」、「↑」、「↓」といった方向キーにより所望の領域にカーソルを移動させ、「Enter」キーを押下することで、閲覧したい領域を指定することができる。
図9は、画像演算サーバの動作フローの一例を示す図である。画像演算サーバ130は、Webカメラ装置110から、魚眼レンズ111を用いて撮影された動画像の一連のフレームデータ群を受信すると(S101)、それらを記憶部132へ保存する(S102)。画像演算サーバ130は、記憶部132に保存されたフレームデータ群から1フレーム分のデータを順次読み出す(S103)。画像演算サーバ130は、読み出す都度、そのフレームデータが表す全方位画像を複数の領域に分割する(S104)。具体的には、全方位画像が図7に示すような態様で分割される。
画像演算サーバ130は、分割された各領域の画像の歪みを補正する正像処理を行う(S105)。画像演算サーバ130は、処理済みの領域の部分データを記憶部132へ順次保存する(S106)。
このとき、画像演算サーバ130は、記憶部132へ保存すべき部分データ群に、それらの領域を識別するための前述の「Sm,n」(図7)のようなIDを付加する。
画像演算サーバ130は、携帯端末120から動画像の配信要求を受けるとき、配信要求のメッセージと共に、その動画像のID情報を受信する(S107)。画像演算サーバ130は、受信したID情報に対応する動画像のフレームデータ群を記憶部132から読み出して携帯端末120へ順次送信する(S108)。また、画像演算サーバ130は、フレームデータ群を送信するとき、携帯端末120の表示器121に図7のような分割領域を表示するためのデータを併せて送信する。
その後、画像演算サーバ130は、配信した動画像に関し、携帯端末120から領域指定のメッセージ及びその領域のID情報を受信した場合(S109:Yes)、受信したID情報に対応する領域の部分データ群を記憶部132から読み出し、携帯端末120へ送信する(S110)。
その後、携帯端末120から画像演算サーバ130に対し、上記の動画像の関する全体画像の配信要求、あるいは、別の動画像の配信要求が送られた場合(S111:Yes)、画像演算サーバ130は、要求された動画像のフレームデータ群を送信する(S108)。
図10、11は、携帯端末120の動作フローの一例を示す。携帯端末120は、ユーザにより動画像の再生指示が入力されたことを認識すると(S201)、画像演算サーバ130に対し、指示された動画像の配信を要求するためのメッセージと共に、その動画像のID情報を送信する(S202)。
携帯端末120は、上記要求に応じて画像演算サーバ130から送信された動画像のフレームデータ群及び分割領域を表示するためのデータを受信し、それらを記憶部124へ保存する(S203)。そして、携帯端末120は、記憶部124から順次読み出したフレームデータを動画像として表示器121に表示する(S204)。図12は、このとき表示器121に表示される画面例を示す。図12に示すように、携帯端末120の表示器121には、動画像にメッシュ状の分割領域が重ねられた画面が表示される(S205)。動画像の再生時に自動的に分割領域を表示することに替えて、ユーザのキー入力に応じて分割領域の表示をON/OFFするようにしてもよい。
携帯端末120は、表示器121の画面に対するユーザのキー操作に応じて、画面上のカーソル位置を移動させる(S206)。表示器121に表示中の動画像に関し、ユーザから閲覧領域が指定された場合(S207:Yes)、携帯端末120は、その領域のID情報を画像演算サーバ130へ送信する(S208)。
図13及び図14に沿って、携帯端末120におけるカーソル位置の移動及び閲覧領域の指定について例を挙げる。図13において、いま、画面上のカーソルが領域S8,8にあるとする((a)部参照)。この状態で、ユーザが「→」のキーを1回押下すると、右方の領域S8,9にカーソルが移動する((b)部参照)。さらに、ユーザが「↓」のキーを1回押下すると、カーソルが下方の領域S9,9へ移動する((c)部参照)。
図14において、例えば領域S2,9を拡大して閲覧しようとする場合、ユーザは、その領域S2,9にカーソルを合わせた状態で「Enter」のキーを押下する((d)部参照)。
携帯端末120の制御部125は、「Enter」キーの押下を認識すると、現時点のカーソル位置に対応する領域(S2,9)を閲覧領域のID情報として画像演算サーバ130へ通知する。
携帯端末120は、通知したID情報に対応した領域の部分データ群を画像演算サーバ130から受信し、それらを記憶部124へ保存する(S209)。携帯端末120は、記憶部124から順次読み出した部分データを、表示器121に適合する表示サイズに調整したうえで表示する(S210,S211)。これにより、図14に示すように、閲覧指定した領域S2,9の動画像が、歪みが補正され且つ拡大された状態で表示器121に表示される((e)部参照)。
携帯端末120は、指定した領域(S2,9)が表示された状態で、ユーザから、全体画像へ戻す指示あるいは別の動画像の再生指示が入力された場合(S212:Yes)、指示された動画像のID情報を画像演算サーバ130へ通知する(S202)。
以下において、携帯端末120の姿勢により表示器121に所望の動画像を表示せしめる動作を説明する。任意の時間T、任意の定数αとβをあらかじめ設定する(図示しない)。時間Tは姿勢センサ123が角度検出する時間間隔を規定する。定数αとβは回転角度と表示領域Sm,n位置座標との重み付け定数となる。まず時間tをゼロにセットし(S213)。姿勢センサ123はX方向の回転角度θとY方向の回転角度φを検出し、検出結果を制御部125へ通知する(S214)。
制御部125は以下の計算を行う(S215)。
m=m+αθ
n=n+βφ
制御部125は、更に、領域Sの座標へ対応させるため‘m’と‘n’のそれぞれの小数点以下を切り捨てる以下の計算を行う。
m=int(m)
n=int(n)
この計算により、新たな‘m’と‘n’の値を算出する(S216)。
次に時間tが時間Tへ至った場合(S217:No)は領域Sm,nを表示器121へ表示する(S218)。
携帯端末120は、指定した領域(Sm,n)が表示された状態で、ユーザから、全体画像へ戻す指示あるいは別の動画像の再生指示が入力されなかった場合(S219:No)、ステップS207へ戻り指定された領域のIDをサーバへ送信する動作を実施する。
すなわち回転角度θとφを決められた任意の時間Tごとに検出し、その角度に定数αとβで重み付けられた値の領域Sm,nを順次表示器121に表示することができる。従ってユーザは携帯端末120を傾きに応じた分だけ離れた位置の動画像を逐次得られる。すなわち直感的に所望の位置の動画像を表示器121に現すことができる。ユーザから、全体画像へ戻す指示あるいは別の動画像の再生指示が入力された場合(S219:Yes)、指示された動画像のID情報を画像演算サーバ130へ通知する(S202)。
本発明の実施形態によれば、携帯端末120内に姿勢センサ123を具備する。携帯端末120の表示器121面の上下方向に延びる軸をX軸、表示器121面の左右方向に延びる軸をY軸とする。姿勢センサ123は、X軸回りの回転角度θとY軸回りの回転角度φとを検出し、それら回転角度θ、φに重み付けをした値に応じて領域Sm,nの座標を指定する。 従って回転角度に応じた座標位置の領域Sm,nを表示器121に表示でき、ユーザは直感的に所望の領域の動画像を表示させることができる。
上記実施形態では、携帯端末120に表示されている動画像から単一の領域が指定されたが、指定可能な領域は、分割領域1つ分に限られない。指定可能な領域は、隣接する複数の分割領域により構成されてもよい。分割の形式は、水平方向又は垂直方向の何れか一方による分割、あるいは、部分的に重なり合う複数の円形領域による分割等、メッシュ状以外の形式であってもよい。Webカメラ装置110のレンズは魚眼レンズ111に限らず、全方位画像を撮影可能であれば、他の仕様の広角レンズであってもよい。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2010年10月13日に出願された日本出願特願2010−230474を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、動画像配信システム及び動画像配信方法に適用できる。これらのシステム及び方法によれば、表示端末の回転角度に応じた座標位置の領域を表示器に表示できる。
100 動画像配信システム
110 Webカメラ装置
111 魚眼レンズ
112 撮像素子
113 信号処理部
114 記憶部
115 制御部
120 携帯端末
121 表示器
122 キー部
123 姿勢センサ
124 記憶部
125 制御部
130 画像演算サーバ
131 演算部
132 記憶部
133 制御部
140 通信回線

Claims (2)

  1. ディジタル撮影した動画像を配信する動画像配信システムであって、
    撮像装置とサーバ装置と端末装置とを備え、
    前記撮像装置は、
    広角レンズにより全方位の動画像を撮影する撮像部と、
    前記撮像部が撮影した動画像を構成するフレームデータ群を前記サーバ装置へ送信する制御部と
    を有し、
    前記サーバ装置は、
    前記撮像装置からのフレームデータ群の各フレームデータが表す画像を複数の領域に分割し、各領域の画像を正像に変換して、領域別の部分データ群を得る演算部と、
    前記撮像装置からのフレームデータ群を蓄積し且つ前記部分データ群を領域別に蓄積する記憶部と、
    前記端末装置から要求された動画像のフレームデータ群及び前記動画像に関し前記端末装置から要求された領域の部分データ群を前記記憶部から選択して前記端末装置に送信する制御部と
    を有し、
    前記端末装置は、
    動画像を再生する表示器と、
    前記端末装置の回転角度情報を検出する姿勢センサと、
    再生すべき動画像の識別情報、及び前記動画像に関しユーザが指定する領域の識別情報を前記サーバ装置へ送信し、当該送信に応じて前記サーバ装置から受信した部分データ群を参照して、前記姿勢センサによる回転角度情報の検出時間が所定時間に達したときの回転角度情報に基づいて算出される領域に対応する部分データの動画像を前記表示器に表示する制御部と
    を有する動画像配信システム。
  2. ディジタル撮影した動画像を配信する動画像配信方法であって、
    広角レンズにより撮影した全方位の動画像を構成するフレームデータ群をサーバ装置へ蓄積する段階と
    前記フレームデータ群の各フレームデータが表す画像を複数の領域に分割する分割し、各領域の画像を正像に変換して、前記サーバ装置において、領域別の部分データ群を得る段階と
    前記部分データ群を領域別に前記サーバ装置へ蓄積する段階と
    端末装置により再生すべき動画像の識別情報を前記サーバ装置へ送信する段階と
    前記識別情報に対応する動画像のフレームデータ群を前記サーバ装置から前記端末装置へ送信する段階と
    前記サーバ装置から送信されたフレームデータ群を用いて動画像を前記端末装置により再生する段階と
    前記端末装置により再生された動画像に関し、ユーザが指定する領域の識別情報を前記サーバ装置へ送信する段階と
    前記指定された領域の識別情報に対応する部分データ群を前記サーバ装置から前記端末装置へ送信する段階と
    前記サーバ装置から送信された部分データ群を参照し、姿勢センサによる回転角度情報の検出時間が所定時間に達したときの回転角度情報に基づいて算出される領域に対応する部分データの動画像を前記端末装置により再生する段階と
    を含む動画像配信方法。
JP2012538610A 2010-10-13 2011-09-15 動画像配信システム、及び動画像配信方法 Expired - Fee Related JP5935694B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010230474 2010-10-13
JP2010230474 2010-10-13
PCT/JP2011/071066 WO2012049941A1 (ja) 2010-10-13 2011-09-15 動画像配信システム、及び動画像配信方法

Publications (2)

Publication Number Publication Date
JPWO2012049941A1 JPWO2012049941A1 (ja) 2014-02-24
JP5935694B2 true JP5935694B2 (ja) 2016-06-15

Family

ID=45938174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012538610A Expired - Fee Related JP5935694B2 (ja) 2010-10-13 2011-09-15 動画像配信システム、及び動画像配信方法

Country Status (4)

Country Link
US (1) US8887204B2 (ja)
JP (1) JP5935694B2 (ja)
CN (1) CN103262561B (ja)
WO (1) WO2012049941A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5920507B1 (ja) * 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN108389159A (zh) * 2015-06-30 2018-08-10 广东欧珀移动通信有限公司 一种畸变校正方法及终端
MY187351A (en) 2015-07-20 2021-09-22 Huawei Tech Co Ltd Video distribution method and device
KR20170124811A (ko) * 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102598082B1 (ko) 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
EP3319307B1 (en) * 2016-10-27 2023-09-06 Samsung Electronics Co., Ltd. Spherical image display apparatus and method of displaying a spherical image on a planar display
KR20180073327A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
EP3442240A1 (en) * 2017-08-10 2019-02-13 Nagravision S.A. Extended scene view

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11295783A (ja) * 1998-04-07 1999-10-29 Canon Inc 撮像装置及びその制御方法
JP2002268622A (ja) * 2001-03-09 2002-09-20 Denso Corp 携帯端末装置のユーザインターフェース装置
JP2003018561A (ja) * 2001-07-04 2003-01-17 Ricoh Co Ltd 広角画像録画再生システム、会議録画再生システム、広角画像送出装置、会議画像送出装置、広角画像再生装置、会議画像再生装置、広角画像録画再生方法、会議録画再生方法、広角画像送出方法、会議画像送出方法、広角画像再生方法、会議画像再生方法およびプログラム
JP2004166146A (ja) * 2002-11-15 2004-06-10 Seiko Epson Corp ディジタルカメラ
JP2005122100A (ja) * 2003-06-02 2005-05-12 Fuji Photo Film Co Ltd 画像表示システム、画像表示装置およびプログラム
JP2007158892A (ja) * 2005-12-07 2007-06-21 Casio Hitachi Mobile Communications Co Ltd 画像送受信システム、携帯型画像受信装置、画像送信装置及びプログラム
JP2009088850A (ja) * 2007-09-28 2009-04-23 Nec Corp 動画像配信システムおよび動画像配信方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7675563B2 (en) * 2002-11-15 2010-03-09 Seiko Epson Corporation Digital camera
JP4748442B2 (ja) * 2005-03-30 2011-08-17 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2008301091A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 車両用周辺監視装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11295783A (ja) * 1998-04-07 1999-10-29 Canon Inc 撮像装置及びその制御方法
JP2002268622A (ja) * 2001-03-09 2002-09-20 Denso Corp 携帯端末装置のユーザインターフェース装置
JP2003018561A (ja) * 2001-07-04 2003-01-17 Ricoh Co Ltd 広角画像録画再生システム、会議録画再生システム、広角画像送出装置、会議画像送出装置、広角画像再生装置、会議画像再生装置、広角画像録画再生方法、会議録画再生方法、広角画像送出方法、会議画像送出方法、広角画像再生方法、会議画像再生方法およびプログラム
JP2004166146A (ja) * 2002-11-15 2004-06-10 Seiko Epson Corp ディジタルカメラ
JP2005122100A (ja) * 2003-06-02 2005-05-12 Fuji Photo Film Co Ltd 画像表示システム、画像表示装置およびプログラム
JP2007158892A (ja) * 2005-12-07 2007-06-21 Casio Hitachi Mobile Communications Co Ltd 画像送受信システム、携帯型画像受信装置、画像送信装置及びプログラム
JP2009088850A (ja) * 2007-09-28 2009-04-23 Nec Corp 動画像配信システムおよび動画像配信方法

Also Published As

Publication number Publication date
JPWO2012049941A1 (ja) 2014-02-24
US8887204B2 (en) 2014-11-11
US20130247114A1 (en) 2013-09-19
WO2012049941A1 (ja) 2012-04-19
CN103262561A (zh) 2013-08-21
CN103262561B (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
JP5935694B2 (ja) 動画像配信システム、及び動画像配信方法
JP6471777B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4098808B2 (ja) 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム
CN107197137B (zh) 图像处理装置、图像处理方法以及记录介质
JP6787394B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6497965B2 (ja) 画像処理装置及び画像処理方法
CN107948505B (zh) 一种全景拍摄方法及移动终端
JP2013027021A (ja) 全方位撮像装置及び全方位撮像方法
JP7086552B2 (ja) 情報処理装置、撮像装置、情報処理方法及びプログラム
JP2019054369A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP5847591B2 (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
JP6593922B2 (ja) 画像監視システム
JP2009088850A (ja) 動画像配信システムおよび動画像配信方法
US20200167948A1 (en) Control system, method of performing analysis and storage medium
KR101763938B1 (ko) 위치정보 기반의 영상데이터의 처리 방법 및 장치
JP6625341B2 (ja) 動画検索装置、動画検索方法、およびプログラム
JP6679784B2 (ja) 画像処理装置及び画像処理方法
JP2010074400A (ja) 構図判定装置、構図判定方法、プログラム
JP6347943B2 (ja) 画像出力装置、画像出力方法、およびプログラム
JP6234200B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5397245B2 (ja) 情報処理装置および情報処理方法
JP2021141533A (ja) 姿勢調整システムおよび姿勢調整方法、画像処理装置およびその制御方法、ならびにプログラム
JP2023120679A (ja) 電子機器、電子機器の制御方法、プログラム
JP2005286925A (ja) カメラ撮影領域情報の登録方法
JP2015149676A (ja) 撮像装置及び再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140806

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R150 Certificate of patent or registration of utility model

Ref document number: 5935694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees