JPWO2018003081A1 - 全天球カメラ撮像画像表示システム、方法及びプログラム - Google Patents

全天球カメラ撮像画像表示システム、方法及びプログラム Download PDF

Info

Publication number
JPWO2018003081A1
JPWO2018003081A1 JP2018524677A JP2018524677A JPWO2018003081A1 JP WO2018003081 A1 JPWO2018003081 A1 JP WO2018003081A1 JP 2018524677 A JP2018524677 A JP 2018524677A JP 2018524677 A JP2018524677 A JP 2018524677A JP WO2018003081 A1 JPWO2018003081 A1 JP WO2018003081A1
Authority
JP
Japan
Prior art keywords
captured image
omnidirectional camera
captured
image display
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018524677A
Other languages
English (en)
Other versions
JP6427300B2 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Application granted granted Critical
Publication of JP6427300B2 publication Critical patent/JP6427300B2/ja
Publication of JPWO2018003081A1 publication Critical patent/JPWO2018003081A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals

Abstract

【課題】ある日の天候における、使用者にとっての最適な情報を提案する全天球カメラ撮像画像表示システム、方法及びプログラムを提供する。
【解決手段】全天球カメラ撮像画像表示システム1は、全天球カメラ5で撮像された360度の撮像画像を、複数の端末30に表示し、全天球カメラ5で撮像された360度の撮像画像を取得する撮像画像取得モジュール14と、取得された撮像画像を複数の端末30に配信する撮像画像配信モジュール25と、複数の端末30のそれぞれのユーザから、操作入力を受け付ける操作入力受付モジュール38と、受付けたそれぞれのユーザからの操作入力に基づいて、配信された撮像画像の360度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示モジュール39と、を備える。
【選択図】図1

Description

本発明は、全天球カメラで撮像された360度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システム、方法及びプログラムに関する。
近年、レンズの位置を中心に360度の範囲を撮像可能な全天球カメラが普及している。このような全天球カメラは、広範囲の撮像が可能なため、様々な状況で利用されている。
例えば、構造物の点検装置は、無線操縦式の回転翼機に、構造物表面の画像を連続的に撮影する全天球カメラが搭載され、全天球カメラで撮影された画像が、管理端末に送信され、処理部で画像を画像解析して、構造物に不良があるか否かを判定する構造物の点検装置が提案されている(特許文献1参照)。特許文献1の点検装置によれば、全天球カメラを用いることで、構造物表面を、より広範囲に撮像できる。
特開2015−194069号公報
しかしながら、特許文献1の点検装置では、全天球カメラで撮影された画像は限られた端末にだけ送信するが、全天球カメラの利用状況によっては、この全天球カメラで撮影された画像を、多数の端末に送信したい場合がある。例えば、コンサートやスポーツ競技の様子を全天球カメラで撮像し、この全天球カメラで撮像された360度の画像を多数の端末に配信することで、コンサート開場やスポーツ競技場等にいない者も、コンサート開場やスポーツ競技場等の様子を、多様な角度から視ることができる。
本発明は、これらの課題に鑑み、全天球カメラで撮影した同一の360度の画像を複数人の複数の独立した視点で見ることが可能となる全天球カメラ撮像画像表示システム、方法及びプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第1の特徴に係る発明は、
全天球カメラで撮像された360度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムであって、
前記全天球カメラで撮像された360度の撮像画像を取得する撮像画像取得手段と、
前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段と、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段と、
前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の360度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システムを提供する。
第1の特徴に係る発明によれば、複数のユーザ端末のそれぞれのユーザからの操作入力に基づいて、全天球カメラで撮像された撮像画像の内の任意の一部分を、それぞれユーザ端末に表示できる。したがって、全天球カメラで撮影した同一の360度の画像を複数人の複数の独立した視点で見ることが可能となる全天球カメラ撮像画像表示システムを提供できる。
第1の特徴に係る発明は、システムのカテゴリであるが、方法及びプログラムであっても同様の作用、効果を奏する。
第2の特徴に係る発明は、第1の特徴に係る発明に加え、
前記操作入力受付手段が、前記受付けた操作入力とは異なる操作入力を受付けた場合に、
前記撮像画像表示手段は、前記表示された撮像画像の360度の内の任意の一部分以外の部分を表示することを特徴とする全天球カメラ撮像画像表示システムを提供する。
第2の特徴に係る発明によれば、異なる操作入力を行うことで、撮像画像の360度の内の表示する部分を動かすことができる。したがって、全天球カメラで撮影した同一の360度の画像を複数人の複数の独立した視点を動かして見ることが可能となる全天球カメラ撮像画像表示システムを提供できる。
第3の特徴に係る発明は、第1の特徴に係る発明に加え、
前記それぞれのユーザから要求を受付ける要求受付手段と、
前記受付けた要求に基づく要求画像を、前記それぞれのユーザが操作するユーザ端末に配信する要求画像配信手段と、を備え、
前記撮像画像表示手段は、前記配信された要求画像を、前記それぞれのユーザが操作するユーザ端末に表示することを特徴とする全天球カメラ撮像画像表示システムを提供する。
第3の特徴に係る発明によれば、それぞれのユーザからの要求に基づく要求画像を、それぞれのユーザが操作するユーザ端末に表示することできる。したがって、全天球カメラで撮影した同一の360度の画像を複数人の複数の独立した要求に基づく視点で見ることが可能となる全天球カメラ撮像画像表示システムを提供できる。
第4の特徴に係る発明は、第1の特徴に係る発明に加え、
全天球カメラの周囲の音を集音する複数の集音手段と、
前記集音された音を出力する音出力手段と、
前記表示された撮像画像の360度の内の任意の一部分の方向に応じて、前記音出力手段で出力する音を調整する音調整手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システムを提供する。
第4の特徴に係る発明によれば、それぞれのユーザからの操作入力に基づく、撮像画像の360度の内の任意の一部分の方向に応じて、出力する音を調整できる。したがって、全天球カメラで撮影した同一の360度の画像を複数人の複数の独立した視点で見ることが可能であるとともに、この独立した視点に応じた音を聞くことが可能となる全天球カメラ撮像画像表示システムを提供できる。
第5の特徴に係る発明は、第4の特徴に係る発明に加え、
前記音調整手段は、前記複数の集音手段によって集音された音を合成して音を調整することを特徴とする全天球カメラ撮像画像表示システムを提供する。
第5の特徴に係る発明によれば、それぞれのユーザからの操作入力に基づく、撮像画像の360度の内の任意の一部分の方向に応じて、出力する音を、集音された音を合成して調整できる。したがって、全天球カメラで撮影した同一の360度の画像を複数人の複数の独立した視点で見ることが可能であるとともに、集音するマイクが360度に亘って配置されていなくとも、この独立した視点に応じた音を聞くことが可能となる全天球カメラ撮像画像表示システムを提供できる。
第6の特徴に係る発明は、第1の特徴に係る発明に加え、
前記取得された撮像画像のキャッシュを作成するキャッシュ作成手段と、
前記撮像画像配信手段は、前記作成された撮像画像のキャッシュを複数のユーザ端末に配信することを特徴とする全天球カメラ撮像画像表示システムを提供する。
第6の特徴に係る発明によれば、撮像画像のキャッシュを作成し、このキャッシュを複数のユーザ端末に配信するので、取得した撮像画像を、直接、複数のユーザ端末に配信する場合に比べ、全天球カメラ撮像画像表示システムの負荷が分散され、より多くのユーザ端末に安定して撮像画像を配信可能となる。
第7の特徴に係る発明は、第1の特徴に係る発明に加え、
前記撮像画像配信手段は、前記複数のユーザ端末に順次配信することを特徴とする全天球カメラ撮像画像表示システムを提供する。
第7の特徴に係る発明によれば、複数のユーザ端末に、撮像画像を順次配信するので、取得した撮像画像を、複数のユーザ端末に同一のタイミングで配信する場合に比べ、全天球カメラ撮像画像表示システムの負荷が分散され、より多くのユーザ端末に安定して撮像画像を配信可能となる。
第8の特徴に係る発明は、第1の特徴に係る発明に加え、
前記撮像画像配信手段は、前記複数のユーザ端末に均等になるように配信することを特徴とする全天球カメラ撮像画像表示システムを提供する。
第8の特徴に係る発明によれば、複数のユーザ端末に、撮像画像を均等になるように配信するので、複数のユーザ端末のそれぞれに同様のスピードで、撮像画像を配信可能となる。
本発明によれば、全天球カメラで撮影した同一の360度の画像を複数人の複数の独立した視点で見ることが可能となる全天球カメラ撮像画像表示システム、方法及びプログラムを提供することが可能となる。
図1は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム1の概要を説明するための図である。 図2は、全天球カメラ撮像画像表示システム1の機能ブロックと各機能の関係を示す図である。 図3は、全天球カメラ撮像画像表示システム1の機能ブロックと各機能の関係を示す図である。 図4は、全天球カメラ撮像画像表示システム1が実行する撮像画像表示処理のフローチャートである。 図5は、端末30の音調整モジュール40による音調整の一例を説明する図である。 図6は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム1Aの概要を説明するための図である。 図7は、全天球カメラ撮像画像表示システム1Aの画像作成サーバ50の機能ブロックと各機能の関係を示す図である。 図8は、全天球カメラ撮像画像表示システム1Aの画像作成サーバ50が実行する要求画像作成処理のフローチャートである。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
[全天球カメラ撮像画像表示システムの概要]
図1は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム1の概要を説明するための図である。この図1に基づいて、全天球カメラ撮像画像表示システム1の概要を説明する。全天球カメラ撮像画像表示システム1は、撮像画像取得サーバ10と、キャッシュサーバ20と、端末30と、を備え、全天球カメラ5で撮像された360度の撮像画像を、複数の端末30に表示する。
全天球カメラ撮像画像表示システム1において、全天球カメラ5は、例えば、複数の人に見られる特定の被写体を、正面で撮像可能な位置に配置される。具体的には、全天球カメラ5は、コンサート会場の略中央や奏者を正面で撮像可能な位置や、競技場の略中央や選手を正面で撮像可能な位置に配置される。
詳細には、撮像画像取得サーバ10は、全天球カメラ5で撮像された360度の撮像画像を取得し、取得した撮像画像を複数のキャッシュサーバ20に送信する。キャッシュサーバ20は、受信した撮像画像のキャッシュを作成し、作成した撮像画像のキャッシュを複数の端末30に配信する。
複数の端末30は、360度の撮像画像を受信し、それぞれ、端末30を操作するユーザから、操作入力を受け付け、ユーザからの操作入力に基づいて、配信された撮像画像の360度の内の任意の一部分を、表示する。
また、複数の端末30は、ユーザから受付けた操作入力とは異なる操作入力を受付けた場合に、表示された撮像画像の360度の内の任意の一部分以外の部分を表示する。即ち、端末30は、ユーザからの操作入力の態様に応じて、表示する撮像画像の360度の内の任意の一部分を変化させる。
このような全天球カメラ撮像画像表示システム1によれば、複数の端末30のそれぞれのユーザからの操作入力に基づいて、全天球カメラ5で撮像された撮像画像の内の任意の一部分を、それぞれ端末30に表示できる。したがって、全天球カメラ5で撮影した同一の360度の画像を複数人の複数の独立した視点で見ることが可能となる。
また、全天球カメラ撮像画像表示システム1によれば、ユーザが異なる操作入力を行うことで、撮像画像の360度の内の表示する部分を動かすことができる。したがって、全天球カメラで撮影した同一の360度の画像を複数人の複数の独立した視点を動かして見ることが可能となる。
また、全天球カメラ撮像画像表示システム1によれば、キャッシュサーバ20により、撮像画像のキャッシュを作成し、このキャッシュを複数の端末30に配信するので、取得した撮像画像を、直接、撮像画像取得サーバ10から複数の端末30に配信する場合に比べ、全天球カメラ撮像画像表示システム1の負荷が分散され、より多くの端末30に安定して撮像画像を配信可能となる。
[各機能の説明]
図2及び図3は、全天球カメラ撮像画像表示システム1の機能ブロックと各機能の関係を示す図である。図2に示すように、全天球カメラ撮像画像表示システム1において、全天球カメラ5及び複数のマイク6L,6R,6F,6Bは、撮像画像取得サーバ10と有線又は無線により接続されている。撮像画像取得サーバ10と複数のキャッシュサーバ20は、互いに公衆回線網を介してそれぞれ通信可能に接続されている。また、キャッシュサーバ20と複数の端末30は、互いに公衆回線網を介してそれぞれ通信可能に接続されている。
全天球カメラ5は、複数のレンズと撮像素子を備え、複数のレンズをその光軸が放射状に配置し、上下左右全方位の360度の範囲を、複数の撮像素子に結像し、各撮像素子で結像した画像データを、撮像画像取得サーバ10に送信する。
マイク6L,6R,6F,6Bは、マイクロフォンで構成され、集音した音を電気信号に変換する。例えば、全天球カメラ5の中心を通る前後方向と、全天球カメラ5の中心で交差し、前後方向と直交する左右方向を設定した場合に、マイク6Lは、左右方向において、前方に向いて全天球カメラ5の左側近傍に設けられ、マイク6Rは、左右方向において、前方に向いて全天球カメラ5の右側近傍に設けられ、マイク6Fは、前後方向において、全天球カメラ5の前側近傍に設けられ、マイク6Bは、前後方向において、全天球カメラ5の後側近傍に設けられている。マイク6L,6R,6F,6Bは、それぞれ集音した音データを、撮像画像取得サーバ10に送信する。このようなマイク6L,6R,6F,6Bは、全天球カメラの周囲の音を集音する複数の集音手段として機能する。
撮像画像取得サーバ10は、後述の機能を備えた一般的なサーバであり、制御部11として、CPU(Central Processing Unit),RAM(Random Access Memory),ROM(Read Only Memory)等を備え、記憶部12として、ハードディスクや半導体メモリによる、データのストレージ部を備え、通信部13として、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイス又は、第3世代、第4世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。記憶部12は、撮像画像取得プログラム100、全天球カメラ5から取得した複数の画像データやこれら複数の画像データを合成した360度の撮像画像データ、マイク6L,6R,6F,6Bで取得した音データやこれらの音データ、その他、撮像画像取得サーバ10の制御に必要なデータを記憶する。
なお、本実施形態において、全天球カメラ5は、1つであるが、これに限らず、複数設け、例えば、特定の被写体を囲むように配置してもよい。この場合、複数の全天球カメラ5でそれぞれ撮像された画像データに基づく、それぞれの360度の撮像画像データを、撮像画像取得サーバ10や端末30において、選択可能としてもよい。
撮像画像取得サーバ10において、制御部11が撮像画像取得プログラム100を読み込むことで、記憶部12及び通信部13と協働して、撮像画像取得モジュール14及び撮像画像送信モジュール15を実現する。
キャッシュサーバ20は、後述の機能を備えた一般的なサーバであり、撮像画像取得サーバ10と同様に、制御部21として、CPU,RAM,ROM等を備え、記憶部22として、ハードディスクや半導体メモリによる、データのストレージ部を備え、通信部23として、例えば、IEEE802.11に準拠したWiFi対応デバイス又は、第3世代、第4世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。記憶部22は、撮像画像配信プログラム200、撮像画像取得サーバ10から受信した360度の撮像画像データや出力用音データ、その他、キャッシュサーバ20の制御に必要なデータを記憶する。
キャッシュサーバ20において、制御部21が撮像画像配信プログラム200を読み込むことで、記憶部22及び通信部23と協働して、撮像画像受信モジュール24、撮像画像配信モジュール25を実現する。
端末30は、通信部を備えた一般的な情報端末であってよく、後述する機能を備える情報機器であり、例えば、携帯電話、スマートフォン、ネットブック端末、スレート端末、電子書籍端末、電子辞書端末、携帯型音楽プレーヤ、携帯型コンテンツ再生・録画プレーヤといった携帯型端末であってもよいし、パーソナルコンピュータといった据え置き型の端末であってもよい。
図3に示すように、端末30は、撮像画像取得サーバ10と同様に、制御部31として、CPU,RAM,ROM等を備え、記憶部32として、データのストレージ部を備え、通信部33として、例えば、IEEE802.11に準拠したWiFi対応デバイスを備え(有線であってもよい)、入力部34として、タッチパネルやキーボードマウス等による入力手段を備え、表示部35として、タッチパネルやディスプレイ等による表示手段を備え、集音された音を出力する音出力手段である音出力部36として、スピーカ等を備える。記憶部32は、撮像画像表示プログラム300、キャッシュサーバ20から配信された360度の撮像画像データや出力用音データ、その他、端末30の制御に必要なデータを記憶する。
端末30において、制御部31が撮像画像表示プログラム300を読み込むことで、記憶部32及び通信部33と協働して、撮像画像受信モジュール37を実現し、入力部34と協働して、操作入力受付モジュール38を実現し、表示部35と協働して、撮像画像表示モジュール39を実現し、音出力部36と協働して、音調整モジュール40を実現する。
[撮像画像表示処理]
図4は、全天球カメラ撮像画像表示システム1が実行する撮像画像表示処理のフローチャートである。上述した各モジュールが行う処理について、本処理にて併せて説明する。まず、撮像画像取得サーバ10は、全天球カメラ5を制御し、複数のレンズを通して撮像された画像データ及びマイク6L,6R,6F,6Bで集音した音データを受信する。
ステップS1において、撮像画像取得サーバ10の撮像画像取得モジュール14は、全天球カメラ5で撮像された360度の撮像画像を取得する。詳細には、撮像画像取得モジュール14は、全天球カメラ5から受信した複数のレンズを通して撮像された画像データを合成して、360度の撮像画像データを作成し、作成した360度の撮像画像データと、受信した音データと、を対応付けて、記憶部12に記憶する。
ステップS2において、撮像画像取得サーバ10の撮像画像送信モジュール15は、記憶部12に記憶された、360度の撮像画像データ及び音データを、複数のキャッシュサーバ20に送信する。各キャッシュサーバ20の撮像画像受信モジュール24は、撮像画像取得サーバ10から360度の撮像画像データ及び音データを受信する。そして、各キャッシュサーバ20の撮像画像配信モジュール25は、撮像画像受信モジュール24が受信した360度の撮像画像データ及び音データを、複数の端末30に、順次又は均等に配信する。各端末30の撮像画像受信モジュール37は、キャッシュサーバ20から360度の撮像画像データ及び音データを受信する。
ステップS3において、各端末30の撮像画像表示モジュール39は、配信された撮像画像の360度の内の任意の一部分を表示する。詳細には、撮像画像表示モジュール39は、ステップS2で撮像画像受信モジュール37が受信した360度の撮像画像データに基づき、360度の内の任意の一部分の撮像画像(例えば、予め設定された正面を中心とする撮像画像)を表示部35に表示する。また、本ステップにおいて、各端末30の音調整モジュール40は、ステップS2で撮像画像受信モジュール37が受信した音データに基づき、複数のマイク6L,6R,6F,6Bで集音した音データの内の任意の一部分(例えば、予め設定された正面を中心とする撮像画像に対応付けられたマイク6L,6Rで集音した音データ)を、音出力部36から出力する。
ステップS4において、複数の端末30の操作入力受付モジュール38は、それぞれのユーザから、入力部34の操作入力(例えば、表示部35に表示された撮像画像に対する入力部34によるドラッグ操作等)を受け付ける。
ステップS5において、端末30の撮像画像表示モジュール39は、ステップS4で操作入力受付モジュール38が受け付けた入力部34の操作入力に応じて、表示部35に、表示された撮像画像の360度の内の任意の一部分以外の部分を表示する。例えば、撮像画像表示モジュール39は、入力部34の操作入力が、表示部35に表示された撮像画像に対する入力部34による所定方向へのドラッグ操作であった場合、360度の撮像画像データの内、ステップS3で表示部35に表示する範囲を、所定方向へ移動する。
また、本ステップにおいて、各端末30の音調整モジュール40は、ステップS4で操作入力受付モジュール38が受け付けた入力部34の操作入力に応じて、音出力部36から出力している音データの内の任意の一部分以外の部分を出力する。
図5は、端末30の音調整モジュール40による音調整の一例を説明する図である。音調整モジュール40は、360度の撮像画像データの内、ステップS3で表示部35に表示する範囲35aの中心が、全天球カメラの予め設定された正面方向に対して左側90度の位置であれば、マイク6F,6Bで集音した音データを、合成して音出力部36から出力する。
その後、ユーザの入力部34の操作入力により、360度の撮像画像データの内、ステップS3で表示部35に表示する範囲の中心が、全天球カメラ5の予め設定された正面方向に対して左側90度の位置から、当該正面方向を通って、正面方向に対して右側60度の位置(範囲35b)に移動した場合について説明する。この場合、音調整モジュール40は、音出力部36から出力する音データを、マイク6F,6Bで集音した音データから徐々にマイク6L,6Rで集音した音データに移行させ、その後、マイク6Lで集音した音データの音量を下げ、マイク6Rで集音した音データの音量を上げて合成して、音出力部36から出力する。例えば、表示部35に表示された範囲35bの場合、音調整モジュール40は、マイク6L,6Rで集音した音データの音量の割合を、1:3で合成して、音出力部36から出力する。
なお、本実施形態では、マイクを全天球カメラ5を中心とする円上に沿って、90度毎に4つ配置しているが、これに限らず、例えば、より狭い間隔でマイクを配置し、ユーザによる入力部34の操作入力に応じて、音出力部36から出力する音データを集音するマイクを切り替えてもよい。
[応用例]
次に、本実施形態の応用例に係る全天球カメラ撮像画像表示システム1Aについて説明する。図6は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム1Aの概要を説明するための図である。
全天球カメラ撮像画像表示システム1Aは、更に、画像作成サーバ50を備える点が、全天球カメラ撮像画像表示システム1(図1等参照)と異なる。全天球カメラ撮像画像表示システム1Aは、全天球カメラ撮像画像表示システム1の機能に加え、ユーザの要望に応じた撮像画像を作成し、端末30に配信する。
[応用例に係る全天球カメラ撮像画像表示システムの概要]
全天球カメラ撮像画像表示システム1Aは、画像作成サーバ50において、360度の撮像画像データに基づき、特定の被写体や特定のシーンのみの作成撮像画像データを作成する。例えば、全天球カメラ撮像画像表示システム1Aをスポーツ競技大会で用いた場合、画像作成サーバ50は、撮像画像取得サーバ10から受信した360度の撮像画像データに基づき、100m走の競技のみの作成撮像画像データや、特定の選手を追い続けた作成撮像画像データや、開場全体の作成撮像画像データや、観客席の作成撮像画像データ等を作成する。
そして、ユーザは、端末30から、このような画像作成サーバ50が作成した作成撮像画像データのうち、見たい作成撮像画像データを要求する。画像作成サーバ50は、端末30からの要求に応じた作成撮像画像データを、当該端末30に配信する。
[画像作成サーバ50の機能の説明]
図7は、全天球カメラ撮像画像表示システム1Aの画像作成サーバ50の機能ブロックと各機能の関係を示す図である。画像作成サーバ50は、後述の機能を備えた一般的なサーバであり、撮像画像取得サーバ10(図2参照)と同様に、制御部51として、CPU,RAM,ROM等を備え、記憶部52として、ハードディスクや半導体メモリによる、データのストレージ部を備え、通信部53として、例えば、IEEE802.11に準拠したWiFi対応デバイス又は、第3世代、第4世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。記憶部52は、画像作成プログラム500、撮像画像取得サーバ10から受信した360度の撮像画像データや出力用音データ、360度の撮像画像データや出力用音データに基づき作成した作成撮像画像データや作成出力用音データ、その他、画像作成サーバ50の制御に必要なデータを記憶する。
画像作成サーバ50において、制御部51が画像作成プログラム500を読み込むことで、記憶部52及び通信部53と協働して、撮像画像受信モジュール54、要求受付モジュール55、要求画像配信モジュール57を実現し、記憶部52と協働して、要求画像作成モジュール56を実現する。
[要求画像作成処理]
図8は、全天球カメラ撮像画像表示システム1Aの画像作成サーバ50が実行する要求画像作成処理のフローチャートである。上述した各モジュールが行う処理について、本処理にて併せて説明する。
ステップS11において、撮像画像受信モジュール54は、撮像画像取得サーバ10から360度の撮像画像データ及び音データを受信し、記憶部52に記憶する。
ステップS12において、要求受付モジュール55は、複数の端末30それぞれから、ユーザから見たい被写体(例えば、特定の競技、人物、シーン等)についての要求を示す要求情報を受付ける。
ステップS13において、要求画像作成モジュール56は、ステップS12で受信した要求情報に基づく要求画像である作成撮像画像データを、ステップS11で受信した360度の撮像画像データ及び音データから切り出して作成する。
ステップS14において、要求画像配信モジュール57は、ステップS13で作成した作成撮像画像データを、要求情報を送信した端末30に配信する。
そして、端末30は、撮像画像受信モジュール37(図3参照)により作成撮像画像データを受信し、受信した作成撮像画像データを、撮像画像表示モジュール39(図3参照)により表示部35(図3参照)に表示し、作成撮像画像データに含まれる音データを、音調整モジュール40(図3参照)により音出力部36(図3参照)から出力する。
上述した手段、機能は、コンピュータ(CPU,情報処理装置,各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
1 全天球カメラ撮像画像表示システム、5 全天球カメラ、14 撮像画像取得モジュール、25 撮像画像配信モジュール、38 操作入力受付モジュール、39 撮像画像表示モジュール

Claims (10)

  1. 全天球カメラで撮像された360度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムであって、
    前記全天球カメラで撮像された360度の撮像画像を取得する撮像画像取得手段と、
    前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段と、
    前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段と、
    前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の360度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段と、
    を備えることを特徴とする全天球カメラ撮像画像表示システム。
  2. 前記操作入力受付手段が、前記受付けた操作入力とは異なる操作入力を受付けた場合に、
    前記撮像画像表示手段は、前記表示された撮像画像の360度の内の任意の一部分以外の部分を表示することを特徴とする請求項1に記載の全天球カメラ撮像画像表示システム。
  3. 前記それぞれのユーザから要求を受付ける要求受付手段と、
    前記受付けた要求に基づく要求画像を、前記それぞれのユーザが操作するユーザ端末に配信する要求画像配信手段と、を備え、
    前記撮像画像表示手段は、前記配信された要求画像を、前記それぞれのユーザが操作するユーザ端末に表示することを特徴とする請求項1に記載の全天球カメラ撮像画像表示システム。
  4. 全天球カメラの周囲の音を集音する複数の集音手段と、
    前記集音された音を出力する音出力手段と、
    前記表示された撮像画像の360度の内の任意の一部分の方向に応じて、前記音出力手段で出力する音を調整する音調整手段と、
    を備えることを特徴とする請求項1に記載の全天球カメラ撮像画像表示システム。
  5. 前記音調整手段は、前記複数の集音手段によって集音された音を合成して音を調整することを特徴とする請求項4に記載の全天球カメラ撮像画像表示システム。
  6. 前記取得された撮像画像のキャッシュを作成するキャッシュ作成手段と、
    前記撮像画像配信手段は、前記作成された撮像画像のキャッシュを複数のユーザ端末に配信することを特徴とする請求項1に記載の全天球カメラ撮像画像表示システム。
  7. 前記撮像画像配信手段は、前記複数のユーザ端末に順次配信することを特徴とする請求項1に記載の全天球カメラ撮像画像表示システム。
  8. 前記撮像画像配信手段は、前記複数のユーザ端末に均等になるように配信することを特徴とする請求項1に記載の全天球カメラ撮像画像表示システム。
  9. 全天球カメラで撮像された360度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムが実行する方法であって、
    前記全天球カメラで撮像された360度の撮像画像を取得する撮像画像取得ステップと、
    前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信ステップと、
    前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付ステップと、
    前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の360度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示ステップと、
    を含む方法。
  10. 全天球カメラで撮像された360度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムを制御するコンピュータを、
    前記全天球カメラで撮像された360度の撮像画像を取得する撮像画像取得手段、
    前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段、
    前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段、
    前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の360度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段、
    として機能させるためのプログラム。

JP2018524677A 2016-06-30 2016-06-30 全天球カメラ撮像画像表示システム、方法及びプログラム Active JP6427300B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/069506 WO2018003081A1 (ja) 2016-06-30 2016-06-30 全天球カメラ撮像画像表示システム、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6427300B2 JP6427300B2 (ja) 2018-11-21
JPWO2018003081A1 true JPWO2018003081A1 (ja) 2018-12-20

Family

ID=60786206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018524677A Active JP6427300B2 (ja) 2016-06-30 2016-06-30 全天球カメラ撮像画像表示システム、方法及びプログラム

Country Status (3)

Country Link
US (1) US10419671B2 (ja)
JP (1) JP6427300B2 (ja)
WO (1) WO2018003081A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886788B2 (en) * 2021-03-25 2024-01-30 Siemens Industry Software Inc. Duplicate circuit section identification and processing for optical proximity correction (OPC) processes in electronic design automation (EDA) applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011249865A (ja) * 2010-05-21 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> コンテンツサーバ、コンテンツ配信システム、コンテンツ配信方法、およびプログラム
JP2015170866A (ja) * 2014-03-04 2015-09-28 沖電気工業株式会社 コンテンツ配信装置、コンテンツ配信方法及びコンテンツ配信プログラム
JP2015220595A (ja) * 2014-05-16 2015-12-07 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
JP2016010021A (ja) * 2014-06-25 2016-01-18 株式会社リコー 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9876953B2 (en) * 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
JP6648971B2 (ja) 2014-03-27 2020-02-19 株式会社フジタ 構造物の点検装置
JP6620740B2 (ja) * 2014-05-09 2019-12-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3145199A4 (en) 2014-05-16 2018-04-25 Unimoto Incorporated 360-degree video-distributing system, 360-degree video distribution method, image-processing device, and communications terminal device, as well as control method therefor and control program therefor
KR102361088B1 (ko) * 2015-11-27 2022-02-09 한화테크윈 주식회사 영상 공유 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011249865A (ja) * 2010-05-21 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> コンテンツサーバ、コンテンツ配信システム、コンテンツ配信方法、およびプログラム
JP2015170866A (ja) * 2014-03-04 2015-09-28 沖電気工業株式会社 コンテンツ配信装置、コンテンツ配信方法及びコンテンツ配信プログラム
JP2015220595A (ja) * 2014-05-16 2015-12-07 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
JP2016010021A (ja) * 2014-06-25 2016-01-18 株式会社リコー 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム

Also Published As

Publication number Publication date
US20190166311A1 (en) 2019-05-30
JP6427300B2 (ja) 2018-11-21
WO2018003081A1 (ja) 2018-01-04
US10419671B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
JP6094190B2 (ja) 情報処理装置および記録媒体
JP5992210B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US10871800B2 (en) Apparatuses and methods for linking mobile computing devices for use in a dual-screen extended configuration
US20130176403A1 (en) Heads up display (HUD) sensor system
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
JP2013093840A (ja) ポータブル端末における立体データ生成装置及び方法並びに電子装置
US10156898B2 (en) Multi vantage point player with wearable display
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
US10998870B2 (en) Information processing apparatus, information processing method, and program
US10664128B2 (en) Information processing apparatus, configured to generate an audio signal corresponding to a virtual viewpoint image, information processing system, information processing method, and non-transitory computer-readable storage medium
JP2018116537A (ja) 情報処理装置、情報処理方法及びプログラム
TW201734948A (zh) 用於在廣角圖像系統中生成相關的音頻和視覺信號的方法、系統及設備
CN111492342B (zh) 音频场景处理
WO2023125847A1 (zh) 一种音频处理方法、系统及相关装置
JP2022533755A (ja) 空間オーディオをキャプチャする装置および関連する方法
JP6410769B2 (ja) 情報処理システム及びその制御方法、コンピュータプログラム
KR101784095B1 (ko) 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
CN108184130B (zh) 模拟器系统、直播方法、装置及存储介质
CN113573120A (zh) 音频的处理方法及电子设备
WO2023231787A1 (zh) 音频处理方法和装置
WO2018003081A1 (ja) 全天球カメラ撮像画像表示システム、方法及びプログラム
JP2018019295A (ja) 情報処理システム及びその制御方法、コンピュータプログラム
JP6711118B2 (ja) 画像管理システム、プログラム及び情報端末
JP2018157314A (ja) 情報処理システム、情報処理方法及びプログラム
JP6664456B2 (ja) 情報処理システム及びその制御方法、コンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180827

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180827

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181026

R150 Certificate of patent or registration of utility model

Ref document number: 6427300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250