JPWO2018159054A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JPWO2018159054A1
JPWO2018159054A1 JP2019502467A JP2019502467A JPWO2018159054A1 JP WO2018159054 A1 JPWO2018159054 A1 JP WO2018159054A1 JP 2019502467 A JP2019502467 A JP 2019502467A JP 2019502467 A JP2019502467 A JP 2019502467A JP WO2018159054 A1 JPWO2018159054 A1 JP WO2018159054A1
Authority
JP
Japan
Prior art keywords
moving image
information
imaging
point
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019502467A
Other languages
English (en)
Other versions
JP7095677B2 (ja
Inventor
浩司 塚谷
浩司 塚谷
祥宏 浅子
祥宏 浅子
大 水落
大 水落
壮一郎 大石
壮一郎 大石
隆夫 熊谷
隆夫 熊谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018159054A1 publication Critical patent/JPWO2018159054A1/ja
Priority to JP2022098169A priority Critical patent/JP7367807B2/ja
Application granted granted Critical
Publication of JP7095677B2 publication Critical patent/JP7095677B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一連の撮像動画における一部の動画部分をユーザに配信するシステムにおいて、動画部分の範囲修正を容易化して動画撮像関係者の負担軽減を図る。本技術に係る情報処理装置は、撮像装置による撮像動画における一部の範囲を、ユーザへの配信対象となる動画部分として指定するイン点及びアウト点の情報を取得する情報取得部と、情報取得部が取得したイン点及びアウト点の情報と撮像動画とを外部装置に対して送信させる送信制御部とを備える。

Description

本技術は、情報処理装置、情報処理方法、及びプログラムに関するものであり、特には、複数の撮像装置による複数の撮像動画それぞれの一部がユーザへの配信対象動画とされる場合に好適な技術に関する。
例えば、下記特許文献1、2に記載されるように、動画の一部を切り出す編集にイン点、アウト点が用いられる。例えば、編集対象の動画(素材動画)について、イン点からアウト点までの範囲以外の動画を削除し、該範囲内の動画部分のみを切り出すという編集が行われる。
なお、関連する従来技術については例えば下記特許文献を挙げることができる。
特開2005−267677号公報 特開2004−104468号公報
ここで、動画配信サービスの一つとして、例えばライブハウス等の所定の撮像環境にて出演者を撮像し、該撮像により得られた動画をサーバ装置から出演者に配信することが考えられる。
例えば、ライブハウスでの演奏イベントは、所定のタイムスケジュールに従って複数の出演者が順次演奏を行っていく形態が採られる場合が多い。個々の出演者は、自身の演奏動画を所要の動画投稿サイトにアップロードして自身のプロモーション等を行うことが考えられる。そこで、演奏イベント全体を撮像し、撮像動画中から個々の出演者の演奏部分を切り出し、切り出した個々の動画部分を対応する出演者の端末に配信するというサービスを展開することが考えられる。
上記のような配信サービスを実現する上では、撮像環境側に設けられた端末装置において個々の出演者の演奏部分ごとにイン点、アウト点の設定を行い、それらイン点、アウト点に従った切り出し後の動画部分をサーバ装置に対して送信することが考えられる。
しかしながら、切り出し後の動画部分をサーバ装置に送信した場合には、後から動画部分の範囲を修正することが困難となる。例えば、或る出演者についてイン点やアウト点の設定を誤り演奏部分の一部が欠けてしまっていても、既に切り出しが完了した状態の動画部分をサーバ装置に送信してしまっているためその修正は困難となる。
この場合には、最悪、撮像のやり直しを行うことも考えられ、出演者を始めとした動画撮像関係者に大きな負担を強いることになる。
また、上記のようなサービスにおいて、出演者への動画配信としては、出演者による編集が可能となるように行うことも考えられる。特に、出演者が自身のプロモーション動画を作成したい場合には、それなりに見栄えがする動画の作成が望ましいため、編集機能を付加することは有効である。
しかしながら、動画の見栄えを優先して編集の自由度を高め過ぎてしまうと、編集作業に係るユーザ負担が増大してしまい、利便性が損なわれ、返って編集機能の利用促進を図ることが困難となる。
本技術は上記の事情に鑑み為されたものであり、第一に、一連の撮像動画における一部の動画部分をユーザに配信するシステムにおいて、動画部分の範囲修正を容易化して動画撮像関係者の負担軽減を図ることを目的とする。
また、本技術は、第二に、編集動画の見栄えの低下防止を図りながら編集に係るユーザ負担の軽減を図り、編集機能の利用促進を図ることを目的とする。
本技術に係る第一の情報処理装置は、撮像装置による撮像動画における一部の動画部分の範囲を指定するイン点及びアウト点の情報を取得する情報取得部と、前記イン点及びアウト点から特定される前記動画部分がユーザへの配信対象動画として管理されるように、前記情報取得部が取得した前記イン点及びアウト点の情報と前記撮像動画とについての外部装置に対する送信制御を行う送信制御部と、を備えるものである。
上記のように撮像動画とイン点及びアウト点の情報が外部装置に送信されるようにしたことで、仮にイン点又はアウト点が誤った位置に設定されていたとしても、正しい動画範囲に修正を行うことが可能とされる。すなわち、イン点、アウト点の設定を誤ったことに伴い撮像のやり直しが発生してしまうことの防止が図られる。
上記した本技術に係る第一の情報処理装置においては、前記送信制御部は、前記撮像動画として、複数の撮像装置による複数の撮像動画を前記外部装置に対して送信させることが望ましい。
これにより、視点切替動画を配信するシステムを実現可能とされる。
上記した本技術に係る第一の情報処理装置においては、前記送信制御部は、前記動画部分と、前記動画部分を識別するための動画部分識別情報とを対応付けて前記外部装置に対して送信させることが望ましい。
これにより、外部装置における動画部分の管理が容易化される。
上記した本技術に係る第一の情報処理装置においては、前記情報取得部は、前記動画部分の配信対象者を識別するための対象者識別情報を取得し、前記送信制御部は、前記動画部分識別情報と前記対象者識別情報とを対応付けて前記外部装置に対して送信させることが望ましい。
これにより、外部装置において動画部分と配信対象者との対応関係を管理することが可能とされる。
上記した本技術に係る第一の情報処理装置においては、前記情報取得部は、前記イン点及びアウト点の情報として、前記撮像動画における異なる複数の前記動画部分をそれぞれ指定する複数組の前記イン点及びアウト点の情報を取得すると共に、前記動画部分ごとの前記対象者識別情報を取得し、前記送信制御部は、前記対象者識別情報が取得された前記動画部分ごとに、前記動画部分識別情報と前記対象者識別情報とを対応付けて前記外部装置に対して送信させることが望ましい。
これにより、各動画部分は、それぞれ異なる対象者識別情報(ユーザ識別情報)が対応付けられて外部装置に送信される。
上記した本技術に係る第一の情報処理装置においては、前記撮像動画中における前記動画部分の時間軸上での位置を表す視覚情報と、前記撮像動画中の時間軸上の位置を指示するためのポインタと、前記ポインタが指示する位置を前記イン点の位置として指示するためのイン点指示操作子と、前記ポインタが指示する位置を前記アウト点の位置として指示するためのアウト点指示操作子とを画面上に表示させる情報表示制御部を備え、前記情報表示制御部は、前記視覚情報における前記動画部分を表す表示領域のうち前記イン点に近い領域と前記アウト点に近い領域とで表示態様を異ならせると共に、前記イン点に近い領域と前記イン点指示操作子の表示態様と、前記アウト点に近い領域と前記アウト点指示操作子の表示態様をそれぞれ一致させることが望ましい。
これにより、イン点、アウト点の修正操作を行う際に、イン点に近い領域の付近にポインタを位置させた際にはイン点指示操作子を操作すべきこと、及びアウト点に近い領域の付近にポインタを位置させた際にはアウト点指示操作子を操作すべきことを明確に表すことが可能とされる。
上記した本技術に係る第一の情報処理装置においては、前記撮像動画に対する前記アウト点の指示が行われたことに応じて、当該指示されたアウト点に対応する前記動画部分についての購入情報入力フォームの生成指示を行う入力フォーム生成指示部を備えることが望ましい。
これにより、撮像動画の録画が終了する前であっても、購入情報入力フォームが生成されてユーザが動画部分の購入手続を行うことが可能とされる。
また、本技術に係る第一の情報処理方法は、撮像装置による撮像動画における一部の範囲を、ユーザへの配信対象となる動画部分として指定するイン点及びアウト点の情報を取得する情報取得ステップと、前記情報取得ステップが取得した前記イン点及びアウト点の情報と前記撮像動画とを外部装置に対して送信させる送信制御ステップと、を情報処理装置が実行するものである。
このような情報処理方法によっても、上記した本技術に係る第一の情報処理装置と同様の作用が得られる。
さらに、本技術に係る第一のプログラムは、上記第一の情報処理方法として実行する処理をコンピュータ装置に実行させるプログラムである。
このプログラムにより上記第一の情報処理装置を実現する。
本技術に係る第二の情報処理装置は、異なる撮像視点から被写体を撮像した複数の撮像動画に基づいて撮像視点が経時的に切り替えられる一つの視点切替動画を生成するための指示として、前記撮像視点の切替間隔の指示を受け付ける指示受付部と、前記切替間隔により区分される前記視点切替動画の各動画区間に用いるべき動画を前記複数の撮像動画のうちからランダムに選択するランダム選択部と、を備えるものである。
上記構成によれば、ユーザが少なくとも撮像視点の切替間隔を指示するだけで、撮像視点が経時的にランダムに切り替えられる視点切替動画が生成される。
上記した本技術に係る第二の情報処理装置においては、前記指示受付部は、前記視点切替動画として生成すべき動画の全体時間長の指示を受け付けると共に、指示された前記全体時間長に基づいて計算した前記切替間隔の情報をユーザに提示することが望ましい。
これにより、視点切替動画の時間長に応じた適切とされる視点切替間隔をユーザに提示することが可能とされる。
上記した本技術に係る第二の情報処理装置においては、前記撮像動画には音情報が付帯され、前記指示受付部は、前記音情報の音特性に基づいて計算した前記切替間隔の情報をユーザに提示することが望ましい。
これにより、視点切替動画と共に再生される音情報の音特性に応じた適切とされる視点切替間隔をユーザに提示することができる。
上記した本技術に係る第二の情報処理装置においては、前記ランダム選択部は、前記視点切替動画の各動画区間に用いるべき動画の少なくとも一つとして前記撮像動画の一部の画素領域を拡大した拡大動画を選択することが望ましい。
これにより、切替可能な視点数を増加させることができる。
上記した本技術に係る第二の情報処理装置においては、前記ランダム選択部は、前記視点切替動画の各動画区間に用いるべき動画として前記拡大動画を用いるか否かをランダムに選択することが望ましい。
これにより、撮像視点の切り替えのランダム性が増す。
上記した本技術に係る第二の情報処理装置においては、前記指示受付部は、前記ランダム選択部による前記選択の再実行指示の受け付けを行うことが望ましい。
各動画区間に用いるべき動画のランダムな選択が実行し直されることで、ユーザの意図に沿った視点切替動画に生成し直すことが可能とされる。
上記した本技術に係る第二の情報処理装置においては、前記指示受付部は、前記複数の撮像動画以外の動画を指定する指示を受け付け、前記指示された動画と前記ランダム選択部による選択結果とが外部装置に送信されるように制御する動画送信制御部を備えることが望ましい。
これにより、視点切替動画に対して任意の動画を連結させた動画を外部装置に生成させることが可能とされる。
上記した本技術に係る第二の情報処理装置においては、被写体を撮像する撮像部を備え、前記指示受付部は、前記撮像部により撮像された動画のうちから前記視点切替動画に連結されるべき動画の指定指示を受け付けることが望ましい。
これにより、視点切替動画に任意動画を連結させた動画を得るにあたり、ユーザは、連結対象動画を例えばスマートフォン等のカメラ付き携帯端末を用いて手軽に得ることが可能とされる。
上記した本技術に係る第二の情報処理装置においては、外部装置からデータ軽量化処理の施された前記複数の撮像動画を取得する撮像動画取得部と、前記データ軽量化処理の施された前記複数の撮像動画に基づき、前記ランダム選択部による選択結果に従った前記視点切替動画の表示制御を行う動画表示制御部と、を備えることが望ましい。
これにより、情報処理装置における視点切替動画の表示に係る処理負担の軽減が図られる。
また、本技術に係る第二の情報処理方法は、異なる撮像視点から被写体を撮像した複数の撮像動画に基づいて撮像視点が経時的に切り替えられる一つの視点切替動画を生成するための指示として、前記撮像視点の切替間隔の指示を受け付ける指示受付ステップと、前記切替間隔により区分される前記視点切替動画の各動画区間に用いるべき動画を前記複数の撮像動画のうちからランダムに選択するランダム選択ステップと、を情報処理装置が実行するものである。
このような情報処理方法によっても、上記した本技術に係る第二の情報処理装置と同様の作用が得られる。
さらに、本技術に係る第二のプログラムは、上記第二の情報処理方法として実行する処理をコンピュータ装置に実行させるプログラムである。
このプログラムにより上記第二の情報処理装置を実現する。
本技術によれば、第一に、一連の撮像動画における一部の動画部分をユーザに配信するシステムにおいて、動画部分の範囲修正を容易化して動画撮像関係者の負担軽減を図ることができる。
また、本技術によれば、第二に、編集動画の見栄えの低下防止を図りながら編集に係るユーザ負担の軽減を図り、編集機能の利用促進を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施形態で前提とする動画配信システムの例を示した図である。 撮像装置による撮像動作の開始指示操作、及び初期チャプタマークの指示入力操作に係る画面遷移の説明図である。 チャプタマークの修正操作、及び撮像動画のアップロード操作に係る画面遷移についての説明図である。 撮像動画の購入受付に係る動作について説明図である。 購入情報入力フォームの生成タイミングについての説明図である。 視点切替動画の購入が行われた場合における撮像動画の変遷の様子を模式的に示した図である。 実施形態におけるコンピュータ装置のハードウェア構成を示したブロック図である。 制御端末が実現する第一実施形態としての各種機能について説明するための機能ブロック図である。 初期チャプタマークとしてのイン点及びアウト点の指示操作受付に係る処理を示したフローチャートである。 初期チャプタマークの修正操作受付に係る処理を示したフローチャートである。 ライブIDと動画部分IDの生成に係る処理を示したフローチャートである。 動画部分の購入情報入力受付に係る処理を示したフローチャートである。 実施形態におけるサーバ装置が実行する処理を示したフローチャートである。 視点切替動画を生成する際の動画編集に係る画面例を示した図である。 ユーザ端末が実現する第一実施形態としての各種機能について説明するための機能ブロック図である。 撮像視点の切替周期(視点切替周期)と視点切替動画における動画区間との関係を模式的に表した図である。 図20と共に第一実施形態としてのユーザ端末が実行すべき処理を示すフローチャートである。 第一実施形態における入力操作に応じた処理(S504)を説明するためのフローチャートである。 第一実施形態における入力情報に応じた視点切替動画の生成処理(S506)の例を示したフローチャートである。 図17と共に第一実施形態としてのユーザ端末が実行すべき処理を示すフローチャートである。 第二実施形態としてのユーザ端末が行うべき処理を示したフローチャートである。 拡大動画についての説明図である。 第三実施形態としてのユーザ端末が行うべき処理を示したフローチャートである。 追加動画の指示操作に係る画面表示の例を示した図である。 図26と共に第四実施形態としてのユーザ端末が実行すべき処理を示すフローチャートである。 図25と共に第四実施形態としてのユーザ端末が実行すべき処理を示すフローチャートである。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図29に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

<1.第一実施形態>
[1-1.動画配信システムの構成概要]
[1-2.動画配信システムの動作概要]
[1-3.コンピュータ装置のハードウェア構成]
[1-4.制御端末の機能]
[1-5.制御端末、撮像管理端末、及びサーバ装置の処理]
[1-6.視点切替動画の生成]
[1-7.ユーザ端末の機能]
[1-8.ユーザ端末の処理]
[1-9.第一実施形態のまとめ]
<2.第二実施形態>
[2-1.ユーザ端末の機能]
[2-2.ユーザ端末の処理]
[2-3.第二実施形態のまとめ]
<3.第三実施形態>
[3-1.ユーザ端末の機能]
[3-2.ユーザ端末の処理]
[3-3.第三実施形態のまとめ]
<4.第四実施形態>
[4-1.ユーザ端末の機能]
[4-2.ユーザ端末の処理]
[4-3.第四実施形態のまとめ]
<5.プログラム>
<6.変形例>
<7.第一応用例>
<8.第二応用例>
<9.本技術>
<1.第一実施形態>
[1-1.動画配信システムの構成概要]

図1に、本実施形態で前提とする動画配信システムの例を示す。
動画配信システムは、イベント会場Siに設けられた制御端末1を始めとした各装置と、サーバ装置9とユーザ端末10とを少なくとも備えている。サーバ装置9とユーザ端末10は、コンピュータを備えた装置とされ、例えばインターネットとされたネットワーク8を介して互いにデータ通信を行うことが可能とされている。
イベント会場Siは、本例ではライブハウスとされる。図示は省略したが、ライブハウスとしてのイベント会場Siには、出演者が演奏や歌唱を行う場としてのステージと、観客等がステージ上の出演者を観覧する場としての観覧スペースとが少なくとも設けられている。
イベント会場Siには、上記した制御端末1と共に、複数の撮像装置2と、撮像装置2ごとに設けられた中継器3と、ルータ装置4と、撮像管理端末5と、ストレージ装置6と、回線終端装置7とが設けられている。
各撮像装置2は、動画撮像が可能なカメラ装置として構成されている。撮像装置2はマイクロフォンを備え、該マイクロフォンによる集音信号に基づく音情報を付帯させた撮像動画を生成することが可能とされている。
本例のイベント会場Siでは、撮像装置2は少なくとも三つ設けられ、それぞれがステージ上を撮像可能な位置に設置されている。三つの撮像装置2はそれぞれ撮像視点が異なり、うち一つはステージ正面、他の一つはステージ正面よりも右側、残り一つはステージ正面よりも左側に設置され、ステージ上の出演者をそれぞれ正面アングル、右側アングル、左側アングルにより撮像することが可能とされている。
以下、正面アングルとしての撮像視点により撮像を行う撮像装置2を「第一カメラ」、右側アングルとしての撮像視点により撮像を行う撮像装置2を「第二カメラ」、左側アングルとしての撮像視点により撮像を行う撮像装置2を「第三カメラ」と表記する。
ルータ装置4は、例えば無線LAN(Local Area Network)ルータとして構成され、イベント会場Siに構築されたLAN内の各装置間での通信を可能としたり、該LANに接続された装置と外部装置とのネットワーク8を介した通信を可能とする機能を有している。本例のルータ装置4はLAN端子を有し、LANケーブルを用いた有線接続にも対応している。
回線終端装置7は、例えばONU(Optical Network Unit:光回線終端装置)とされ、ネットワーク8側から入力される光信号を所定形式による電気信号(デジタル信号)に変換したり、ルータ装置4側から入力される電気信号を光信号に変換してネットワーク8側に出力する。
中継器3は、撮像装置2及びルータ装置4と接続され、撮像装置2とルータ装置4との間でやり取りされる信号についての中継を行う。例えば、撮像装置2による撮像動画に基づく動画データは、中継器3を介してルータ装置4に転送される。
制御端末1は、コンピュータ装置を有して構成され、イベント会場SiのLANに接続された外部装置との間でデータ通信を行うことが可能に構成されている。制御端末1は、例えばタブレット型情報処理端末とされ、イベント会場Siのスタッフ等が撮像装置2を用いた動画撮像に係る操作入力(例えば撮像の開始、終了等の操作入力)を行うための端末として用いられる。
本例では、制御端末1は無線によりルータ装置4と接続されるが、ルータ装置4との接続は有線接続であってもよい。
ストレージ装置6は、コンピュータ装置を有して構成され、各種情報を記憶する。ストレージ装置6はルータ装置4に接続され、ルータ装置4を経由して入力される各種情報を記憶したり、記憶情報を読み出してルータ装置4側に出力する。
本例では、ストレージ装置6は主として各撮像装置2による撮像動画を記憶する(つまり撮像動画を録画する)ための装置として用いられる。
撮像管理端末5は、コンピュータ装置を有して構成され、イベント会場SiのLANに接続された外部装置との間でデータ通信を行うことが可能に構成されると共に、ネットワーク8を介して外部装置(特にサーバ装置9)との間で通信を行う機能を有している。
撮像管理端末5は、例えばパーソナルコンピュータとして構成され、制御端末1を介した操作入力や自身に接続された例えばマウス等の操作入力デバイスを用いた操作入力に基づいて、撮像装置2による撮像動画を管理するための各種処理を行う。この各種処理には、各撮像装置2が撮像しストレージ装置6に記憶された撮像動画をサーバ装置9に送信(アップロード)するための処理や、撮像動画の購入に係る処理も含まれる。
ユーザ端末10は、本例ではイベント会場Siでライブを行った出演者が使用する端末装置として想定しており、例えばスマートフォン等の情報処理端末として構成されている。本例のユーザ端末10は、被写体を撮像して撮像動画を得る撮像部10aを備えている。
実施形態の動画配信システムでは、各撮像装置2による撮像動画がサーバ装置9にアップロードされ、サーバ装置9から該アップロードされた撮像動画に基づく動画がユーザ端末10に配信される。具体的に、ユーザ端末10には、各撮像装置2による撮像動画、すなわち異なる撮像視点で撮像された複数の撮像動画に基づいて生成された視点切替動画が配信されるが、これについては後に改めて説明する。
なお、図1において、ネットワーク8の構成は多様な例が想定される。例えば、インターネットを始めとして、イントラネット、エキストラネット、LAN(Local Area Network)、CATV(Community Antenna TeleVision)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が想定される。
またネットワーク8の全部又は一部を構成する伝送媒体についても多様な例が想定される。例えばIEEE(Institute of Electrical and Electronics Engineers)1394、USB(Universal Serial Bus)、電力線搬送、電話線等の有線でも、IrDA(Infrared Data Association)のような赤外線、ブルートゥース(登録商標)、802.11無線、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
[1-2.動画配信システムの動作概要]

続いて、上記構成による動画配信システムにおける動作の概要を図2乃至図6を参照して説明する。
図2は、撮像装置2による撮像動作の開始指示操作、及び初期チャプタマークの指示入力操作に係る画面遷移の説明図である。
前述のように、ライブハウスにおけるライブイベントは、所定のタイムスケジュールに従って個々の出演者が順次演奏(歌唱を伴う場合もある)を行う形態が採られる。本実施形態では、このように個々の出演者が順次演奏を行った場合において、撮像動画における各出演者の演奏部分をイン点及びアウト点としてのチャプタマークにより区分し、区分された各動画部分を各出演者の購入対象動画部分として管理する。
なお、ここで言う「出演者の演奏部分」は、出演者が出演中である部分と換言できるものであり、例えば1出演につき複数曲を演奏する場合は、該複数曲の演奏開始から演奏終了までの部分を意味するものである。
但しこの場合において、各出演者の演奏部分をリアルタイムで(撮像に並行して)厳密に区分けすることは困難である。そこで、本実施形態では、撮像終了後(録画終了後)におけるチャプタマークの再付与(修正)を可能とし、リアルタイムでは、「初期チャプタマーク」としての、出演者ごとの動画部分がおおまかに区分できる程度のチャプタマーク付与を行う。
このとき、素材としての(母体としての)撮像動画については、必要部分の漏れが生じないように、撮像開始タイミング(録画開始タイミング)は1番目の出演者の演奏開始よりも十分に前のタイミングとし、撮像終了タイミング(録画終了タイミング)は最後の出演者の演奏終了よりも十分に後のタイミングとなるようにする。
上記前提を踏まえ、図2について説明する。
先ず、本例では、撮像装置2の撮像動作に係る操作(開始や終了の指示)、及び初期チャプタマークの指示入力操作は、イベント会場Siにおけるスタッフが制御端末1に対して行うものとする。すなわち、図2に示す画面遷移は、制御端末1における画面遷移を表している。
本例における制御端末1には、図2に示すような画面表示を行って操作入力を受け付けるためのアプリ(アプリケーションプログラム)がインストールされている。以下、該アプリを「制御操作アプリAp1」と表記する。
イベント会場Siのスタッフは、各撮像装置2による撮像動作(撮像動画の録画動作)を開始させるにあたっては、制御端末1に対する操作入力を行って制御操作アプリAp1を起動させる。すると、制御端末1には図2Aに示すようなトップ画面G11が表示される。トップ画面G11においては、新規ライブ撮影、ライブ一覧の何れかを選択することが可能とされる。ライブ一覧が選択操作されると、ストレージ装置6に録画済みの撮像動画の一覧が表示される。
新規ライブ撮影が選択されると、図2Bに示すステータス画面G12が表示される。ステータス画面G12では、インターネットの接続状態、ディスク残量(ストレージ装置6の記憶可能容量)、及びカメラ映像として各撮像装置2による現在の撮像画像が表示される。なお、図中では撮像装置2が四つ設けられた場合を例示している。本例では、カメラ映像としては静止画像が表示され、図中の「映像更新」ボタンが操作されると各撮像装置2に画像更新指示が行われて、最新の撮像画像が制御端末1に転送され、表示画像の更新が行われる。
また、ステータス画面G12には、ステータスの確認が完了した旨を指示入力するための「OK」ボタンも表示されている。
上記「OK」ボタンが操作されると、図2Cに示すように録画の開始指示を行うための「開始」ボタンB1を表示した開始操作画面G13が表示され、「開始」ボタンが操作B1されると、制御端末1が撮像管理端末5に対して録画の開始指示を行う。
該録画の開始指示に応じ、撮像管理端末5は各撮像装置2による撮像動画がストレージ装置6に記憶されるように制御を行う。つまりこれにより、各撮像装置2による撮像動画の録画が開始される。
また、「開始」ボタンB1が操作されると、制御端末1においては、図2Dに示すような開始後操作画面G14が表示される。開始後操作画面G14には、「イン点設定」ボタンB2、「アウト点設定」ボタンB3、及び「撮影終了」ボタンB4が表示されている。
「イン点設定」ボタンB2、「アウト点設定」ボタンB3は、撮像動画について、上述した初期チャプタマークとしてのチャプタマークを付与するためのボタンとされる。イベント会場Siのスタッフは、出演者の演奏部分が開始、終了するごとに、「イン点設定」ボタンB2、「アウト点設定」ボタンB3をそれぞれ操作して、初期チャプタマークとしてのイン点、アウト点のタイミングを制御端末1に指示入力することができる。
また、該スタッフは、「撮影終了」ボタンB4を操作することで、各撮像装置2による撮像動画の録画終了を制御端末1に指示入力できる。該指示入力に応じ、制御端末1は撮像管理端末5に対して録画の終了指示を行う。
該録画の終了指示に応じ、撮像管理端末5は各撮像装置2による撮像動画のストレージ装置6への録画動作を終了させる制御を行う。
続いて、チャプタマークの修正操作、及び撮像動画のアップロード操作に係る画面遷移について図3を参照して説明する。
図3Aは、チャプタマークの修正操作画面G15の例を示している。
本例では、チャプタマークの修正操作、及び録画された撮像動画をサーバ装置9にアップロードするための操作としても、制御端末1が受け付けるものとする。具体的に、本例では、上述した制御操作アプリAp1にこれらの操作受付機能が実装されている。
スタッフは、録画済み撮像動画についてチャプタマークを修正しようとしたときは、制御操作アプリAp1を起動させ先の図2Aに示したトップ画面G11が表示された状態において、ライブ一覧を選択し、これに応じ表示される録画済みの撮像動画の一覧から該当する撮像動画を選択する。
図3Aに示すように修正操作画面G15には、撮像動画についてのプレビュー画像ipと、撮像動画全体の長さ(時間長)を表す全長バーbaと、全長バーba内において指示中のチャプタマーク(初期チャプタマークを含む)により区分される動画部分を表す動画部分表示バーbpと、撮像動画に付帯された音情報の波形を全長バーbaと時間同期して表す波形情報awとが表示される。
また、修正操作画面G15には、イン点、アウト点の位置を指示するためのスライダSLと、チャプタマークを修正する対象としての動画部分を選択するための対象選択ボタンB5と、スライダSLにより示される位置をイン点として設定する指示を行うための「イン点設定」ボタンB6と、スライダSLにより示される位置をアウト点として設定する指示を行うための「アウト点設定」ボタンB7と、イン点及びアウト点を確定するための「確定」ボタンB8とが表示される。
図3Aでは、初期チャプタマークとして2組のイン点及びアウト点が指定された場合の例を示しており、動画部分表示バーbpとしては二つが表示され、対象選択ボタンB5としては1番目の動画部分、2番目の動画部分をそれぞれ選択するためのボタンが表示されている。
動画部分表示バーbpは、初期チャプタマークを含め、設定中のチャプタマークに応じた動画部分の表示を行う。図中では、設定中の初期チャプタマークに対応した動画部分を表す動画部分表示バーbpが表示されているとする。
チャプタマークの修正を行うにあたっては、先ず、スライダSLを操作してイン点若しくはアウト点として設定したい時間軸上の位置(全長バーba上での位置)を指示する。このとき、プレビュー画像ipとしては、撮像動画中におけるスライダSLによる指示時間に対応したフレーム画像が適宜表示される。これにより、使用者に容易に動画上の位置を把握させることができる。
なお、本例では、プレビュー画像ipとしては、各撮像装置2のうち所定の撮像装置2(例えば正面アングルの撮像を行う第一カメラとしての撮像装置2)による撮像動画からの抽出画像を用いる。
例えば、1番目の動画部分のイン点を修正したければ、1番目の動画部分に対応した動画部分表示バーbpの開始位置付近(図の例では左端付近)にスライダSLを移動させ、プレビュー画像ipを適宜参照しながら撮像動画中の所望の位置を探索する。
スライダSLにより撮像動画中の特定位置を指示した上で、該指示した位置を何れの動画部分におけるイン点又はアウト点として設定するかについて、対象選択ボタンB5と、「イン点設定」ボタンB6又は「アウト点設定」ボタンB7とに対する操作により指示する。例えば、1番目の動画部分におけるイン点として設定するのであれば、対象選択ボタンB5における図中「1」と表記されたボタンを操作した上で、「イン点設定」ボタンB6を操作する。これにより、スライダSLで指示した位置を選択した動画部分のイン点位置として制御端末1に指示することができる。
上記のようにスライダSL、対象選択ボタンB5、「イン点設定」ボタンB6、「アウト点設定」ボタンB7を操作することにより、初期チャプタマークとして設定されたイン点、アウト点の再設定、つまりは修正を行うことができる。なお、少なくとも一部の初期チャプタマークについては修正が不要な場合もあり得る。その場合には、該初期チャプタマークについての修正操作を行わないことでチャプタ位置がそのまま引き継がれる。
ここで、本例の修正操作画面G15では、波形情報awを表示していることで、撮像動画において演奏が行われている部分を使用者に容易に推察させることができる。
また、本例の修正操作画面G15では、動画部分表示バーbp、すなわち動画部分を表す表示領域のうちイン点に近い領域とアウト点に近い領域とで表示態様を異ならせている。具体的に本例では、イン点に近い領域は赤色、アウト点に近い領域は青色の表示として、両領域の表示色を異ならせている。なお、イン点に近い領域とアウト点に近い領域との間の領域では、イン点側からアウト点側に向けて徐々に赤色から青色に色変化するグラデーションを施している。
そして、本例では、動画部分表示バーbpにおけるイン点に近い領域の表示態様と「イン点設定」ボタンB6の表示態様とを一致させており(表示色を例えば赤色で一致させており)、また、動画部分表示バーbpにおけるアウト点に近い領域の表示態様と「アウト点設定」ボタンB7の表示態様とを一致させている(表示色を例えば青色で一致させている)。
これにより、上記のようにスライダSLで時間軸上の位置を指示して「イン点設定」ボタンB6、「アウト点設定」ボタンB7によって該指示した位置へのイン点、アウト点の設定指示を行うことが前提とされる場合において、例えばイン点を設定すべきところ誤って「アウト点設定」ボタンB7を操作してしまう等、チャプタマーク設定についての誤操作防止が図られる。
イベント会場Siのスタッフは、上記のような修正操作画面G15において必要に応じて初期チャプタマークの修正を行う。そして、設定中のチャプタマーク位置を確定するとしたときは、「確定」ボタンB8を操作する。
「確定」ボタンB8が操作されると、制御端末1は撮像管理端末5に対し確定したイン点及びアウト点の情報を送信すると共に、撮像動画のアップロード指示を行う。
撮像管理端末5は、上記のアップロード指示に応じて、確定したイン点及びアウト点の情報とストレージ装置6に録画された撮像動画とがサーバ装置9に対して送信されるように制御を行う。
また、「確定」ボタンB8が操作されると、制御端末1は、図3Bに示すようなアップロード中画面G16を表示する。アップロード中画面G16の表示により、使用者に撮像動画がアップロード中である旨が示される。
続いて、図4を参照して、撮像動画の購入受付に係る動作について説明する。
本実施形態の動画配信システムでは、購入手続きを行った出演者を対象として、対応する撮像動画を該出演者に配信する。撮像動画の購入手続きは、本例では撮像管理端末5を用いて行われる。
本例の撮像管理端末5には、図4に示すような画面表示を行って購入に係る操作入力を受け付けるためのアプリがインストールされている。以下、該アプリを「購入操作アプリAp2」と表記する。イベント会場Siのスタッフは、出演者に購入手続きを行わせるにあたり、撮像管理端末5において購入操作アプリAp2を起動させておく。
図4Aは、購入操作アプリAp2を起動させたことに応じて表示されるライブリスト画面G17を例示している。ライブリスト画面G17には、購入手続き可能な撮像動画がライブIDの一覧として表示される。なお、後述もするが、ライブIDは、撮像動画の録画開始に伴い撮像管理端末5が生成する識別情報であり、撮像動画ごとに異なる値が割り振られる。本例におけるライブリスト画面G17では、各撮像動画の識別を容易化するために、ライブIDに対応付けて撮像動画の録画開始日時(図中では「撮影日時」と表記)を表示している。
ライブリスト画面G17において所要の撮像動画を選択すると、図4Bに示すような購入情報入力画面G18が表示される。購入情報入力画面G18には、ライブリスト画面G17で選択された撮像動画について、購入にあたり入力されるべき各項目の情報、及び「次へ」ボタンB9が表示される。本例では、上記各項目の情報として、演奏時間区分、カメラ台数、購入対象の各項目の情報が表示される。
本例の購入情報入力画面G18は、撮像動画に含まれる動画部分ごとに購入情報の入力を受け付けることが可能に構成されている。具体的に、この場合の購入情報入力画面G18には、各動画部分を選択するためのタブTが表示される。図中では、ライブリスト画面G17で選択された撮像動画に三つの動画部分が含まれ、それら動画部分の個々を選択するためのタブT1〜T3が表示された例を示している。購入情報入力画面G18に遷移した初期状態では、図4Bに示すようにタブT1が選択状態とされ、1番目の動画部分についての購入情報の入力が可能とされる。
ここで、演奏時間区分の情報としては、例えば30分まで、30〜60分、60分以上の区分が設けられ、タブTにより選択した動画部分の時間長に対応した区分を選択すべきとされる。また、カメラ台数としては、本例では3台又は4台の選択が可能とされている。例えば、4台目のカメラ(撮像装置2)がバンドのドラム演奏者等の特定演奏者を撮像するカメラである場合において、特定演奏者が省略された編成のバンドにとっては4台目のカメラ映像は不要である。そのような事情から、カメラ台数の選択を可能としている。
また、購入対象の項目としては、本例では素材セット、ダイジェストの区分が少なくとも設けられている。素材セットは、各撮像装置2による撮像動画それぞれにおける該当する動画部分をセット販売するものである。
ダイジェストは、前述した視点切替動画の販売を意味するものである。
なお、本例では、演奏時間区分とカメラ台数の組み合わせに応じて、購入対象ごとの購入代金が異なる料金体系が採用されている。すなわち、演奏時間区分やカメラ台数の項目の選択状態に応じて、購入対象に対応して表示される購入代金の表示内容が変更される。
スタッフ又は出演者は、該当するタブTを選択して該当する動画部分について各項目の選択を行った上で、「次へ」ボタンB9を操作する。
「次へ」ボタンB9の操作に応じては、図4Cに示すような「OK」ボタンB10を有する購入確定画面G19が表示され、使用者は「OK」ボタンB10を操作することで購入情報入力画面G18で選択した購入対象についての購入確定を撮像管理端末5に指示することができる。
「OK」ボタンB10が操作されたことに応じ、図4Dに示すような確認画面G20が表示される。
確認画面G20は、購入者(出演者)としてのユーザにアカウント情報の入力、又はアカウント情報の新規登録を促す画面とされる。
本例の動画配信システムでは、サーバ装置9が購入者としてのユーザを識別可能とするべく、購入者にアカウント情報の入力、或いはアカウント情報を未登録の購入者には新規登録を行わせる。アカウント情報は、例えばユーザIDとパスワードの組み合わせ情報とされる。
確認画面G20には「OK」ボタンB11が設けられ、ユーザはアカウント情報の入力又は新規登録を行う場合には「OK」ボタンB11を操作する。
図示は省略したが、「OK」ボタンB11の操作に応じては、例えばアカウント情報の入力又は新規登録を選択する画面が表示され、アカウント情報の入力が選択された場合はアカウント情報入力画面が、アカウント情報の新規登録が選択された場合はアカウント情報の新規登録画面が表示される。アカウント情報入力画面で入力されたアカウント情報、アカウント情報の新規登録画面で登録されたアカウント情報は、購入対象動画特定情報I1と共にサーバ装置9に対して送信される。なお、購入対象動画特定情報I1は、図4Bに示した購入情報入力画面G18での入力情報に応じて撮像管理端末5が生成する情報であり、詳しくは後述する。
なお、購入代金の決済手法については特に限定はされない。
図5は、購入情報入力フォームの生成タイミングについての説明図である。
購入情報入力フォームは、図4Bに示した購入情報入力画面G18の表示にあたって用いられるフォーム情報であり、撮像動画に複数の動画部分が存在する場合には動画部分ごとに生成される。
図5では、撮像動画の録画例と購入情報入力フォームの生成例とを対比して示し、両者の関係を表している。
図5の録画例においては、ライブイベントにおいて出演者A、B、Cの三者が順に演奏を行った場合において、出演者A、B、Cの出演部分に対してそれぞれ初期チャプタマークとしてのイン点、アウト点の指示が行われている。
本例において、撮像管理端末5は、撮像動画に対する初期アウト点の指示が行われたことに応じて、当該指示されたアウト点に対応する動画部分についての購入情報入力フォームを生成する。
具体的に、図中の出演者Aについて見れば、出演者Aの出演部分についての初期アウト点の指示に応じ、該初期アウト点により区分される出演者Aの動画部分について購入情報入力フォームが生成されている。他の出演者B、Cについても、同様に初期アウト点の指示に応じて対応する動画部分について購入情報入力フォームが生成される。
これにより、撮像動画の録画が終了する前であっても、購入情報入力フォームが生成されてユーザが動画部分の購入手続を行うことが可能とされる。
従って、自身の出番が終了した後に撮像動画の録画終了まで待つことなく動画部分の購入手続を行うことができ、ユーザの利便性向上を図ることができる。
図6は、「ダイジェスト」の購入、すなわち視点切替動画の購入が行われた場合における撮像動画の変遷の様子を模式的に示している。なお、図6では第一カメラ〜第三カメラの3台の撮像装置2による撮像動画を用いて視点切替動画が生成される例を示している。この場合、撮像動画としては出演者A〜Cの三者の演奏部分が収録され、出演者Aが視点切替動画の購入を行ったものとする。
イベント会場Siでの撮像動画に対しては、制御端末1を用いた初期チャプタマークの指示や必要に応じたチャプタマークの修正を経て、出演者ごとの動画部分を区分するイン点、アウト点がそれぞれ設定されている。なお、前述のように撮像動画の録画は1番目の出演者(出演者A)の演奏開始前に開始され、最後の出演者(出演者C)の演奏終了の後に終了されるため、撮像動画には1番目の出演者の演奏開始前における準備等の様子や最後の出演者の演奏終了後における片付け等の様子も収録され得る。
上述のように撮像動画のアップロードが指示されたときには、各撮像装置2(この場合は第一カメラ〜第三カメラ)による撮像動画とイン点及びアウト点の情報とがサーバ装置9に送信される。
サーバ装置9では、受信したイン点及びアウト点の情報に従って、図6Bに示すように各撮像動画における各動画部分の切り出しを行う。なお、図6Bでは出演者A〜Cの全てについて動画部分の切り出しが行われた例を示しているが、購入手続が行われなかった出演者については動画部分の切り出しは不要である。
ここで、動画部分の切り出しとは、動画部分を独立した動画ファイルとして生成することと換言することができる。
なお、本例のサーバ装置9は、アップロードされた各撮像動画についての同期処理(つまり各視点の動画の同期)等も行うが、サーバ装置9の処理については後に改めて説明する。
「ダイジェスト」を購入した出演者Aは、ユーザ端末10を用いて、自身の出演部分についての視点切替動画を入手する。
図6Cに示すように、視点切替動画は、各撮像装置2により撮像された出演者Aの動画部分について、それぞれの一部が組み合わされて生成される。これにより、経時的に撮像視点が切り替えられる動画が実現される。
本実施形態では、視点切替動画の生成はユーザ端末10の使用者による操作に基づいて行われる。このような操作に応じた視点切替動画の生成に係る処理については後述する。
[1-3.コンピュータ装置のハードウェア構成]

図7に、図1で示した制御端末1、撮像管理端末5、サーバ装置9、ユーザ端末10の各々を構成するコンピュータ装置のハードウェア構成を示す。
図7において、コンピュータ装置のCPU(Central Processing Unit)101は、ROM(Read Only Memory)102に記憶されているプログラム、または記憶部108からRAM(Random Access Memory)103にロードされたプログラムに従って各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU101、ROM102、及びRAM103は、バス104を介して相互に接続されている。このバス104には、入出力インタフェース105も接続されている。
入出力インタフェース105には、キーボード、マウス、タッチパネルなどよりなる入力部106、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)、有機EL(Electroluminescence)パネルなどよりなるディスプレイ(表示装置)、並びにスピーカなどよりなる出力部107、HDD(Hard Disk Drive)やフラッシュメモリ装置などより構成される記憶部108、外部装置との間で相互通信を行うための通信部109が接続されている。
ここで、特にユーザ端末10としてのコンピュータ装置においては、入力部106として上述した撮像部10aが含まれる。
入出力インタフェース105にはまた、必要に応じてメディアドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111が適宜装着され、リムーバブルメディア111に対する情報の書込や読出が行われる。
このようなコンピュータ装置では、通信部109による通信によりデータやプログラムのアップロード、ダウンロードが行われたり、リムーバブルメディア111を介したデータやプログラムの受け渡しが可能である。
CPU101が各種のプログラムに基づいて処理動作を行うことで、特に制御端末1、撮像管理端末5、サーバ装置9、ユーザ端末10としてのコンピュータ装置においてはそれぞれ以降で説明する情報処理や通信が実行される。
なお、特にサーバ装置9等、図1で示した各装置は、図7のようなコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN等によりシステム化されていてもよいし、インターネット等を利用したVPN等により遠隔地に配置されたものでもよい。
[1-4.制御端末の機能]

図8の機能ブロック図を参照して、制御端末1が実現する第一実施形態としての各種機能について説明する。
図8において、制御端末1は、機能ごとに分けて情報取得処理部F1、送信制御処理部F2、情報表示制御処理部F3、及び入力フォーム生成指示処理部F4を有するものとして表すことができる。本例では、これら各機能は前述した制御操作アプリAp1により実現されるものである。
情報取得処理部F1は、撮像装置2による撮像動画における一部の動画部分の範囲を指定するイン点及びアウト点の情報を取得する。これは、前述した初期チャプタマークとしてのイン点、アウト点や、初期チャプタマークの修正時に指示されたイン点、アウト点の情報を取得することに相当する。
送信制御処理部F2は、イン点及びアウト点から特定される動画部分がユーザへの配信対象動画として管理されるように、情報取得処理部F1が取得したイン点及びアウト点の情報と撮像動画とについてのサーバ装置9に対する送信制御を行う。
本例では、該送信制御は、制御端末1が撮像管理端末5に対し確定されたイン点及びアウト点の情報を送信して、ストレージ装置6に録画された撮像動画と該確定されたイン点及びアウト点の情報とを撮像管理端末5によりサーバ装置9に対して送信させる制御が該当する。
上記のように撮像動画とイン点及びアウト点の情報をサーバ装置9に送信するようにしたことで、仮にイン点又はアウト点が誤った位置に設定されていたとしても、正しい動画範囲に修正を行うことが可能とされる。すなわち、イン点、アウト点の設定を誤ったことに伴い撮像のやり直しが発生してしまうことの防止が図られる。
従って、一連の撮像動画における一部の動画部分をユーザに配信するシステムにおいて、動画部分の範囲修正を容易化して動画撮像関係者の負担軽減を図ることができる。
本実施形態における送信制御処理部F2は、撮像動画として、複数の撮像装置2による複数の撮像動画がサーバ装置9に対して送信されるように制御を行う。すなわち、先の図6で例示したように、例えば第一カメラ〜第三カメラそれぞれの撮像動画がサーバ装置9に対して送信されるように制御を行うものである。
これにより、視点切替動画を配信するシステムを実現可能とされる。
また図8において、情報表示制御処理部F3は、撮像動画中における動画部分の時間軸上での位置を表す視覚情報と、撮像動画中の時間軸上の位置を指示するためのポインタと、ポインタが指示する位置をイン点の位置として指示するためのイン点指示操作子と、ポインタが指示する位置をアウト点の位置として指示するためのアウト点指示操作子とを画面上に表示させる。
本例では、上記視覚情報は、図3Aに示した全長バーba及び動画部分表示バーbpが該当し、上記のポインタ、イン点指示操作子、アウト点指示操作子は、それぞれスライダSL、「イン点設定」ボタンB6、「アウト点設定」ボタンB7が該当する。
そして、本実施形態の情報表示制御処理部F3は、視覚情報における動画部分を表す表示領域のうちイン点に近い領域とアウト点に近い領域とで表示態様を異ならせると共に、イン点に近い領域とイン点指示操作子の表示態様、アウト点に近い領域とアウト点指示操作子の表示態様をそれぞれ一致させる。
つまり本例では、図3Aで説明したように動画部分表示バーbpにおけるイン点に近い領域とアウト点に近い領域とで表示色を異ならせる(例えば赤と青)一方で、上記イン点に近い領域と「イン点設定」ボタンB6を同一の表示色(例えば赤)とし、上記アウト点に近い領域と「アウト点設定」ボタンB7を同一の表示色(例えば青)としている。
これにより、イン点、アウト点の修正に係る誤操作防止が図られる。
入力フォーム生成指示処理部F4は、撮像動画に対するアウト点の指示が行われたことに応じて、当該指示されたアウト点に対応する動画部分についての購入情報入力フォームの生成指示を行う。これは、本例では、制御端末1が初期アウト点の指示操作に応じて撮像管理端末5に該初期アウト点としてのアウト点情報を送信することに相当する。
[1-5.制御端末、撮像管理端末、及びサーバ装置の処理]

図9乃至図13のフローチャートを参照して、第一実施形態における制御端末1、撮像管理端末5、及びサーバ装置9が行うべき処理を説明する。
図9及び図10に示す処理は、それぞれ制御端末1のCPU101が前述した制御操作アプリAp1としてのプログラムに従って実行するものである。図9及び図10において、制御端末1と言ったときは、特に断りのない限り制御端末1のCPU101を指すものとする。
なお、図9に示す処理が開始されるにあたっては、既に開始操作画面G13(図2C)が表示された状態にあるとする。
先ず、制御端末1はステップS101で、録画開始操作を待機する。すなわち、開始操作画面G13における「開始」ボタンB1が操作されるまで待機する。
録画開始操作があった場合、制御端末1はステップS102で録画開始通知を撮像管理端末5に行う。
続くステップS103で制御端末1は、イン点指示を待機する。すなわち、本例では開始後操作画面G14における「イン点設定」ボタンB2の操作を待機する。なお、図9におけるイン点、アウト点は、初期チャプタマークとしてのイン点、アウト点である。
イン点指示が行われた場合、制御端末1はステップS104に進みイン点の保持処理を行う。すなわち、指示されたイン点の情報(例えば、録画開始からの時間情報)を所定の記憶装置に記憶させる処理を行う。
ステップS104の処理を実行したことに応じ、制御端末1はステップS105でアウト点指示の待機処理、すなわち「アウト点設定」ボタンB3の操作を待機する処理を行い、アウト点の指示があった場合はステップS106でアウト点の保持処理を行う。
さらに、続くステップS107で制御端末1は、アウト点通知処理として、アウト点の指示があった旨を撮像管理端末5に通知する。
ステップS107の通知処理を行った上で、制御端末1はステップS108で録画終了操作が行われたか否か、つまり本例では「撮影終了」ボタンB4の操作が行われたか否かを判定する。
録画終了操作が行われていなければ、制御端末1はステップS103に戻る。これにより、複数の出演者が順時演奏を行う場合に対応して、演奏部分ごとのイン点、アウト点の指示を受け付けることができる。
一方、録画終了操作があった場合、制御端末1はステップS109で撮像制御端末5に対する録画終了通知を行い、図9に示す処理を終える。
図10は、初期チャプタマークの修正操作受付に係る処理を示している。
制御端末1はステップS110で、修正操作画面G15の表示指示を待機する。すなわち、本例では図2に示したトップ画面G11からライブ一覧が表示された状態で、該一覧から一つのライブを選択する操作が行われるまで待機する。
修正操作画面G15の表示指示があった場合、制御端末1はステップS111で表示必要情報の取得処理を行う。すなわち、修正操作画面G15の表示に必要とされるイン点及びアウト点の情報、修正対象とされた撮像動画の全長(録画時間の全長)情報を少なくも取得する。なお、撮像動画の全長情報は、撮像制御端末5に問い合わせて取得しても良いし、制御端末1が自ら録画開始から録画終了までの時間を計時して取得してもよい。
ステップS111で表示必要情報を取得したことに応じ、制御端末1はステップS112で修正操作画面G15の表示処理を行う。
そして、続くステップS113及びS114の処理により、制御端末1は、イン・アウト点修正受付処理を確定操作が行われるまで実行する。ステップS113のイン・アウト点修正受付処理は、図3Aで説明したスライダSLや対象選択ボタンB5、「イン点設定」ボタンB6、「アウト点設定」ボタンB7を用いたイン点、アウト点の修正操作を受け付ける処理である。「イン点設定」ボタンB6、「アウト点設定」ボタンB7により新たにイン点、アウト点が指示された場合は、該当するイン点、アウト点の情報を更新する。
ステップS114の確定操作待機処理は、図3Aに示した「確定」ボタンB8の操作を待機する処理である。
ステップS114で確定操作が行われた場合、制御端末1はステップS115に進み、録画された撮像動画全体、ライブID、動画部分ID、イン点、アウト点の情報の送信制御を行う。
すなわち、確定されたイン点及びアウト点の情報を撮像管理端末5に送信して、ストレージ装置6に録画された該当する撮像動画全体、及び送信したイン点、アウト点の情報、及び後述するライブID、動画部分IDをサーバ装置9に送信させる。
ステップS115の送信制御を行ったことに応じ、制御端末1は図10に示す処理を終える。
なお、先の図3Aで説明したように、修正操作画面G15では、複数の動画部分についてイン点、アウト点を確定することができる。このため、撮像動画に複数の動画部分が存在する場合には、ステップS115の処理ではそれら複数の動画部分についてのイン点及びアウト点の情報が撮像管理端末5に送信される。
図11及び図12は、撮像管理端末5が前述した購入操作アプリAp2としてのプログラムに基づき実行する処理を示している。なお、図11及び図12において、撮像管理端末5と言ったときは、特に断りのない限り撮像管理端末5のCPU101を指すものとする。
図11は、ライブIDと動画部分IDの生成に係る処理である。
図11において、撮像管理端末5はステップS201で、録画開始通知(S102)を待機し、録画開始通知があったことに応じてステップS202で対応するライブIDを生成する。
ライブIDは、イベント会場Siでのライブイベントを一意に識別するための識別情報であり、ステップS202の処理では、ステップS201で録画開始が通知された撮像動画を一意に識別可能なライブIDを生成する。
続くステップS203で撮像管理端末5は、アウト点通知(S106)を待機し、アウト点通知があった場合はステップS204で対応する動画部分IDを生成する。
動画部分IDは、撮像動画中における動画部分を一意に識別するための識別情報であり、ステップS204の処理では、ステップS203でアウト点が通知された動画部分を一意に識別可能な動画部分IDを生成する。
ステップS204の生成処理を実行したことに応じ、撮像管理端末5はステップS205で購入情報入力フォームの生成処理を行う。すなわち、ステップS203でアウト点が通知された動画部分に対応する購入情報入力フォーム(該動画部分に演奏が収録された出演者による購入手続に用いられるべき購入情報入力フォーム)を生成するものである。
ステップS205の処理により、初期アウト点の指定に応じて新たな動画部分についての購入情報入力フォームが生成される。生成された購入情報入力フォームは、該当する撮像動画について表示された購入情報入力画面G18(図4B)において反映される。具体的には、ステップS205で購入情報入力フォームが生成されるごとに、該当する撮像動画についての購入情報入力画面G18に表示されるタブTの数が増加していき、新たな動画部分についての購入情報の入力が可能となる。
ステップS205の生成処理を実行したことに応じ、撮像管理端末5はステップS206で録画終了通知(S109)を待機する。録画終了通知がない場合、撮像管理端末5はステップS203に戻る。これにより、新たに生じた動画部分についての動画部分IDの生成(S204)及び購入情報入力フォームの生成(S205)が行われる。
一方、録画終了通知があった場合、撮像管理端末5は図11に示す処理を終える。
図12は、動画部分の購入情報入力受付に係る処理を示している。
なお、図12に示す処理が開始されるにあたっては、既に購入情報入力画面G18(図4B参照)が表示された状態にあるとする。
図12において、撮像管理端末5はステップS301及びS302の処理により、画面入力情報の取得を入力完了条件が成立するまで実行する。ステップS302の入力完了条件としては、前述したアカウント情報の入力操作完了、又はアカウント情報の新規登録操作完了の何れかとして設定されている。
ステップS301の取得処理は、購入情報入力画面G18、購入確定画面G19(図4C)、及び確認画面G20(図4D)における入力情報と、アカウント情報とを取得する処理とされる。特に、ステップS301の取得処理では、購入情報入力画面G18におけるタブTの選択入力情報、演奏時間区分やカメラ台数、購入対象としての各項目の入力情報が取得される。
ステップS302において、アカウント情報の入力操作又は新規登録操作の何れかが完了し、入力完了条件が成立したと判定した場合には、撮像管理端末5はステップS303に進み、購入対象動画特定情報I1とアカウント情報とをサーバ装置9に送信する処理を行う。
購入対象動画特定情報I1は、購入手続が行われた動画部分の識別情報(ライブID及び動画部分ID)と、購入対象の識別情報(本例では素材セット、ダイジェストの別)を含む情報である。
撮像管理端末5は、ステップS303の送信処理を行ったことに応じて図12に示す処理を終える。
ここで、図12の処理が行われることで、購入情報入力画面G18を通じて、複数の出演者がそれぞれ対応する動画部分についての購入手続を行うことができる。すなわち、撮像管理端末5は、各出演者の動画部分をアカウント情報と共に(アカウント情報と対応付けて)サーバ装置9に送信することができる。
これにより、サーバ装置9側において、動画部分ごとに、購入の有無及び購入者の管理を行うことができる。
なお上記説明のように、本例では、制御端末1と撮像管理端末5とにより下記の処理が行われる。
(1)撮像動画の録画開始や終了の指示受付
(2)初期チャプタマークの指示の受付
(3)初期チャプタマークの修正受付
(4)撮像動画とイン点及びアウト点の情報のアップロード指示受付(本例では「確定」ボタンB8の操作受付)
(5)購入情報入力受付
これらの処理を制御端末1や撮像管理端末5を始めとした何れの装置に実行させるかは任意である。例えば、制御端末1又は撮像管理端末5の何れかが上記の全ての処理を行ってもよい。或いは、制御端末1が上記(1)(2)の処理、撮像管理端末5が残りの(3)〜(5)の処理を行うようにすることもできる。
ここで、上記(1)〜(5)全ての処理を制御端末1、撮像管理端末5の何れか一方等の単一のコンピュータ装置が行う場合には、該コンピュータ装置は、先の図8で説明した情報取得処理部F1、送信制御処理部F2、情報表示制御処理部F3、及び入力フォーム生成指示処理部F4を有することになる。
そして、この場合における情報取得処理部F1は、動画部分の配信対象者を識別するための対象者識別情報を取得し、送信制御処理部F2は、動画部分を一意に識別するための動画部分識別情報と対象者識別情報とが対応付けられてサーバ装置9に対して送信されるように制御を行う。
上記「対象者識別情報」は、先の図4Dで説明したアカウント情報が該当する。また、上記「動画部分識別情報」は、初期アウト点の指示に応じ撮像管理端末5が生成していた「動画部分ID」が該当する。
上記のように動画部分識別情報と対象者識別情報とが対応付けられてサーバ装置9に対して送信されるようにすることで、サーバ装置9において動画部分と配信対象者との対応関係を管理することが可能とされる。
さらに、この場合における情報取得処理部F1は、イン点及びアウト点の情報として、撮像動画における異なる動画部分の範囲をそれぞれ指定する複数組のイン点及びアウト点の情報を取得すると共に、動画部分ごとの対象者識別情報を取得し、送信制御部は、対象者識別情報が取得された動画部分ごとに、動画部分識別情報と対象者識別情報とが対応付けられてサーバ装置9に対して送信されるように制御を行う。これは、例えば図6で例示したように撮像動画に出演者A〜Cの三者の出演部分が収録されている場合において、各出演部分に対応する動画部分の範囲を指定するための複数組のイン点及びアウト点の情報を取得すると共に、先の図4で説明した購入手続時の処理により動画部分ごとのアカウント情報を取得し、アカウント情報が取得された動画部分ごとに、後述する動画部分IDとアカウント情報とが対応付けられてサーバ装置9に対して送信されるように制御を行うことに相当する。
これにより、各動画部分は、それぞれ異なる対象者識別情報(ユーザ識別情報)が対応付けられてサーバ装置9に送信される。
従って、複数の動画部分ごとに異なる配信対象者が設定された場合において、各動画部分が配信対象者以外の者からの要求に応じて配信されないようにすることができる。
また、この場合における送信制御処理部F2は、対象者識別情報の取得有無に拘わらず、各動画部分についてのイン点及びアウト点の情報がサーバ装置9に対して送信されるように制御を行う。つまり、先の例では、未購入の動画部分についても、イン点及びアウト点の情報がサーバ装置9に対して送信されるように制御を行っている。
これにより、イン点又はアウト点の設定を誤った場合における修正を可能としつつ、サーバ装置9に配信不要とされた動画部分を特定させることが可能とされる。
従って、サーバ装置9において配信不要部分の削除が可能となり、サーバ装置9における記憶容量の圧迫防止を図ることができる。
図13は、実施形態におけるサーバ装置9が実行する処理を示したフローチャートである。なお、図13に示す処理は、サーバ装置9のCPU101が例えばサーバ装置9のROM102等の所要の記憶装置に記憶されたプログラムに基づき実行する。図13において、サーバ装置9と言ったときは、特に断りがない限りサーバ装置9のCPU101を指すものとする。
図13において、サーバ装置9はステップS401で、各視点の動画の同期処理を行う。
本例の場合、ステップS401の同期処理は、同一のライブIDで管理される撮像動画の組のうち、同期処理が未実行の撮像動画の組を対象として、各撮像動画に付帯される音情報に基づいて行う。具体的には、各音情報の音波形を解析し、音波形が一致するように各撮像動画を同期させる。本例では、各撮像動画にタイムコードを付すことで同期を実現する。
続くステップS402でサーバ装置9は、動画部分の切り出し処理を行う。該動画部分の切り出し処理は、上述した購入対象動画特定情報I1に基づき、購入手続が行われた動画部分を対象として行う。
ステップS402の切り出し処理を実行したことに応じ、サーバ装置9はステップS403でダイジェスト購入動画について各視点の動画の軽量化動画を生成する処理を行う。すなわち、購入対象として「ダイジェスト」が指示されて購入された各視点の動画部分について、データ容量を小さくした軽量化動画を生成する処理を行う。
本例では、軽量化処理として、対象とする動画部分の解像度を下げる処理を行う。
なお、軽量化処理としては解像度の低下処理に限定されず、例えば対象とする動画部分がカラー動画像であればモノクロ化する処理、動画部分の一部を間引く処理、動画データを圧縮する処理、或いは、対象とする動画部分がプログレッシブ方式による動画像であればインターレス方式に変換する処理とする等、データ容量を低下させる処理であれば特に限定はされない。
ここで、ステップS402の処理は、軽量化前の元データを削除するものではない。すなわち、ステップS402の処理が行われることで、ダイジェスト購入動画としての各動画部分については、非軽量化動画と軽量化動画とが併存するものとなる。
なお、ダイジェスト購入動画について軽量化動画を生成しておく意義については後述する。
続くステップS404でサーバ装置9は、未購入動画部分の削除処理を行う。すなわち、購入対象動画特定情報I1に基づき、購入手続が行われていない動画部分を削除する。これにより、配信不要とされる動画部分がサーバ装置9の記憶装置に記憶され続けてしまうことの防止が図られ、サーバ装置9の記憶容量の圧迫防止を図ることができる。また、著作権への対応が可能となる。
さらに、ステップS405でサーバ装置9は、視点切替動画の生成処理を行う。該視点切替動画の生成処理は、ダイジェスト購入動画を対象として、ユーザ端末10からの指示に応じて行われる。
なお、上記したステップS401〜S405の各処理は一連の処理として実行される必要はなく、それぞれが所定の開始条件の成立に応じて独立して開始されるものであってもよい。ステップS401〜S404の処理については、処理の順序は任意であってもよいが、ステップS401の同期処理はステップS402の切り出し処理の前に実行しておくことが望ましい。
ステップS405の視点切替動画の生成処理は、対象とするダイジェスト購入動画についてステップS401、S402、及びS403の処理が全て完了したことに応じて実行すべきである。ステップS404の削除処理は、ステップS405の生成処理の後に実行されてもよい。
[1-6.視点切替動画の生成]

本実施形態の動画配信システムでは、出演者としてのユーザがユーザ端末10を用いて、購入した動画をサーバ装置9からダウンロードすることを想定している。ユーザは、ダウンロードした動画を所要の動画投稿サイト等にアップロードして、自身のプロモーション等を行うことができる。
以下では特に、前述した「ダイジェスト」としての視点切替動画の購入を行った際の購入動画のダウンロードまでの流れを説明する。
先ず、本例では、視点切替動画をユーザ端末10にダウンロードするにあたり、出演者としてのユーザがユーザ端末10に所定のアプリ(以下「動画取得支援アプリAp3」と表記)をインストールしておくことが前提とされる。この動画取得支援アプリAp3は、本例では、視点切替動画を生成するための動画編集機能を有したものとされる。
ここで、動画取得支援アプリAp3のユーザ端末10へのインストールの流れとしては以下が考えられる。
先ず、前述したアカウント情報のIDとして、ユーザの電子メールアドレスの入力を求めるようにしておく。そして、アカウント情報を新規登録したことに応じて、上記IDとして登録されたメールアドレス宛に動画取得支援アプリAp3のダウンロードページへのリンク情報を含む電子メールを送付するようにしておき、ユーザは該ダウンロードページにて動画取得支援アプリAp3をユーザ端末10にダウンロードし、インストールを行う。
なお、以下で説明する動画取得支援アプリAp3による機能は、いわゆるwebアプリにより実現することもできる。その場合、当該機能は、ユーザ端末10のwebブラウザがwebページデータに含まれるプログラムに従った処理を行うことで実現される。
図14は、視点切替動画を生成する際の動画編集に係る画面例を示している。
図14Aは、視点切替動画生成時の動画編集に係る操作入力を受け付けるための編集画面G21の例を示している。
先ず、この編集画面G21を始めとして、動画取得支援アプリAp3により提供される画面には、一覧画面ボタンB20、編集画面ボタンB21、及びプレビュー画面ボタンB22が表示される。一覧画面ボタンB20は、ユーザが購入した動画の一覧情報が表示される不図示の一覧画面の表示を指示するためのボタンである。本例では、動画取得支援アプリAp3は、少なくとも初回起動時にユーザに対してアカウント情報の入力を受け付ける。アカウント情報が入力されることで、動画取得支援アプリAp3はサーバ装置9から該アカウント情報に対応付けられた購入済み動画の情報を取得することができる。一覧画面では、購入済み動画の一覧情報が表示され、ユーザは該一覧から視点切替動画の生成対象とすべきダイジェスト購入動画を選択することができる。
上記の一覧画面においてダイジェスト購入動画が選択されたことに応じ、図4Aに示すような編集画面G21が表示される。
編集画面G21には、上記の一覧から選択された購入済み動画(動画部分)の画像を表示するための画像表示領域Aiと、開始時間の指示操作を行うための開始時間操作部TSと、視点切替動画の全長の指示操作を行うための時間長操作部TLと、終了時間の指示操作を行うための終了時間操作部TEと、視点切替周期の指示操作を行うための切替周期操作部Fsと、「編集実行」ボタンB23とが設けられている。
開始時間操作部TS、終了時間操作部TEは、視点切替動画の生成源となる動画部分から、視点切替動画の開始点となるべき時間、終了点となるべき時間をそれぞれ指示するための操作部とされる。図のように開始時間操作部TS、終了時間操作部TEでは、時:分:秒による開始時間、終了時間の指示を行うことが可能とされる。
また、本例の時間長操作部TL、切替周期操作部Fsでは、それぞれ秒単位で時間長、視点切替周期の指示を行うことが可能とされている。
なお、視点切替については、一定の周期による切り替えを行うことに限らず、一部で切り替えの間隔が異なってもよい。この意味で、切替周期は「切替間隔」と換言することができる。
本例において、ユーザは、視点切替動画の生成にあたり、開始時間操作部TSを用いて開始時間を指示すると共に、時間長操作部TLを用いて視点切替動画の時間長を指示するか、又は終了時間操作部TEを用いて終了時間を指示する。時間長操作部TL、終了時間操作部TEには、ラジオボタンrb1、ラジオボタンrb2がそれぞれ対応して設けられ、ユーザはラジオボタンrb1を操作することで時間長の指示を、ラジオボタンrb2を操作することで終了時間の指示をそれぞれ有効化することができる。
本例では、開始時間操作部TSにおいて開始時間の値が変更されると、画像表示領域Aiにおいて変更後の値が表す時間に対応したフレーム画像が表示される。同様に、終了時間操作部TEにおいて終了時間の値が変更されると、画像表示領域Aiにおいて変更後の値が表す時間に対応したフレーム画像が表示される。これにより、開始時間、終了時間の探索が容易となる。
本例において、画像表示領域Aiにデフォルトで表示されるフレーム画像は、購入された各視点の動画部分のうち所定の撮像装置2(例えば、正面視点による第一カメラとしての撮像装置2)が撮像した動画部分に含まれるフレーム画像とされる。なお、編集画面G21において視点切替を指示する操作を可能として、画像表示領域Aiに表示されるフレーム画像を指示された視点の動画部分における該当フレーム画像に切り替えるようにすることもできる。
また、ユーザは、視点切替動画の生成にあたっては、切替周期操作部Fsを用いて視点切替周期を指示する。
ユーザは、「編集実行」ボタンB23を操作することで、指示した各情報に基づく視点切替動画の生成指示をユーザ端末10に対して行うことができる。
なお、後述もするが、「編集実行」ボタンB23の操作に応じた視点切替動画の生成は、前述した軽量化処理の施された動画部分に基づきユーザ端末10が行うものである。
図14Bは、視点切替動画のプレビューを行うためのプレビュー画面G22を例示している。なお、本例では、編集画面G21からプレビュー画面G22への表示遷移が、「編集実行」ボタンB23の操作に応じた視点切替動画の生成完了に応じて自動的に行われる。
プレビュー画面G22には、上記した一覧画面ボタンB20、編集画面ボタンB21、及びプレビュー画面ボタンB22と共に、再生ボタンB24、「やり直し」ボタンB25、及び「確定」ボタンB26が設けられている。
ユーザは、再生ボタンB24を操作することで、生成された視点切替動画のプレビュー動画mpをプレビュー画面G22内に表示させることができる。
また、ユーザは「やり直し」ボタンB25を操作することで、再編集指示をユーザ端末10に行うことができる。該再編集指示に応じては、ユーザ端末10において編集画面G21への表示遷移が行われ、ユーザは開始時間や視点切替周期等の各情報の指示を行って異なる指示情報に基づく視点切替動画の生成を行わせることができる。
ユーザは、「確定」ボタンB26を操作することで、生成された視点切替動画のサーバ装置9からのダウンロード指示をユーザ端末10に対して行うことができる。
本例では、サーバ装置9からダウンロードされる視点切替動画は、軽量化処理の施されていない動画部分に基づき生成されたものとなる。
[1-7.ユーザ端末の機能]

図15の機能ブロック図を参照して、ユーザ端末10が実現する第一実施形態としての各種機能について説明する。
図8において、ユーザ端末10は、機能ごとに分けて指示受付処理部F11、ランダム選択処理部F12、撮像動画取得処理部F13、及び動画表示制御処理部F14を有するものとして表すことができる。本例では、これら各機能は前述した動画取得支援アプリAp3により実現されるものである。
指示受付処理部F11は、異なる撮像視点から被写体を撮像した複数の撮像動画に基づいて撮像視点が経時的に切り替えられる一つの視点切替動画を生成するための指示として、撮像視点の切替周期の指示を受け付ける。具体的に本例では、図14Aに示した切替周期操作部Fsを用いた視点切替周期の指示を受け付けることに相当する。
ランダム選択処理部F12は、切替周期により区分される視点切替動画の各動画区間に用いるべき動画を複数の撮像動画のうちからランダムに選択する。
図16は、撮像視点の切替周期(視点切替周期)と視点切替動画における動画区間との関係を模式的に表している。このように各動画区間は、撮像視点の切替周期の1周期分の時間ごとに視点切替動画を区分して形成される区間を意味する。本例では、撮像視点の切替周期は同一の視点切替動画においては一定であるため、各動画区間の時間長は、一つの動画区間を除き同一となる。視点切替動画の最も終端側(或いは最も始端側)に位置する動画区間の時間長は、指示された視点切替動画の時間長と視点切替周期との関係によっては他の動画区間と異なる場合もある。
本例のランダム選択処理部F12は、例えば視点切替動画の始端側から順に、各動画区間で用いる動画の選択を行っていく。このとき、ランダム選択処理部F12は、各動画区間をその始点、終点の時間情報により管理する。n番目の動画区間に用いる動画を選択する際には、各視点の動画部分のうち一つの動画部分をランダムに選択する。そして、選択した動画部分の識別情報と、n番目の動画区間の時間情報(始点、終点の時間情報)とを対応付けて保持(記憶)しておく。このような処理を各動画区間について行うことで、視点切替動画の各動画区間に用いるべき動画を特定するための情報が保持される。
なお、以下では、全ての動画区間についてランダムな動画選択を行う例を挙げるが、例えば一部の動画区間についてはランダムな動画選択の対象外とすることもできる。例えば、該対象外とした動画区間については、各視点の動画部分のうち所定の動画部分における動画を用いる。
本例において、指示受付処理部F11は、視点切替動画として生成すべき動画の全体時間長の指示を受け付けると共に、指示された全体時間長に基づいて計算した切替周期の情報をユーザに提示する。
具体的に、指示受付処理部F11は、編集画面G21における開始時間操作部TSと終了時間操作部TEとを用いて指示された視点切替動画の時間長、又は時間長操作部TLを用いて指示された時間長に基づいた切替周期を計算する。この場合の計算は、指示された時間長が長いほどより長い切替周期が算出されるように行う。
本例の指示受付処理部F11は、時間長の指示操作に応じて指示時間長が変化するごとに切替周期を計算し、計算した切替周期の情報を切替周期操作部Fsに表示する。具体的にこの場合は、計算した切替周期の情報を表示すると共に、切替周期操作部Fsにおいて計算した切替周期が選択された状態となるようにする。これにより、視点切替動画の時間長に応じた適切とされる視点切替周期をユーザに提示することができる。
例えば、短時間の視点切替動画において視点切替周期が長くされた場合には、閲覧者に視点切替の頻度が少なく感じられ易く、視点切替による動画の見栄えの向上効果が薄れてしまう。逆に、長時間の視点切替動画において視点切替周期が短くされた場合には、視点切替頻度が過剰に高まって閲覧者に忙しない印象を与えてしまい、返って動画の見栄えの低下を招く虞がある。このため、上記のような切替周期の計算及び提示を行うことは、動画の見栄え向上を図る上で効果的である。
さらに、本例における指示受付処理部F11は、ランダム選択処理部F12による前記選択の再実行指示の受け付けを行う。これは、先の図14Bで説明したプレビュー画面G22において「やり直し」ボタンB25の操作を受け付けることに相当する。
各動画区間に用いるべき動画のランダムな選択が実行し直されることで、ユーザの意図に沿った視点切替動画に生成し直すことが可能とされる。
従って、ユーザにとっての有益性を高めることができる。
撮像動画取得処理部F13は、サーバ装置9からデータ軽量化処理の施された複数の撮像動画を取得する。
動画表示制御処理部F14は、データ軽量化処理の施された複数の撮像動画に基づき、ランダム選択処理部F12による選択結果に従った視点切替動画の表示制御を行う。これは、本例では前述したプレビュー画面G22において視点切替動画のプレビュー動画mpが表示されるように制御することに相当する。
上記の撮像動画取得処理部F13及び動画表示制御処理部F14により、ユーザ端末10における視点切替動画の表示に係る処理負担の軽減が図られる。特に本例では、視点切替動画のプレビュー動画mpの生成に係る処理負担の軽減が図られる。
[1-8.ユーザ端末の処理]

図17乃至図20のフローチャートを参照し、第一実施形態におけるユーザ端末4が行うべき処理を説明する。
これら図17乃至図20に示す処理は、ユーザ端末10のCPU101が動画取得支援作アプリAp3としてのプログラムに従って実行するものである。図17乃至図20において、ユーザ端末10と言ったときは、特に断りのない限りユーザ端末10のCPU101を指すものとする。
図17において、ユーザ端末10はステップS501で、ダイジェスト購入動画の選択が行われるまで待機する。すなわち、前述した一覧画面においてダイジェス購入動画が選択されるまで待機する。
ダイジェスト購入動画が選択されたことに応じ、ユーザ端末10はステップS502で軽量化動画取得処理を行う。すなわち、ステップS501で選択された動画(各動画部分)に対応する軽量化動画の送信要求をサーバ装置9に対して行い、これに応じサーバ装置9から送信された軽量化動画を取得する。
続くステップS503でユーザ端末10は、編集画面G21の表示処理を行い、さらに続くステップS504及びS505の処理により、「編集実行」ボタンB23が操作されるまで入力操作に応じた処理を実行する。
ステップS504の入力操作に応じた処理は、編集画面G21に設けられた開始時間操作部TS、終了時間操作部TE、時間長操作部TL、切替周期操作部Fs、ラジオボタンrb1、rb2等の各操作部に対する操作に応じた処理を実行するものである。
図18は、ステップS504の入力操作に応じた処理を説明するためのフローチャートである。
ユーザ端末10はステップS601で、動画時間長指示操作が行われたか否かを判定する。つまり本例の場合は、開始時間操作部TSの操作、或いは、終了時間操作部TE又は時間長操作部TLのうち対応するラジオボタンrbの操作により有効化されている方の操作部に対する操作が行われたか否かを判定する。
なお本例において、開始時間操作部TSにおける時間情報の初期値は、ステップS501で選択された動画の始点の時間を表す値とされている。また、終了時間操作部TEにおける時間情報の初期値は、ステップS501で選択された動画の終点の時間を表す値とされている。
図示は省略したが、ステップS601で動画時間長指示操作が行われていないと判定した場合、ユーザ端末10は、編集画面G21における他の各操作の有無を判定し、該当する操作が行われた場合は該操作に応じた処理を実行する。例えば、切替周期操作部Fsの操作が行われた場合には、操作に応じて切替周期情報の表示内容を更新する等の処理が行われる。
一方、ステップS601で動画時間長指示操作が行われたと判定した場合、ユーザ端末10はステップS602に進み、動画時間長取得処理を行う。すなわち、ステップS601で検出された操作により指示された開始時間及び終了時間の情報、又は動画時間長の情報に基づき視点切替動画の時間長を取得する。
ステップS602の取得処理を実行したことに応じ、ユーザ端末10はステップS603で切替周期計算処理を行う。すなわち、視点切替周期の計算を行う。本例において、視点切替周期としては、ステップS602で取得した時間長が長いほどより長い周期となるように計算する。
例えば、動画時間長が1分までは視点切替周期を2秒とし、1分を超える場合は視点切替周期を4秒とする等が考えられる。
続くステップS604でユーザ端末10は、切替周期表示処理として、ステップS603で計算した視点切替周期の情報を切替周期操作部Fsに表示する処理を行う。これにより、計算された視点切替周期の情報がユーザに提示される。
説明を図17に戻す。
ステップS505で「編集実行」ボタンB23が操作されたと判定した場合、ユーザ端末10はステップS506に進み、入力情報に応じた視点切替動画の生成処理を行う。
図19は、ステップS506の入力情報に応じた視点切替動画の生成処理の例を示している。
先ず、ユーザ端末10はステップS701で、指示された切替周期に応じた動画区間分割処理を行う。すなわち、「編集実行」ボタンB23の操作時において指示されていた開始時間から終了時間までの区間を、同指示されていた視点切替周期により分割し、各動画区間とする。
続くステップS702でユーザ端末10は、動画区間総数=Nをセットし、さらに続くステップS703で動画区間識別子nとして「1」をセットする。
ステップS703で動画区間識別子nを「1」にセットしたことに応じ、ユーザ端末10はステップS704で各視点の動画部分のうち一つをランダム選択する。すなわち、ステップS501で選択された動画が第一カメラ、第二カメラ、第三カメラでそれぞれ撮像された動画部分であった場合には、それら三つの動画部分のうちから一つの動画部分をランダムに選択する。
続くステップS705でユーザ端末10は、選択した動画部分の識別情報とn番目の区間情報とを対応付けて保持する。動画部分の識別情報としては、本例では動画部分IDを用いる。以下、このように選択した動画部分の識別情報については、該当する動画区間に用いる動画部分を識別するための情報との意味で「使用動画識別情報」と表記する。
また、n番目の区間情報とは、n番目の動画区間の始点及び終点の時間を表す情報である。
ステップS705の処理では、これら使用動画識別情報と区間情報とを例えばユーザ端末10におけるRAM103等の所定の記憶装置に保持(記憶)させる。
ステップS705の保持処理を実行したことに応じ、ユーザ端末10はステップS706で動画区間識別子nが動画区間総数N以上であるか否かを判定し、否定結果が得られた場合はステップS707に進んで動画区間識別子nの値を1インクリメントし、ステップS704に戻る。
これにより、ステップS701の分割処理で得られた各動画区間について、ステップS704のランダム選択処理、及びステップS705の保持処理が実行されて、各動画区間で使用すべき動画部分の識別情報及び各動画区間の始点及び終点の時間情報が保持される。
ステップS706で肯定結果が得られた場合、ユーザ端末10はステップS708に進んで軽量化動画と保持情報とに基づき、視点切替動画のプレビュー動画mpを生成する。
具体的には、ステップS502で取得した軽量化動画としての各動画部分について、例えば1番目の動画区間から順に、使用動画識別情報が表す動画部分の選択、及び選択した動画部分からの区間情報で特定される区間の動画の抽出を行い、抽出した各動画を時間順に連結して一つの動画ファイルを生成する。
軽量化動画を用いていることで、ユーザ端末10におけるプレビュー動画mpの生成処理負担の軽減が図られる。
再び説明を図17に戻す。
ユーザ端末10は、ステップS506の生成処理を実行したことに応じ、ステップS507でプレビュー画面G22の表示処理を実行し、ステップS508に処理を進める。
ユーザ端末10は、ステップS508、S509、及びS510の処理により、再生ボタンB24の操作、「やり直し」ボタンB25の操作、「確定」ボタンB26の操作の何れかを待機する。すなわち、ユーザ端末10は、ステップS508で再生ボタンB24の操作有無を判定し、否定結果が得られた場合はステップS509で「やり直し」ボタンB25の操作有無を判定し、ステップS509で否定結果が得られた場合はステップS510で「確定」ボタンB26の操作有無を判定し、ステップS510で否定結果が得られた場合はステップS508に戻る。
ステップS508で再生ボタンB24が操作されたと判定した場合、ユーザ端末10はステップS511に進んでプレビュー再生処理を行いステップS508に戻る。プレビュー再生処理としては、ステップS506で生成したプレビュー動画mpの再生処理を行ってプレビュー画面G22においてプレビュー動画mpを表示させる。
また、ステップS509で「やり直し」ボタンB25が操作されたと判定した場合、ユーザ端末10はステップS503に戻って編集画面G21の表示処理を行う。これにより、視点切替動画の生成のやり直しが可能とされる。
また、ステップS510で「確定」ボタンB26が操作されたと判定した場合、ユーザ端末10は図20に示すステップS512に処理を進める。
図20において、ユーザ端末10はステップS512で、動画区間ごとの使用動画識別情報及び区間情報をサーバ装置9に送信する処理を行う。すなわち、ステップS705の処理により保持された動画区間ごとの使用動画識別情報及び区間情報をサーバ装置9に送信する。
サーバ装置9は、このように送信された動画区間ごとの使用動画識別情報及び区間情報を受信して、先のステップS405の処理(図13参照)により、視点切替動画の生成処理を行う。なお、動画区間ごとの使用動画識別情報及び区間情報に基づいたサーバ装置9における視点切替動画の生成手法は、用いる動画部分が軽量化動画でなくその生成の元となった動画部分とされる以外は先のステップS708で説明した視点切替動画(プレビュー動画mp)の生成手法と同様である。
サーバ装置9は、視点切替動画の生成完了に応じて、ユーザ端末10に生成完了通知を行う。
ユーザ端末10は、ステップS512の送信処理を行ったことに応じ、ステップS513でサーバ装置9からの生成完了通知を待機し、生成完了通知があった場合はステップS514で視点切替動画のダウンロード処理を行い、図17及び図20に示した一連の処理を終える。
なお、サーバ装置9は単体の装置で構成されることに限定されない。例えば、撮像管理端末5からの撮像動画のアップロードを受け付ける機能と、視点切替動画の生成やユーザ端末4に対する視点切替動画の配信を行う機能とがそれぞれ別装置で実現されるようにすることもできる。
[1-9.第一実施形態のまとめ]

上記のように第一実施形態の情報処理装置(例えば制御端末1)は、撮像装置による撮像動画における一部の範囲を、ユーザへの配信対象となる動画部分として指定するイン点及びアウト点の情報を取得する情報取得部(情報取得処理部F1)と、情報取得部が取得したイン点及びアウト点の情報と撮像動画とを外部装置に対して送信させる送信制御部(送信制御処理部F2)と、を備えている。
上記のように撮像動画とイン点及びアウト点の情報が外部装置(例えばサーバ装置)に送信されるようにしたことで、仮にイン点又はアウト点が誤った位置に設定されていたとしても、正しい動画範囲に修正を行うことが可能とされる。すなわち、イン点、アウト点の設定を誤ったことに伴い撮像のやり直しが発生してしまうことの防止が図られる。
従って、一連の撮像動画における一部の動画部分をユーザに配信するシステムにおいて、動画部分の範囲修正を容易化して動画撮像関係者の負担軽減を図ることができる。
また、第一実施形態の情報処理装置(例えば制御端末1)においては、送信制御部は、撮像動画として、複数の撮像装置による複数の撮像動画を外部装置に対して送信させている。
これにより、視点切替動画を配信するシステムを実現可能とされる。
従って、配信対象動画の見栄えの向上を図ることができ、動画配信を受けるユーザにとっての有益性向上を図ることができる。
さらに、第一実施形態の情報処理装置(例えば制御端末1又は撮像管理端末5)においては、送信制御部は、動画部分と、動画部分を識別するための動画部分識別情報とを対応付けて外部装置に対して送信させている。
これにより、外部装置における動画部分の管理を容易化できる。
また、第一実施形態の情報処理装置(例えば制御端末1又は撮像管理端末5)においては、情報取得部は、動画部分の配信対象者を識別するための対象者識別情報を取得し、送信制御部は、動画部分識別情報と対象者識別情報とを対応付けて外部装置に対して送信させている。
これにより、外部装置において動画部分と配信対象者との対応関係を管理することが可能とされる。
従って、動画部分が配信対象者以外の者からの要求に応じて配信されないようにすることができる。
さらにまた、第一実施形態の情報処理装置(例えば制御端末1又は撮像管理端末5)においては、情報取得部は、イン点及びアウト点の情報として、撮像動画における異なる複数の動画部分をそれぞれ指定する複数組のイン点及びアウト点の情報を取得すると共に、動画部分ごとの対象者識別情報を取得し、送信制御部は、対象者識別情報が取得された動画部分ごとに、動画部分識別情報と対象者識別情報とを対応付けて外部装置に対して送信させている。
これにより、各動画部分は、それぞれ異なる対象者識別情報(ユーザ識別情報)が対応付けられて外部装置に送信される。
従って、複数の動画部分ごとに異なる配信対象者が設定された場合において、各動画部分が配信対象者以外の者からの要求に応じて配信されないようにすることができる。
また、第一実施形態の情報処理装置(例えば制御端末1又は撮像管理端末5)においては、送信制御部は、対象者識別情報の取得有無に拘わらず、各動画部分についてのイン点及びアウト点の情報をサーバ装置に対して送信させている。
これにより、イン点又はアウト点の設定を誤った場合における修正を可能としつつ、サーバ装置に配信不要とされた動画部分を特定させることが可能とされる。
従って、外部装置において配信不要部分の削除が可能となり、外部装置における記憶容量の圧迫防止を図ることができる。
さらに、第一実施形態の情報処理装置(例えば制御端末1)においては、撮像動画中における動画部分の時間軸上での位置を表す視覚情報と、撮像動画中の時間軸上の位置を指示するためのポインタと、ポインタが指示する位置をイン点の位置として指示するためのイン点指示操作子と、ポインタが指示する位置をアウト点の位置として指示するためのアウト点指示操作子とを画面上に表示させる情報表示制御部(情報表示制御処理部F3)を備え、情報表示制御部は、視覚情報における動画部分を表す表示領域のうちイン点に近い領域とアウト点に近い領域とで表示態様を異ならせると共に、イン点に近い領域とイン点指示操作子の表示態様と、アウト点に近い領域とアウト点指示操作子の表示態様をそれぞれ一致させている。
これにより、イン点、アウト点の修正操作を行う際に、イン点に近い領域の付近にポインタを位置させた際にはイン点指示操作子を操作すべきこと、及びアウト点に近い領域の付近にポインタを位置させた際にはアウト点指示操作子を操作すべきことを明確に表すことが可能とされる。
従って、例えばポインタにより指示した位置をイン点として指示すべきことろアウト点指示操作子を操作してしまう等、イン点、アウト点の修正に係る誤操作防止を図ることができる。
さらにまた、第一実施形態の情報処理装置(例えば制御端末1)においては、撮像動画に対するアウト点の指示が行われたことに応じて、当該指示されたアウト点に対応する前記動画部分についての購入情報入力フォームの生成指示を行う入力フォーム生成指示部(入力フォーム生成指示処理部F4)を備えている。
これにより、撮像動画の録画が終了する前であっても、購入情報入力フォームが生成されてユーザが動画部分の購入手続を行うことが可能とされる。
従って、ユーザは自身の出番が終了した後に撮像動画の録画終了まで待つことなく動画部分の購入手続を行うことができ、ユーザの利便性向上を図ることができる。
第一実施形態の別の情報処理装置(ユーザ端末4)は、異なる撮像視点から被写体を撮像した複数の撮像動画に基づいて撮像視点が経時的に切り替えられる一つの視点切替動画を生成するための指示として、撮像視点の切替間隔の指示を受け付ける指示受付部(指示受付処理部F11)と、切替間隔により区分される視点切替動画の各動画区間に用いるべき動画を複数の撮像動画のうちからランダムに選択するランダム選択部(ランダム選択処理部F12)と、を備えている。
上記構成によれば、ユーザが少なくとも撮像視点の切替間隔を指示するだけで、撮像視点が経時的にランダムに切り替えられる視点切替動画が生成される。
従って、ユーザに大きな操作負担を強いることなく、或る程度見栄えのする動画を生成することができる。すなわち、編集動画の見栄えの低下防止を図りながら編集に係るユーザ負担の軽減を図り、編集機能の利用促進を図ることができる。
また、第一実施形態の別の情報処理装置においては、指示受付部は、視点切替動画として生成すべき動画の全体時間長の指示を受け付けると共に、指示された全体時間長に基づいて計算した切替間隔の情報をユーザに提示している。
これにより、視点切替動画の時間長に応じた適切とされる視点切替間隔をユーザに提示することができる。
さらに、第一実施形態の別の情報処理装置においては、指示受付部は、ランダム選択部による選択の再実行指示の受け付けを行っている。
各動画区間に用いるべき動画のランダムな選択が実行し直されることで、ユーザの意図に沿った視点切替動画に生成し直すことが可能とされる。
従って、ユーザにとっての有益性を高めることができる。
さらにまた、第一実施形態の別の情報処理装置においては、外部装置からデータ軽量化処理の施された複数の撮像動画を取得する撮像動画取得部(撮像動画取得処理部F13)と、データ軽量化処理の施された複数の撮像動画に基づき、ランダム選択部による選択結果に従った視点切替動画の表示制御を行う動画表示制御部(動画表示制御処理部F14)と、を備えている。
これにより、情報処理装置における視点切替動画の表示に係る処理負担の軽減が図られる。
<2.第二実施形態>
[2-1.ユーザ端末の機能]

続いて、第二実施形態について説明する。
第二実施形態は、ユーザに提示する視点切替周期の計算手法が第一実施形態とは異なるものである。
なお、以下の説明において、既にこれまでに説明済みとなった部分と同様となる部分については、特に断りがない限り同一の符号やステップ番号を付して説明を省略する。以下の説明において、動画配信システムの構成や制御端末1、撮像管理端末5、サーバ装置9、及びユーザ端末10のハードウェア構成については第一実施形態と同様となることから図示による説明は省略する。
第二実施形態では、ユーザ端末10において動画取得支援アプリAp3に代えて動画取得支援アプリAp3Aがインストールされている。
動画取得支援アプリAp3Aにより実現される機能としては、先の図15で説明した指示受付処理部F11、ランダム選択処理部F12、撮像動画取得処理部F13、及び動画表示制御処理部F14としての機能があるが、この場合、指示受付処理部F11による視点切替周期の計算機能が第一実施形態の場合とは異なる。
この場合における指示受付処理部F11は、撮像動画に付帯された音情報の音特性に基づいて計算した切替周期の情報をユーザに提示する。具体的には、編集画面G21の表示時において、編集対象とされた動画部分に付帯されている音情報についてテンポの解析を行い、解析したテンポに基づいて視点切替周期の計算を行うと共に、計算した視点切替周期の情報を切替周期操作部TLにおいて表示させる。
テンポの速い曲に対し視点切替周期を長く設定してしまうと、閲覧者に視点切替の頻度が少なく感じられ易く、視点切替による動画の見栄えの向上効果が薄れてしまう。逆に、テンポの遅い曲に対し視点切替周期を短く設定してしまうと閲覧者に忙しない印象を与えてしまい、返って動画の見栄えの低下を招く虞がある。
このため本例では、テンポが遅いほどより長い視点切替周期が算出されるように視点切替周期の計算を行う。
[2-2.ユーザ端末の処理]

図21のフローチャートを参照し、第二実施形態としてのユーザ端末10が行うべき処理について説明する。
なお、図21に示す処理はユーザ端末10が動画取得支援アプリAp3Aとしてのプログラムに従って実行する。この場合におけるユーザ端末10が実行すべき処理は先の図17や図18に示したステップS504の処理以外は第一実施形態の場合と同様である。このため、以下では第二実施形態の場合に実行されるべきステップS504の処理について説明する。
図21において、ユーザ端末10(ユーザ端末10のCPU101:以下、図21において同様)は、ステップS801で生成動画範囲指示操作が行われたか否かを判定する。生成動画範囲指示操作とは、視点切替動画の開始点から終了点までの時間範囲を指示する操作を意味するものであり、「生成動画範囲指示操作が行われる」とは、本例では、開始時間操作部TSの操作と、終了時間操作部TE又は時間長操作部TLのうち対応するラジオボタンrbの操作により有効化されている方の操作部に対する操作の双方が行われることを意味する。
図示は省略したが、ステップS801で生成動画範囲指示操作が行われていないと判定した場合、ユーザ端末10は、編集画面G21における他の各操作の有無を判定し、該当する操作が行われた場合は該操作に応じた処理を実行する。
ステップS801で生成動画範囲指示操作が行われたと判定した場合、ユーザ端末10はステップS802に進み、動画範囲取得処理を行う。すなわち、生成動画範囲指示操作により指示された視点切替動画の動画範囲(始点から終点の範囲)の情報を取得する。
続くステップS803でユーザ端末10は、範囲内の音特性解析を行う。つまり、編集対象の動画部分に付帯されている音情報全体のうち、ステップS802で取得した動画範囲と同範囲の音情報について、テンポの解析を行う。
ステップS803の解析処理を行ったことに応じ、ユーザ端末10はステップS804で音特性に応じた切替周期計算処理を行う。つまり本例では、解析したテンポに基づき視点切替周期の計算を行う。上述のように、本例における視点切替周期の計算は、テンポが遅いほどより長い視点切替周期が算出されるように行う。
ステップS804で視点切替周期を計算したことに応じ、ユーザ端末10は前述したステップS604の切替周期表示処理を実行する。これにより、ステップS804で計算された視点切替周期の情報がユーザに対して提示される。
なお、音特性に基づく視点切替周期(間隔)の計算としては、上記したテンポに基づく計算以外にも多様に考えられる。例えば、音圧レベル、周波数特性などに基づいて曲調を推定し、曲調に基づいて視点切替周期を計算することが考えられる。例えば、ハードロック等の激しい曲調であれば、視点切替周期として短い周期が計算されるようにする等が考えられる。
また、ユーザに提示する視点切替周期は、音特性と視点切替動画の全体時間長の双方に基づいて計算することもできる。
例えば、第一実施形態の場合と同様に視点切替動画の全体時間長に応じて計算した視点切替周期をテンポの速さに応じた係数により調整する等の手法が考えられる。
[2-3.第二実施形態のまとめ]

上記のように第二実施形態の情報処理装置(ユーザ端末10)においては、撮像動画には音情報が付帯され、指示受付部(指示受付処理部F11)は、音情報の音特性に基づいて計算した切替間隔の情報をユーザに提示している。
これにより、視点切替動画と共に再生される音情報の音特性に応じた適切とされる視点切替間隔をユーザに提示することができる。
<3.第三実施形態>
[3-1.ユーザ端末の機能]

第三実施形態は、拡大動画の併用により切替可能な視点数の増加を図るものである。
第三実施形態では、ユーザ端末10において動画取得支援アプリAp3に代えて動画取得支援アプリAp3Bがインストールされている。
動画取得支援アプリAp3Bにより実現される機能としては、先の図15で説明した指示受付処理部F11、ランダム選択処理部F12、撮像動画取得処理部F13、及び動画表示制御処理部F14としての機能があるが、この場合、ランダム選択処理部F12による機能が第一実施形態の場合とは異なる。
この場合におけるランダム選択処理部F12は、視点切替動画の各動画区間に用いるべき動画の少なくとも一つとして、撮像動画の一部の画素領域を拡大した拡大動画を選択する。
図22は、拡大動画についての説明図である。
例えば図22の例の場合、元となる撮像動画に対して図中太枠で囲った部分を拡大した動画が、拡大動画に該当する。ここで、撮像動画の「一部の画素領域」とは、撮像動画に含まれる各画素のうち一部の画素で構成される領域を意味する。すなわち、図22の例においては、太枠内の動画が元となる撮像動画に対する「一部の画素領域」に相当する。
本例では、拡大動画としては、視点切替動画の生成対象として選択された動画部分の拡大動画を用いる。
ここで、拡大動画の画サイズは、元となる動画部分の画サイズと同一サイズとする。これは、視点切替動画に組み込まれた際に非拡大画像との画サイズの差が生じないようにするためである。
図22を参照して分かるように、拡大動画は、元となる撮像動画に対して奥行き方向における視点が異なる動画となるものである。従って、視点切替動画に拡大動画を用いることで、切替可能な視点数の増加を図ることができる。
また、本例におけるランダム選択処理部F12は、視点切替動画の各動画区間に用いるべき動画として拡大動画を用いるか否かをランダムに選択する。具体的に、本例では、n番目の動画区間に用いるべき動画の選択時において、各動画部分のうち一つの動画部分をランダム選択すると共に、選択した動画部分の拡大動画を用いるか否かをランダム選択する。
[3-2.ユーザ端末の処理]

図23のフローチャートを参照し、第三実施形態としてのユーザ端末10が行うべき処理について説明する。
なお、図23に示す処理はユーザ端末10が動画取得支援アプリAp3Bとしてのプログラムに従って実行する。この場合におけるユーザ端末10が実行すべき処理は先の図17や図19に示したステップS506の処理以外は第一実施形態の場合と同様であるため、以下では第三実施形態の場合に実行されるべきステップS506の処理について説明する。
先の図19と対比して分かるように、この場合におけるステップS506の処理としても、ステップS701〜S704の処理が実行される。
この場合のユーザ端末10(ユーザ端末10のCPU101:以下、図23において同様)は、ステップS704で各視点の動画部分のうち一つをランダム選択したことに応じ、ステップS901で拡大有無をランダム選択する。
そして、続くステップS902でユーザ端末10は、選択した動画部分の識別情報(使用動画識別情報)と拡大有無情報とn番目の区間情報とを対応づけて保持する処理を行い、ステップS706に処理を進める。
この場合のユーザ端末10は、ステップS706で肯定結果(n≧N)が得られたことに応じて、ステップS903に処理を進める。
ステップS903でユーザ端末10は、軽量化動画と保持情報とに基づき、視点切替動画のプレビュー動画mpを生成する。ステップS903の生成処理は、ステップS708の生成処理と比較して、動画区間ごとに、使用動画識別情報が表す動画部分を選択し且つ選択した動画部分から区間情報で特定される区間の動画を抽出する点は先のステップS708の生成処理と同様となる。但し、ステップS903の処理では、上記のように区間情報で特定される区間の動画を抽出した際に、拡大有無情報を参照し、拡大有無情報が拡大有りを示す場合は該抽出した動画の拡大動画を生成して視点切替動画に用い、拡大無しを示す場合は該抽出した動画を視点切替動画に用いる。
なお、図示は省略したが、この場合のユーザ端末10は、図20に示したステップS512の送信処理として、サーバ装置9に対し、動画区間ごとの使用動画識別情報及び区間情報と共に、動画区間ごとの拡大有無情報を送信して、サーバ装置9に視点切替動画を生成させる。
この場合のサーバ装置9における視点切替動画の生成処理は、用いる動画部分が軽量化動画でなくその生成の元となった動画部分とされる以外は、上記したステップS903の生成処理と同様となる。
なお、第三実施形態において、元となる撮像動画から拡大動画として用いる画素範囲を切り出す際には、切り出し位置をユーザ操作等に応じて可変とすることもできる。
また、該切り出し位置は、元となる撮像動画の視点ごとに、動画内容に応じて可変とすることもできる。例えば、画像解析を行って人物が写しだされている範囲を特定し、該範囲が含まれるように切り出し位置を設定する等が考えられる。この場合、元となる撮像動画のプレビュー画像(動画又は静止画の何れでもよい)上に切り出し位置を表す枠表示を行う等して、ユーザに切り出し位置の設定状態を把握させることもできる。
[3-3.第三実施形態のまとめ]

上記のように第三実施形態の情報処理装置(ユーザ端末10)においては、ランダム選択部(ランダム選択処理部F12)は、視点切替動画の各動画区間に用いるべき動画の少なくとも一つとして撮像動画の一部の画素領域を拡大した拡大動画を選択している。
これにより、切替可能な視点数を増加させることができる。
従って、視点切替動画の見栄えの向上を図るにあたり、撮像環境に用意すべき撮像装置の台数削減を図ることができる。
また、第三実施形態の情報処理装置においては、ランダム選択部は、視点切替動画の各動画区間に用いるべき動画として拡大動画を用いるか否かをランダムに選択している。
これにより、撮像視点の切り替えのランダム性が増す。
従って、視点切替動画のさらなる見栄えの向上を図ることができる。
<4.第四実施形態>
[4-1.ユーザ端末の機能]

第四実施形態は、視点切替動画に対して任意動画を連結可能とするものである。
第四実施形態では、ユーザ端末10において動画取得支援アプリAp3に代えて動画取得支援アプリAp3Cがインストールされている。
動画取得支援アプリAp3Cにより実現される機能としては、先の図15で説明した指示受付処理部F11、ランダム選択処理部F12、撮像動画取得処理部F13、及び動画表示制御処理部F14としての機能があるが、この場合、指示受付処理部F11による機能が第一実施形態の場合とは異なる。また、以下で説明する動画送信制御処理部F15としての機能が追加された点が第一実施形態の場合と異なる。
この場合における指示受付処理部F11は、複数の撮像動画以外の動画を指定する指示を受け付ける。ここで言う複数の撮像動画以外の動画とは、視点切替動画の生成に用いられる複数の撮像動画以外の動画を意味する。
動画送信制御処理部F15は、指示された動画とランダム選択処理部F12による選択結果とがサーバ装置9に送信されるように制御する。ランダム選択処理部F12による選択結果とは、本例では前述した使用動画識別情報が該当する。
このような動画送信制御処理部F15により、視点切替動画に対して任意の動画を連結させた動画をサーバ装置9に生成させることが可能とされる。
以下、視点切替動画に対して連結される動画を「追加動画」とも表記する。
追加動画としては、例えば出演者が曲紹介のコメントをしている様子を撮影した曲紹介動画等とすることが考えられる。
本例では、追加動画は視点切替動画の始点側に連結されることを前提とする。
図24は、追加動画の指示操作に係る画面表示の例を示している。
図24Aは、第三実施形態におけるユーザ端末10が表示する編集画面G21の例を示している。
この場合、編集画面G21を始めとして動画取得支援アプリAp3Cにより提供される画面には、前述した一覧画面ボタンB20、編集画面ボタンB21、プレビュー画面ボタンB22と共に、追加動画画面ボタンB27が表示される。
ユーザは、該追加動画画面ボタンB27を操作することで、図24Bに示すような追加動画画面G23をユーザ端末10に表示させることができる。
追加動画画面G23においては、「撮影開始」ボタンB28が設けられており、ユーザは「撮影開始」ボタンB28を操作することでユーザ端末10に追加動画の撮影開始(録画開始)を指示することができる。確認のため述べておくと、ユーザ端末10における動画撮像は、撮像部10a(図1参照)により行われる。
なお、図示は省略するが、追加動画画面G23には、録画中の撮像動画を画面内にて表示することができる。録画終了操作の受け付けとしては、例えば「撮影開始」ボタンB28の操作に応じて該「撮影開始」ボタンB28に代えて「撮影終了」ボタンを表示し、該「撮影終了」ボタンの操作を受け付けることが考えられる。
追加動画の録画が終了すると、追加動画画面G23の表示内容が図24Cに示すように遷移する。この場合の追加動画画面G23では、「再生」ボタンB29、「再撮影ボタン」B30、及び「確定」ボタンB31が設けられる。「再生」ボタンB29を操作に応じては、追加動画のプレビュー動画maについての再生動画が追加動画画面G23内において表示される。
また、「再撮影ボタン」B30の操作に応じては、追加動画画面G23の表示内容が図24Bに示す状態に戻され、ユーザは再度「撮影開始」ボタンB28を操作することで追加動画の撮り直し(録画し直し)を行うことができる。
「確定」ボタンB31の操作に応じては、撮影された追加動画が視点切替動画への連結対象動画として確定される。
なお、本例では、ユーザは追加動画付きの視点切替動画を生成するか追加動画付きでない視点切替動画を生成するかの選択が可能とされている。具体的に、追加動画付きでない視点切替動画を生成したい場合は、編集画面G21において開始時間操作部TSの操作等の必要な編集操作を行った上で「編集実行」ボタンB23を操作する。これにより、第一実施形態の場合と同様に視点切替動画が生成される。
一方、追加動画付きの視点切替動画を生成したい場合は、追加動画画面G23での上記の操作により追加動画の撮影を行って「確定」ボタンB31を操作した上で、編集画面G21での編集操作を行って「編集実行」ボタンB23を操作する。これにより、以下で説明するようにして追加動画付きの視点切替動画の生成が行われる。
[4-2.ユーザ端末の処理]

図25及び図26のフローチャートを参照し、第四実施形態のユーザ端末10が行うべき処理について説明する。
これら図25及び図26に示す処理は、ユーザ端末10が動画取得支援アプリAp3Cとしてのプログラムに従って実行する。この場合におけるユーザ端末10が実行すべき処理は、先の図17や図18に示したステップS504の処理、及び図17及び図20に示した一連の処理のうち図20に示した処理(「編集実行」ボタンB23の操作に応じて実行される処理)が異なる。このため、以下では第四実施形態の場合に実行されるべきこれらの処理について説明する。
図25において、ユーザ端末10(ユーザ端末10のCPU101:以下、図25及び図26において同様)は、ステップS1001で追加動画画面ボタンB27の操作が行われたか否かを判定する。
図示は省略しているが、ステップS1001で追加動画画面ボタンB27の操作が行われていないと判定した場合、ユーザ端末10は、他の各操作の有無を判定し、該当する操作が行われた場合は該操作に応じた処理を実行する。
ステップS1001で追加動画画面ボタンB27の操作が行われたと判定した場合、ユーザ端末10はステップS1002に進み追加動画画面G23の表示処理を行い、続くステップS1003で撮影開始操作、つまり本例では「撮影開始」ボタンB28が操作されるまで待機する。
撮影開始操作が行われた場合、ユーザ端末10はステップS1004に進み撮影処理を行う。すなわち、撮像部10aによる撮像動画についての録画処理を行う。
例えば前述した「撮影終了」ボタンの操作等、所定の終了条件の成立に応じてステップS1004の撮影処理を終了した場合、ユーザ端末10はステップS1005で追加動画画面G23の表示更新処理を行う。つまり本例では、追加動画画面G23の表示内容を図24Cで説明した表示内容に更新する。
ユーザ端末10は、ステップS1005の表示更新処理を実行したことに応じ、ステップS1006に処理を進める。ユーザ端末10は、ステップS1006、S1007、及びS1007の処理により、「再生」ボタンB29の操作、「再撮影」ボタンB30の操作、「確定」ボタンB31の操作の何れかを待機する。
ステップS1006で「再生」ボタンB29が操作されたと判定した場合、ユーザ端末10はステップS1009に進んで再生処理を行った上でステップS1006に戻る。ステップS1009の再生処理としては、録画された追加動画のプレビュー動画maの再生処理を行って追加動画画面G23内に表示させる処理を行う。
また、ステップS1007で「再撮影」ボタンB30が操作されたと判定した場合、ユーザ端末10はステップS1003に戻って再び撮影開始操作を待機する。これにより、追加動画の録画し直しが可能とされる。
また、ステップS1008で「確定」ボタンB31が操作されたと判定した場合、ユーザ端末10はステップS1010に進んで追加動画フラグを「ON」とする。
続いて、図26の処理を説明する。
この場合のユーザ端末10は、図17に示すステップS510で「確定」ボタンB26が操作されたと判定したことに応じ、図26に示すステップS1101において追加動画フラグが「ON」であるか否かを判定する。
追加動画フラグが「ON」でなければ、ユーザ端末10は先の第一実施形態の場合と同様にステップS512、S513、及びS514の処理を実行して図17から図26に続く一連の処理を終える。
すなわち、この場合は追加動画付きでない視点切替動画がサーバ装置9で生成され、ユーザ端末10にダウンロードされる。
一方、追加動画フラグが「ON」であった場合、ユーザ端末10はステップS1102に進み、動画区間ごとの使用動画識別情報及び区間情報と追加動画とをサーバ装置9に送信する処理を行う。ここでの追加動画は、先のステップS1004の撮影処理で録画が行われた最新の動画である。
この場合のサーバ装置9は、ステップS1102で送信された使用動画識別情報及び区間情報に基づいて視点切替動画の生成を行うと共に、生成した視点切替動画に追加動画を連結した一つの動画ファイルによる追加動画付き視点切替動画を生成する。
ステップS1102に続くステップS1103でユーザ端末10は、サーバ装置9からの生成完了通知を待機し、生成完了通知があった場合はステップS1104で追加動画付き視点切替動画のダウンロード処理を行う。
ステップS1104の処理を実行したことに応じ、ユーザ端末10は図17から図26に続く一連の処理を終える。
なお、上記では追加動画は視点切替動画の始点側に連結する例を挙げたが、視点切替動画に対する追加動画の連結位置は任意である。また、該連結位置は、ユーザ操作等に応じて可変とすることもできる。
また、ユーザ端末10においても追加動画を視点切替動画(軽量化画像に)と連結するようにし、ユーザ端末10において追加動画付き視点切替動画についてのプレビュー動画の再生・表示を行うこともできる。
[4-3.第四実施形態のまとめ]

上記のように第四実施形態の情報処理装置(ユーザ端末10)においては、指示受付部(指示受付処理部F11)は、複数の撮像動画以外の動画を指定する指示を受け付け、指示された動画とランダム選択部による選択結果とが外部装置に送信されるように制御する動画送信制御部(動画送信制御処理部F15)を備えている。
これにより、視点切替動画に対して任意の動画を連結させた動画を外部装置に生成させることが可能とされる。
従って、動画内容の自由度向上を図ることができ、ユーザにとっての有益性を高めることができる。
また、第四実施形態の情報処理装置においては、被写体を撮像する撮像部(同10a)を備え、指示受付部は、撮像部により撮像された動画のうちから視点切替動画に連結されるべき動画の指定指示を受け付けている。
これにより、視点切替動画に任意動画を連結させた動画を得るにあたり、ユーザは、連結対象動画を例えばスマートフォン等のカメラ付き携帯端末を用いて手軽に得ることが可能とされる。
従って、ユーザにとっての有益性向上と利便性向上との両立を図ることができる。
<5.プログラム>

以上、本技術に係る情報処理装置の実施形態としての制御端末1、ユーザ端末10を説明してきたが、実施形態の第一のプログラムは、制御端末1(又は撮像管理端末5)の処理を情報処理装置(CPU等)に実行させるプログラムである。
実施形態の第一のプログラムは、撮像装置による撮像動画における一部の範囲を、ユーザへの配信対象となる動画部分として指定するイン点及びアウト点の情報を取得する情報取得機能と、前記情報取得機能が取得した前記イン点及びアウト点の情報と前記撮像動画とを外部装置に対して送信させる送信制御機能と、を情報処理装置に実現させるプログラムである。
すなわち、このプログラムは、例えば制御端末1等の情報処理装置に図10等により説明した処理を実行させるプログラムに相当する。
また、実施形態の第二のプログラムは、異なる撮像視点から被写体を撮像した複数の撮像動画に基づいて撮像視点が経時的に切り替えられる一つの視点切替動画を生成するための指示として、前記撮像視点の切替間隔の指示を受け付ける指示受付機能と、前記切替間隔により区分される前記視点切替動画の各動画区間に用いるべき動画を前記複数の撮像動画のうちからランダムに選択するランダム選択機能と、を情報処理装置に実現させるプログラムである。
すなわち、このプログラムは、例えばユーザ端末10等のコンピュータ装置に図17や図19等により説明した処理を実行させるプログラムに相当するものである。
上記のような第一、第二のプログラムにより、上述した制御端末1、ユーザ端末10としての情報処理装置を実現できる。
そして、このようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリーカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<6.変形例>

本技術は上記した具体例に限定されるものではなく、多様な変形例が考えられる。
例えば、上記では本技術がライブ演奏の撮像に適用される例を挙げたが、本技術は、例えば複数の人物が順に講演を行う講演会イベント等、ライブ演奏以外の他の対象についての撮像にも好適に適用できる。
<7.第一応用例>

本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図27は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図27を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図27では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A〜5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A〜5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A〜5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A〜5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図27では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図28は、集中操作パネル5111における操作画面の表示例を示す図である。図28では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図28を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図29は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図27に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図29では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a〜5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a〜5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図27に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図29では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a〜5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a〜5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a〜5147cにはアクチュエータが設けられており、関節部5147a〜5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a〜5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a〜5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a〜5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図30を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図30は、図29に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図30を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上の構成により実現することのできる手術場の動画編集にも好適に用いられる。この場合、本技術で想定される「ユーザ」としては、例えば術者や医療従事者が該当し、本技術における「撮像装置」としてはカメラヘッド5119やシーリングカメラ5187、術場カメラ5189を用いることが考えられる。
<8.第二応用例>

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図31は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図31に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図31の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図32は、撮像部12031の設置位置の例を示す図である。
図32では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図32には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、ドライブレコーダの動画編集にも好適に用いられる。この場合、本技術で想定される「ユーザ」としては、例えば運転者や自動車保険等の保険業者が該当し、本技術における「撮像装置」としては撮像部12101〜12104の少なくとも何れかを用いることが考えられる。
<9.本技術>

なお本技術は以下のような構成も採ることができる。
(1)
撮像装置による撮像動画における一部の範囲を、ユーザへの配信対象となる動画部分として指定するイン点及びアウト点の情報を取得する情報取得部と、
前記情報取得部が取得した前記イン点及びアウト点の情報と前記撮像動画とを外部装置に対して送信させる送信制御部と、を備える
情報処理装置。
(2)
前記送信制御部は、
前記撮像動画として、複数の撮像装置による複数の撮像動画を前記外部装置に対して送信させる
前記(1)に記載の情報処理装置。
(3)
前記送信制御部は、
前記動画部分と、前記動画部分を識別するための動画部分識別情報とを対応付けて前記外部装置に対して送信させる
前記(1)又は(2)に記載の情報処理装置。
(4)
前記情報取得部は、
前記動画部分の配信対象者を識別するための対象者識別情報を取得し、
前記送信制御部は、
前記動画部分識別情報と前記対象者識別情報とを対応付けて前記外部装置に対して送信させる
前記(3)に記載の情報処理装置。
(5)
前記情報取得部は、
前記イン点及びアウト点の情報として、前記撮像動画における異なる複数の前記動画部分をそれぞれ指定する複数組の前記イン点及びアウト点の情報を取得すると共に、前記動画部分ごとの前記対象者識別情報を取得し、
前記送信制御部は、
前記対象者識別情報が取得された前記動画部分ごとに、前記動画部分識別情報と前記対象者識別情報とを対応付けて前記外部装置に対して送信させる
前記(4)に記載の情報処理装置。
(6)
前記撮像動画中における前記動画部分の時間軸上での位置を表す視覚情報と、前記撮像動画中の時間軸上の位置を指示するためのポインタと、前記ポインタが指示する位置を前記イン点の位置として指示するためのイン点指示操作子と、前記ポインタが指示する位置を前記アウト点の位置として指示するためのアウト点指示操作子とを画面上に表示させる情報表示制御部を備え、
前記情報表示制御部は、
前記視覚情報における前記動画部分を表す表示領域のうち前記イン点に近い領域と前記アウト点に近い領域とで表示態様を異ならせると共に、前記イン点に近い領域と前記イン点指示操作子の表示態様と、前記アウト点に近い領域と前記アウト点指示操作子の表示態様をそれぞれ一致させる
前記(1)乃至(5)の何れかに記載の情報処理装置。
(7)
前記撮像動画に対するアウト点の指示が行われたことに応じて、当該指示されたアウト点に対応する前記動画部分についての購入情報入力フォームの生成指示を行う入力フォーム生成指示部を備える
前記(1)乃至(6)の何れかに記載の情報処理装置。
(8)
異なる撮像視点から被写体を撮像した複数の撮像動画に基づいて撮像視点が経時的に切り替えられる一つの視点切替動画を生成するための指示として、前記撮像視点の切替間隔の指示を受け付ける指示受付部と、
前記切替間隔により区分される前記視点切替動画の各動画区間に用いるべき動画を前記複数の撮像動画のうちからランダムに選択するランダム選択部と、を備える
情報処理装置。
(9)
前記指示受付部は、
前記視点切替動画として生成すべき動画の全体時間長の指示を受け付けると共に、
指示された前記全体時間長に基づいて計算した前記切替間隔の情報をユーザに提示する
前記(8)に記載の情報処理装置。
(10)
前記撮像動画には音情報が付帯され、
前記指示受付部は、
前記音情報の音特性に基づいて計算した前記切替間隔の情報をユーザに提示する
前記(8)又は(9)に記載の情報処理装置。
(11)
前記ランダム選択部は、
前記視点切替動画の各動画区間に用いるべき動画の少なくとも一つとして前記撮像動画の一部の画素領域を拡大した拡大動画を選択する
前記(8)乃至(10)の何れかに記載の情報処理装置。
(12)
前記ランダム選択部は、
前記視点切替動画の各動画区間に用いるべき動画として前記拡大動画を用いるか否かをランダムに選択する
前記(11)に記載の情報処理装置。
(13)
前記指示受付部は、
前記ランダム選択部による前記選択の再実行指示の受け付けを行う
前記(8)乃至(12)の何れかに記載の情報処理装置。
(14)
前記指示受付部は、
前記複数の撮像動画以外の動画を指定する指示を受け付け、
前記指示された動画と前記ランダム選択部による選択結果とが外部装置に送信されるように制御する動画送信制御部を備える
前記(8)乃至(13)の何れかに記載の情報処理装置。
(15)
被写体を撮像する撮像部を備え、
前記指示受付部は、
前記撮像部により撮像された動画のうちから前記視点切替動画に連結されるべき動画の指定指示を受け付ける
前記(14)に記載の情報処理装置。
(16)
外部装置からデータ軽量化処理の施された前記複数の撮像動画を取得する撮像動画取得部と、
前記データ軽量化処理の施された前記複数の撮像動画に基づき、前記ランダム選択部による選択結果に従った前記視点切替動画の表示制御を行う動画表示制御部と、を備える
前記(8)乃至(15)の何れかに記載の情報処理装置。
1 制御端末、2 撮像装置、5 撮像管理端末、9 サーバ装置、10 ユーザ端末、10a 撮像部、G15 修正操作画面、ip プレビュー画像、aw 波形情報、ba 全長バー、bp 動画部分表示バー、SL スライダ、B5 対象選択ボタン、B6 「イン点設定」ボタン、B7 「アウト点設定」ボタン、G18 購入情報入力画面、G19 購入確定画面、F1 情報取得処理部、F2 送信制御処理部、F3 情報表示制御処理部、F4 入力フォーム生成指示処理部、G21 編集画面、G23 追加動画画面、F11 指示受付処理部、F12 ランダム選択処理部、F13 撮像動画取得処理部、F14 動画表示制御処理部、F15 動画送信制御処理部

Claims (20)

  1. 撮像装置による撮像動画における一部の範囲を、ユーザへの配信対象となる動画部分として指定するイン点及びアウト点の情報を取得する情報取得部と、
    前記情報取得部が取得した前記イン点及びアウト点の情報と前記撮像動画とを外部装置に対して送信させる送信制御部と、を備える
    情報処理装置。
  2. 前記送信制御部は、
    前記撮像動画として、複数の撮像装置による複数の撮像動画を前記外部装置に対して送信させる
    請求項1に記載の情報処理装置。
  3. 前記送信制御部は、
    前記動画部分と、前記動画部分を識別するための動画部分識別情報とを対応付けて前記外部装置に対して送信させる
    請求項1に記載の情報処理装置。
  4. 前記情報取得部は、
    前記動画部分の配信対象者を識別するための対象者識別情報を取得し、
    前記送信制御部は、
    前記動画部分識別情報と前記対象者識別情報とを対応付けて前記外部装置に対して送信させる
    請求項3に記載の情報処理装置。
  5. 前記情報取得部は、
    前記イン点及びアウト点の情報として、前記撮像動画における異なる複数の前記動画部分をそれぞれ指定する複数組の前記イン点及びアウト点の情報を取得すると共に、前記動画部分ごとの前記対象者識別情報を取得し、
    前記送信制御部は、
    前記対象者識別情報が取得された前記動画部分ごとに、前記動画部分識別情報と前記対象者識別情報とを対応付けて前記外部装置に対して送信させる
    請求項4に記載の情報処理装置。
  6. 前記撮像動画中における前記動画部分の時間軸上での位置を表す視覚情報と、前記撮像動画中の時間軸上の位置を指示するためのポインタと、前記ポインタが指示する位置を前記イン点の位置として指示するためのイン点指示操作子と、前記ポインタが指示する位置を前記アウト点の位置として指示するためのアウト点指示操作子とを画面上に表示させる情報表示制御部を備え、
    前記情報表示制御部は、
    前記視覚情報における前記動画部分を表す表示領域のうち前記イン点に近い領域と前記アウト点に近い領域とで表示態様を異ならせると共に、前記イン点に近い領域と前記イン点指示操作子の表示態様と、前記アウト点に近い領域と前記アウト点指示操作子の表示態様をそれぞれ一致させる
    請求項1に記載の情報処理装置。
  7. 前記撮像動画に対する前記アウト点の指示が行われたことに応じて、当該指示されたアウト点に対応する前記動画部分についての購入情報入力フォームの生成指示を行う入力フォーム生成指示部を備える
    請求項1に記載の情報処理装置。
  8. 撮像装置による撮像動画における一部の範囲を、ユーザへの配信対象となる動画部分として指定するイン点及びアウト点の情報を取得する情報取得ステップと、
    前記情報取得ステップが取得した前記イン点及びアウト点の情報と前記撮像動画とを外部装置に対して送信させる送信制御ステップと、
    を情報処理装置が実行する
    情報処理方法。
  9. 撮像装置による撮像動画における一部の範囲を、ユーザへの配信対象となる動画部分として指定するイン点及びアウト点の情報を取得する情報取得機能と、
    前記情報取得機能が取得した前記イン点及びアウト点の情報と前記撮像動画とを外部装置に対して送信させる送信制御機能と、
    を情報処理装置に実現させる
    プログラム。
  10. 異なる撮像視点から被写体を撮像した複数の撮像動画に基づいて撮像視点が経時的に切り替えられる一つの視点切替動画を生成するための指示として、前記撮像視点の切替間隔の指示を受け付ける指示受付部と、
    前記切替間隔により区分される前記視点切替動画の各動画区間に用いるべき動画を前記複数の撮像動画のうちからランダムに選択するランダム選択部と、を備える
    情報処理装置。
  11. 前記指示受付部は、
    前記視点切替動画として生成すべき動画の全体時間長の指示を受け付けると共に、
    指示された前記全体時間長に基づいて計算した前記切替間隔の情報をユーザに提示する
    請求項10に記載の情報処理装置。
  12. 前記撮像動画には音情報が付帯され、
    前記指示受付部は、
    前記音情報の音特性に基づいて計算した前記切替間隔の情報をユーザに提示する
    請求項10に記載の情報処理装置。
  13. 前記ランダム選択部は、
    前記視点切替動画の各動画区間に用いるべき動画の少なくとも一つとして前記撮像動画の一部の画素領域を拡大した拡大動画を選択する
    請求項10に記載の情報処理装置。
  14. 前記ランダム選択部は、
    前記視点切替動画の各動画区間に用いるべき動画として前記拡大動画を用いるか否かをランダムに選択する
    請求項13に記載の情報処理装置。
  15. 前記指示受付部は、
    前記ランダム選択部による前記選択の再実行指示の受け付けを行う
    請求項10に記載の情報処理装置。
  16. 前記指示受付部は、
    前記複数の撮像動画以外の動画を指定する指示を受け付け、
    前記指示された動画と前記ランダム選択部による選択結果とが外部装置に送信されるように制御する動画送信制御部を備える
    請求項10に記載の情報処理装置。
  17. 被写体を撮像する撮像部を備え、
    前記指示受付部は、
    前記撮像部により撮像された動画のうちから前記視点切替動画に連結されるべき動画の指定指示を受け付ける
    請求項16に記載の情報処理装置。
  18. 外部装置からデータ軽量化処理の施された前記複数の撮像動画を取得する撮像動画取得部と、
    前記データ軽量化処理の施された前記複数の撮像動画に基づき、前記ランダム選択部による選択結果に従った前記視点切替動画の表示制御を行う動画表示制御部と、を備える
    請求項10に記載の情報処理装置。
  19. 異なる撮像視点から被写体を撮像した複数の撮像動画に基づいて撮像視点が経時的に切り替えられる一つの視点切替動画を生成するための指示として、前記撮像視点の切替間隔の指示を受け付ける指示受付ステップと、
    前記切替間隔により区分される前記視点切替動画の各動画区間に用いるべき動画を前記複数の撮像動画のうちからランダムに選択するランダム選択ステップと、
    を情報処理装置が実行する
    情報処理方法。
  20. 異なる撮像視点から被写体を撮像した複数の撮像動画に基づいて撮像視点が経時的に切り替えられる一つの視点切替動画を生成するための指示として、前記撮像視点の切替間隔の指示を受け付ける指示受付機能と、
    前記切替間隔により区分される前記視点切替動画の各動画区間に用いるべき動画を前記複数の撮像動画のうちからランダムに選択するランダム選択機能と、
    を情報処理装置に実現させる
    プログラム。
JP2019502467A 2017-02-28 2017-12-06 情報処理装置、情報処理方法、プログラム Active JP7095677B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022098169A JP7367807B2 (ja) 2017-02-28 2022-06-17 情報処理装置、情報処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017037785 2017-02-28
JP2017037785 2017-02-28
PCT/JP2017/043822 WO2018159054A1 (ja) 2017-02-28 2017-12-06 情報処理装置、情報処理方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022098169A Division JP7367807B2 (ja) 2017-02-28 2022-06-17 情報処理装置、情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2018159054A1 true JPWO2018159054A1 (ja) 2019-12-19
JP7095677B2 JP7095677B2 (ja) 2022-07-05

Family

ID=63369886

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019502467A Active JP7095677B2 (ja) 2017-02-28 2017-12-06 情報処理装置、情報処理方法、プログラム
JP2022098169A Active JP7367807B2 (ja) 2017-02-28 2022-06-17 情報処理装置、情報処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022098169A Active JP7367807B2 (ja) 2017-02-28 2022-06-17 情報処理装置、情報処理方法

Country Status (5)

Country Link
US (1) US20200059705A1 (ja)
EP (1) EP3591984A4 (ja)
JP (2) JP7095677B2 (ja)
CN (1) CN110326302A (ja)
WO (1) WO2018159054A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP1632925S (ja) * 2018-05-23 2019-06-03
JP1633295S (ja) * 2018-05-23 2019-06-03
JP7163115B2 (ja) * 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
USD902946S1 (en) * 2019-01-31 2020-11-24 Salesforce.Com, Inc. Display screen or portion thereof with graphical user interface
USD888084S1 (en) * 2019-01-31 2020-06-23 Salesforce.Com, Inc. Display screen or portion thereof with graphical user interface
USD888085S1 (en) * 2019-01-31 2020-06-23 Salesforce.Com, Inc. Display screen or portion thereof with graphical user interface
USD967835S1 (en) * 2019-09-23 2022-10-25 NBCUniversal Media, LLC. Display screen with graphical user interface
EP3813388B1 (de) 2019-10-24 2022-04-20 Steinberg Media Technologies GmbH Verfahren zur steuerung einer synchronen, verteilten abgabe von licht
US11483523B2 (en) 2019-11-26 2022-10-25 The Toronto-Dominion Bank System and method for obtaining video for use with photo-based estimation
CN111163264B (zh) * 2019-12-31 2022-02-01 维沃移动通信有限公司 一种信息显示方法及电子设备
CA3180246A1 (en) * 2020-06-04 2021-12-09 Kevin R. Imes Autonomous golf competition systems and methods
US11190828B1 (en) * 2020-11-03 2021-11-30 Dish Network L.L.C. Systems and methods for versatile video recording
CN113747119A (zh) * 2021-07-30 2021-12-03 的卢技术有限公司 一种远程查看车辆周围环境的方法及系统
KR102377080B1 (ko) * 2021-07-30 2022-03-22 아이디아이디 주식회사 멀티 트랙 ui 기반의 디지털 컨텐츠 생성장치
CN115022545B (zh) * 2022-06-02 2024-04-02 北京字跳网络技术有限公司 用于内容拍摄的方法、装置、设备和存储介质
JP7377483B1 (ja) * 2023-04-14 2023-11-10 株式会社モルフォ 動画要約装置、動画要約方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003043339A1 (fr) * 2001-11-12 2003-05-22 Sony Corporation Systeme de remise d'informations, procede, appareil de traitement d'informations et procede
JP2005333381A (ja) * 2004-05-19 2005-12-02 Toshiba Corp メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム
JP2006094420A (ja) * 2004-09-27 2006-04-06 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2009130597A (ja) * 2007-11-22 2009-06-11 Sony Corp 単位映像表現装置、編集卓装置、編集システム、動画編集方法
JP2010246008A (ja) * 2009-04-09 2010-10-28 Kddi Corp 携帯端末によって原コンテンツを編集するコンテンツ編集方法、コンテンツサーバ、システム及びプログラム
US20100287473A1 (en) * 2006-01-17 2010-11-11 Arthur Recesso Video analysis tool systems and methods
JP2012049693A (ja) * 2010-08-25 2012-03-08 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US20130254816A1 (en) * 2012-03-21 2013-09-26 Sony Corporation Temporal video tagging and distribution

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3615055B2 (ja) * 1997-07-07 2005-01-26 株式会社東芝 多画面表示システム
JP2002176613A (ja) 2000-12-06 2002-06-21 Minolta Co Ltd 動画像編集装置、動画像編集方法および記録媒体
JP2004104468A (ja) 2002-09-10 2004-04-02 Sony Corp 動画編集装置、動画編集方法、動画編集のプログラム及び動画編集のプログラムを記録した記録媒体
JP3781301B2 (ja) 2003-04-23 2006-05-31 船井電機株式会社 Dvdプレーヤ、及び映像再生装置
JP4300953B2 (ja) 2003-09-25 2009-07-22 ソニー株式会社 カメラシステムおよびカメラ通信方法
JP4252915B2 (ja) 2004-03-16 2009-04-08 株式会社バッファロー データ処理装置およびデータ処理方法
JP4123209B2 (ja) * 2004-09-07 2008-07-23 ソニー株式会社 映像素材の管理装置及び方法,記録媒体並びにプログラム
JP2007028137A (ja) 2005-07-15 2007-02-01 Fujifilm Holdings Corp 画像編集装置および方法並びにプログラム
US20080313541A1 (en) * 2007-06-14 2008-12-18 Yahoo! Inc. Method and system for personalized segmentation and indexing of media
US20100153520A1 (en) * 2008-12-16 2010-06-17 Michael Daun Methods, systems, and media for creating, producing, and distributing video templates and video clips
US8633984B2 (en) * 2008-12-18 2014-01-21 Honeywell International, Inc. Process of sequentially dubbing a camera for investigation and review
US9323438B2 (en) * 2010-07-15 2016-04-26 Apple Inc. Media-editing application with live dragging and live editing capabilities
KR101505335B1 (ko) * 2010-09-08 2015-03-24 소니 주식회사 비디오 클립들을 제공하는 시스템 및 방법, 및 그 비디오 클립의 작성
JP6326892B2 (ja) 2014-03-20 2018-05-23 大日本印刷株式会社 撮像システム、撮像方法、画像再生装置及びプログラム
JP6598109B2 (ja) 2014-12-25 2019-10-30 パナソニックIpマネジメント株式会社 映像受信方法及び端末装置
CN104796781B (zh) * 2015-03-31 2019-01-18 小米科技有限责任公司 视频片段提取方法及装置
CN106021496A (zh) * 2016-05-19 2016-10-12 海信集团有限公司 视频搜索方法及视频搜索装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003043339A1 (fr) * 2001-11-12 2003-05-22 Sony Corporation Systeme de remise d'informations, procede, appareil de traitement d'informations et procede
JP2005333381A (ja) * 2004-05-19 2005-12-02 Toshiba Corp メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム
JP2006094420A (ja) * 2004-09-27 2006-04-06 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
US20100287473A1 (en) * 2006-01-17 2010-11-11 Arthur Recesso Video analysis tool systems and methods
JP2009130597A (ja) * 2007-11-22 2009-06-11 Sony Corp 単位映像表現装置、編集卓装置、編集システム、動画編集方法
JP2010246008A (ja) * 2009-04-09 2010-10-28 Kddi Corp 携帯端末によって原コンテンツを編集するコンテンツ編集方法、コンテンツサーバ、システム及びプログラム
JP2012049693A (ja) * 2010-08-25 2012-03-08 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US20130254816A1 (en) * 2012-03-21 2013-09-26 Sony Corporation Temporal video tagging and distribution

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAO, Z., ET AL.: ""OmniViewer: Multi-modal Monoscopic 3D DASH"", PROCEEDINGS OF 2015 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA (ISM), JPN6018007994, 16 December 2015 (2015-12-16), pages 449 - 452, XP032886808, ISSN: 0004661865, DOI: 10.1109/ISM.2015.80 *
田中 秀明(外2名): "「映像データベースのための同種メディアの統合」", 情報処理学会研究報告, vol. 98, no. 2, JPN6022020388, 19 January 1998 (1998-01-19), JP, pages 31 - 36, ISSN: 0004778859 *

Also Published As

Publication number Publication date
JP7367807B2 (ja) 2023-10-24
US20200059705A1 (en) 2020-02-20
EP3591984A1 (en) 2020-01-08
EP3591984A4 (en) 2020-07-22
JP2022121503A (ja) 2022-08-19
JP7095677B2 (ja) 2022-07-05
CN110326302A (zh) 2019-10-11
WO2018159054A1 (ja) 2018-09-07

Similar Documents

Publication Publication Date Title
JP7367807B2 (ja) 情報処理装置、情報処理方法
US11727642B2 (en) Image processing apparatus, image processing method for image processing apparatus, and program
US10834315B2 (en) Image transfer apparatus and moving image generating system for transferring moving image data
JP7283037B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6950706B2 (ja) 情報処理装置および方法、並びにプログラム
JP7196833B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
CN111480332B (zh) 控制器和控制方法
JP2019083501A (ja) 撮像装置
JP7077557B2 (ja) 表示制御装置および表示制御方法
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2020217874A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
US11521387B2 (en) Information processing apparatus and information processing method
JP7098526B2 (ja) 電子機器および電子機器のレーン状態制御方法
JP7347499B2 (ja) 撮像装置、撮像信号処理装置、撮像信号処理方法
WO2020202812A1 (ja) 駆動モーター、像ぶれ補正装置及び撮像装置
JP7405132B2 (ja) レンズ鏡筒及び撮像装置
JPWO2020174866A1 (ja) 可変焦点距離レンズ系及び撮像装置
WO2019082686A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R151 Written notification of patent or utility model registration

Ref document number: 7095677

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151