JP2023541950A - カメラサービスシステムおよび方法 - Google Patents

カメラサービスシステムおよび方法 Download PDF

Info

Publication number
JP2023541950A
JP2023541950A JP2023517392A JP2023517392A JP2023541950A JP 2023541950 A JP2023541950 A JP 2023541950A JP 2023517392 A JP2023517392 A JP 2023517392A JP 2023517392 A JP2023517392 A JP 2023517392A JP 2023541950 A JP2023541950 A JP 2023541950A
Authority
JP
Japan
Prior art keywords
camera
video
station
information
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023517392A
Other languages
English (en)
Inventor
キム、ドクウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2023541950A publication Critical patent/JP2023541950A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Abstract

プラットフォームに設置されたカメラを含むカメラステーションをユーザが直接操縦しながら映像を見ることができるように構成された、観光地や景勝地、その他関心場所の映像を提供するカメラサービスに関する発明である。移動可能なまたは固定されたプラットフォームに設置されたカメラをカメラサービスサーバーを通じてユーザが直接操縦しながら観光地や景勝地、その他関心場所の映像をリアルタイムで見ることができる。ユーザは前記カメラステーションに有・無線ネットワークで連結されて所定時間の間カメラの方向、ズームイン、ズームアウトなどを操縦することが可能である。ユーザがカメラを独占して使いたい場合には料金を支払うことができる。

Description

本発明は観光地や景勝地、その他関心現場、または車両、ヨット、ヘリコプター、熱気球、ドローンなどに設置されたカメラをユーザが直接制御して撮影し、撮影映像をTV、PC、携帯機器等を通じて観覧できるカメラサービスシステムとその方法に関する。
大抵の人々は基本として自身が行ったことのないところに対する憧れがあり、行ったことのあるところに対する思い出がある。特に、人々に広く知られている観光地や景勝地は多くの人々が訪問して行って見たがる。しかし、時間と費用の制約で観光地や景勝地を直接訪問することはたやすいことではない。また、ときどき人々は仕事帰りにふと夕暮れが見たかったり、コーヒーを飲んで日が昇るのを見たかったり、海辺をドライブしたり森の道を歩いたりもしたい。しかし、現実的にすぐに該当場所に移動することは不可能であるので想像で終わることになる。
前記のような欲求はユーチューブ(Youtube)で代表される映像サイトやグーグルマップを通じて一定部分解消が可能である。すなわち、他人がアップロードした映像の中から望む観光地や景勝地の映像を探してみる方式で一部分解消が可能である。また多様なところの映像をリアルタイムで中継する映像サイトを通じて、特定地域の映像をリアルタイムで見ることも可能である。例えば独島の映像はリアルタイムで独島関連サイトで見ることができる。
しかし、これらのサイトで映像を見ても自身がカメラをリアルタイムで直接操作することは不可能であり、ひいてはドローンや車両のようにカメラが設置されたプラットフォームをリアルタイムで直接移動させながら得られる映像を見ることはほとんど不可能である。
観光、旅行などの場合だけでなく、工事現場、不動産、グルメ店などの関心場所についても同じである。
本発明では、このようなユーザの必要性に呼応するために、プラットフォームに設置されたカメラをユーザが直接操縦しながら映像を見ることができるように観光地や景勝地、その他関心場所の映像を提供するカメラサービスを提案しようとする。
前記課題を解決するために、本発明のカメラサービスシステムおよび方法は、移動可能なまたは固定されたプラットフォームに設置され、操作可能なカメラで構成されるカメラステーションをカメラサービスサーバーを通じてユーザが直接操縦しながら観光地や景勝地、その他関心場所の映像をユーザ端末装置でリアルタイムで見ることができる機能を有する。ユーザは前記カメラステーションに有・無線ネットワークで連結されて所定時間の間プラットフォームの移動とカメラの方向、ズームイン、ズームアウトなどを操縦することが可能である。ユーザがカメラステーションを独占して使いたければ料金を支払うことができる。この時、本発明のカメラサービスシステムは、一つのプラットフォームに多数のカメラが設置される場合にはカメラ数に相応する多数のカメラステーションが存在するものと認識するが、機械的な撮影方向制御の代わりにパノラマ式映像を作って、そのうちの一部を撮影方向に合わせて提供する複数のカメラが結合されたパノラマカメラユニットは一つのカメラと認識する。
カメラが設置されるプラットフォームは関心場所に設置された固定型であり得、ドローン、自動車、汽車、ボート、潜水艦、ロケット、飛行機、ヘリコプター、熱気球、人などの移動型であり得る。移動型プラットフォームのうち、ドローンや無人自動車のような無人プラットフォームの場合にはユーザがネットワークを通じてサーバーに、またはプラットフォーム内のコンピュータに、移動経路を指定したりプラットフォームをリアルタイムで制御することが可能である。一方、自動車、汽車、ヨット、熱気球などの有人プラットフォームの場合には、ユーザは有人プラットフォームの運転者/操縦士に移動経路に対する情報を提供し、これに伴い、操縦士が有人プラットフォームを移動させる方式で移動経路を指定することができる。移動経路に対する情報をユーザとプラットフォームがやりとりしやすいようにするために関心場所の現場地図と制御画面を提供することが好ましい。一方、リアルタイムでプラットフォームを制御する場合、ユーザ端末装置をユーザ映像端末装置とユーザ制御端末装置に分離して使うのがより好ましい。
追加的に多数の関心場所にカメラステーションが設置されている時には、ユーザーの望む特定のカメラステーションを選択することができる。ユーザは自身が選択した該当カメラステーションから撮影映像の提供を受けることができる。この場合、ユーザは特定地域や特定の主題(例えば夕陽、森、海辺、満月のある夜、雨が降る町など)で多数のカメラステーションをグループにまとめて自分だけの映像の提供を受けることができる。この場合、映像の提供はユーザが設定した方式により順次なされ得る。
さらに、ユーザがカメラをズームイン操縦する際に、人の顔や特定部位が一定の大きさ以上となるとズームインを強制的に中断させたりモザイク処理することができる。一方、商号や電話番号、車両番号などの個人情報の場合にはズームインは継続して可能であるが識別が不可能であるようにモザイク処理し、商号や電話番号、車両の所有者が広告料を納めた場合にモザイクを解除するようにカメラサービスを運用することができる。
本発明のカメラサービスシステムは撮影映像をリアルタイムでそのままユーザに提供してもよく、映像処理技術(例えば、イメージプロセッシング)で処理された映像(例えばパステル画、水彩画などの絵、または漫画形式でイメージプロセッシングされた映像)または特定イメージ(文字、記号列、写真など)と合成して提供してもよい。
映像の音響は、原音(現場の音)をそのまま出力することができる。しかし、ユーザが事前に設定した音響制御情報にしたがって原音を除去したり原音に加えて渓谷水の音、風の音、波音、鳥の鳴き声、森の中で録音された音、音楽などの背景音を映像に挿入して提供してもよい。またはユーザの携帯機器を通じて音源サイトに連結し、音源をダウンロードして映像と共に再生することも可能である。
ユーザはカメラステーションを独占して使いたい場合にはサービス使用料を支払う。料金を支払ったユーザは所定時間の間カメラの方向とズームイン/ズームアウトなどを操縦して映像サービスを受けることができる。
カメラステーション占有者(例えば、料金を支払った独占ユーザ)の意思により該当カメラステーションの映像は無料で映像を見ようとする他人に共有され得る。無料映像を見る人々には広告がある映像が提供され、広告の収入は該当カメラステーション占有者と所定の割合で分けることができる。このように、第三者が広告を見て映像を観覧できるようにし、使用料を分けて分担できるのである。この場合、分担額はユーザアカウントに入金されて使用料と相殺したり現金で返還することができる。
前述した本発明の概念は図面と共に後述される具体的な実施例を通じてさらに明確になるであろう。
本発明によると、望む観光地や景勝地、その他、関心場所の映像を既存のウェブサイトで受動的に観覧することを跳び越えて、ユーザが直接カメラをリアルタイムで操縦することができ、ひいては、ドローンや車両のようにカメラ設置プラットフォームをリアルタイムで直接移動させながら得られる映像を観覧することができる。使用料を納めない第三者は広告を見て映像サービスシステムに接続して無料で映像を観覧することができる。
本発明はまた、関心場所に直接行ってみる時に必然的な人々間の対面接触によるウイルス、病原菌、細菌などの感染可能性を大幅に減らすことができる。
本発明に係るカメラサービスシステムの構成図である。 本発明に係るカメラステーション10の構成図である。 本発明に係るカメラステーション10の構成図である。 有人プラットフォーム12aの構成図である。 無人プラットフォーム12bの構成図である。 第三者サービス認証段階のフローチャートである。 本発明に係るカメラサービスシステムの制御情報フローチャートである。 本発明に係るカメラサービスシステムのメディア情報フローチャートである。 カメラサービスサーバー30の構成例示図である。 カメラサービスサーバー30の構成例示図である。 ユーザ端末装置40の多様な具現例示図である。 ユーザ端末装置40の多様な具現例示図である。 ユーザ端末装置40の多様な具現例示図である。 本発明に係るカメラサービス方法のプロセス構成図である。 本発明に係るカメラサービス方法のプロセス構成図である。
以下では、前記にて紹介した本発明の思想を具体的に具現した実施例を説明する。しかし、本発明の技術的範囲は以下で説明する実施例および図面に限定されるものではない。特許請求の範囲の合理的解釈によって定められるものである。
図1は、本発明に係るカメラサービスシステムの概略構成図である。
移動可能なまたは固定されたプラットフォームに設置されて観光地や景勝地、その他関心場所を撮影する一台以上のカメラが含まれたカメラステーション(10:C1、C2、…、CN)がある。カメラステーション10は通信網20を通じてカメラサービスサーバー30に連結される。ユーザはこのカメラサービスサーバー30に通信網20を通じて接続し、ユーザ端末装置(40:U1、U2、…、UN)を使ってカメラサービスサーバー30を通じてカメラステーション10に連結され、所定時間の間カメラステーション10を操縦して映像を見ることになる。ユーザがカメラステーション10を独占して使用したい場合には使用料を支払う。
図2aを参照すると、カメラステーション10内でカメラ13はプラットフォーム12に設置されるが、一般的にプラットフォーム12はカメラ13の移動を担当し、映像と音響はカメラ13が担当することが好ましい。また、カメラステーション10一つ当たり一つの通信装置を有することが好ましいので、カメラサービスサーバー30との連結は全的にプラットフォーム12が担当し、カメラとやりとりする情報はプラットフォーム12とカメラ13の間に別途の専用通信線路を設置して扱った方がよい。図2aはこれを説明するものである。
図2bは,別途のカメラステーション制御部11を設けてプラットフォーム12とカメラ13をすべてカメラステーション制御部11に連結する方式を示す。この時、カメラステーション制御部11が通信網を通じてカメラサービスサーバー30との通信を担当することになる。カメラステーション10は関心場所に固定されてもよく(固定式カメラステーション)、自主的に移動可能であってユーザに多様かつ立体的な映像を提供(移動式カメラステーション)するようにしてもよい。移動式カメラステーションは移動式プラットフォームを使うことになるが、この場合のプラットフォームとしては自動車や汽車のような地上移動機器、ドローンまたは熱気球や飛行機/ヘリコプターのような飛行機器、ボートやヨットのような海上移動機器、宇宙発射体のような宇宙飛行機器、そして潜水艦のような水中移動機器などを使用でき、さらには人を移動式プラットフォームとして活用して、人がカメラを持って移動する形でカメラステーション10を構成してもよい。一方、カメラステーション10が移動式プラットフォームを利用する場合には、ユーザ端末装置40に移動経路が地図上に表示されてユーザが容易にカメラの移動経路が分かるようにする。
カメラステーション10が飛行機/ヘリコプター、自動車、熱気球、ボート、地上移動機器、海上移動機器、飛行機器、宇宙飛行機器、水中移動機器などの運転者/操縦士がいる有人プラットフォームを利用する場合と人間それ自体である場合には、プラットフォームの運転者または操縦士にユーザが移動経路に対する情報を提供して、運転者や操縦士が有人移動プラットフォームを移動させてユーザーの望む位置にプラットフォームを移動させることによってカメラステーション10が移動することになる。
図3aは、これを示す。有人移動プラットフォーム12aはユーザがユーザ端末装置40にネットワークを通じて伝送した操縦のための制御情報を受信してプラットフォーム運転者または操縦士に表出する制御情報通信器121;運転者または操縦士がプラットフォーム12aの移動を制御するようにする操縦器122;この操縦器と連結されてプラットフォーム12aを移動させる駆動器123を具備する。これにより、運転者または操縦士は前記制御情報通信器121に表出された制御情報により操縦器122を使って駆動器123を制御してプラットフォーム12aの移動を制御する。したがって、操縦器122と駆動器123を結合すれば実質的に該当有人プラットフォームそれ自体であり得る。一方、移動経路に対する情報をユーザ(すなわち、ユーザ端末装置40)とプラットフォーム12aがやりとりする時には、現場地図と制御画面などがユーザおよび/または有人プラットフォームの運転者または操縦士に提供される。また、ユーザと有人プラットフォームの運転者または操縦士の間に音声チャネルを補助的に追加して使うことができる。他方で、カメラステーション10がドローンや無人自動車のように自律移動が可能な地上移動機器、海上移動機器、飛行機器、宇宙飛行機器、水中移動機器などである場合の無人移動プラットフォーム12bには、図3bのように通信網を通じて、カメラサービスサーバー30を通じて制御情報を受信して制御情報により無人移動プラットフォーム12bの移動を制御できる自律操縦器124と、この自律操縦器と連結されてプラットフォーム12bを移動させる自律駆動器125が備えられる。このとき、前記自律操縦器124は受信された制御情報を予め設定された動作可能範囲情報と比較して、制御情報が動作可能範囲内にある場合にのみ制御情報によりプラットフォーム12bの自律移動を操縦することが好ましいが、動作可能範囲を検討する機能はカメラサービスサーバー30に具現してもよい。したがって、自律操縦器124と自律駆動器125を結合すればドローンのようなものとなって、カメラサービスサーバー30の命令により動作が制御されて映像を伝送する機能を有する無人プラットフォームそれ自体を意味することになる。
このような自律移動が可能な無人プラットフォーム12bの場合、移動可能領域に対する情報を保管し、受信される制御情報をこれと比較して自身が常に移動可能領域に位置するように自らを統制することができる。またバッテリーの放電、風速の増加、交通事故などの統制できない状況が発生すると、定められたアルゴリズムにより出発したところに復帰するか、近い非常待機位置に移動して待機する機能を有することができる。
次に、カメラステーション10が多数設置されている時に、ユーザは特定のカメラステーション10を選択して映像の提供を受けることが可能である。この場合、ユーザは特定地域や特定の主題(例えば夕陽、森、海辺、満月がある夜、雨が降る町など)で多数のカメラステーション10をグループにまとめて自分だけの映像を順次自動で提供を受けることができる。このために、映像サービスサーバー30は複数のカメラステーション10が提供する映像をキーワードで検索する機能を提供することができる。一方、ユーザは自身が選び出したそれぞれのカメラステーションの映像提供時間と順序を設定して、自動でカメラステーションが順次映像を提供するようにすることができる。
また、本発明は第三者をカメラサービスサーバーに接続可能にすることによって、サービス範囲を増やすことが可能である。すなわち、カメラサービス事業者が保有したカメラステーション以外に、カメラステーションを所有している第三者が本発明の映像サービス事業者に自身のカメラステーションを提供して手数料をもらったり、提供されたカメラステーションの使用によって発生する収益を共有することができる。この場合、第三者はまず自身が提供しようとするカメラステーションとカメラサービスの性格を規定して映像サービス事業者に承認を得けなければならならず、承認された場合に限ってのみカメラステーションをカメラサービスシステムに接続してカメラサービスを提供することができるであろう。事業者は承認時にカメラステーションに使われるプラットフォームとカメラの制御および通信網接続に関連したプロトコルや装備を点検して互換性を確保しなければならないであろう。例えば、第三者が景観のよい自分の建物の屋上にカメラステーションを設置して事業者に賃貸して手数料をもらったり、第三者が自身の車両やヨット、飛行機、熱気球などにカメラを設置してカメラステーションを構成した後、景観がよいところをドライブ、航海、飛行する形式でカメラサービスを提供することが可能である。この場合には、地図上にカメラステーションの移動経路、サービス開始時刻(例えば、13:00時)、およびサービス提供時間(例えば15分)、サンプル映像などを共に表示してユーザが容易に分かるようにすることが好ましいであろう。
このようにすることによって、本発明のカメラサービスに、より多くの人々が主体として参加するように誘導してカメラサービス事業の活性化を図ることができる。この場合に、第三者は自身のカメラステーションを契約により事業者に提供することになるであろうが、一実施形態として、図4のように、カメラステーション保有者がプラットフォーム関連情報、カメラ関連情報、およびサービス計画を含んだ自身のカメラステーション情報をカメラサービス事業者に提供する段階(S10);カメラサービス事業者が、提供されたカメラステーション情報を確認しテストして適合である時に登録の有無を決定する段階(S20);登録が決定されると(S30)、該当カメラステーションをカメラサービスシステムに登録してユーザに公開する段階(S40)を経てユーザが該当カメラステーションを選択して使用できるようにすることができる。
この時、カメラステーション情報には、移動式であるか固定式であるかの可否、固定式である場合、位置および高度に対する情報が含まれ、移動式である場合、自律移動プラットフォームであるか有人プラットフォームであるかに対する情報、移動可能経路に対する情報が含まれる。また、カメラ情報にはズーム機能、方向制御および解像度に対する情報が含まれる。
図5aは、本発明のカメラサービスによる制御情報の流れを示す図面である。ユーザはユーザ端末装置40を利用して一つまたは複数のカメラステーション10を選択するが、これはカメラステーション選択部310が担当する。ユーザが選択したカメラステーション10関連情報はユーザアカウント情報に保管される。次に、ユーザ制御情報はユーザ端末装置40で生成されてカメラサービスサーバー30に伝達される。次に、カメラサービスサーバー30内のカメラステーション操縦部320でユーザ制御情報とカメラステーション10の状態を考慮した最終制御情報を作ってカメラステーション10に伝送する。カメラステーション10は伝達された最終制御情報によりプラットフォーム12とカメラ13を制御する。ユーザ制御情報はリアルタイムで生成されてもよいが、ユーザがカメラサービスサーバー30が提示する制御事例の中から選択してもよい。また、このように生成された制御情報はユーザが設定した編成計画によりユーザアカウントに保存されてからカメラステーション10に伝達されて制御に利用されてもよい。
図5bは、本発明のカメラサービスによるメディア情報(ビデオ情報+オーディオ情報)の流れを示す図面である。カメラ13で生成されたメディア情報は、カメラステーション10を経てカメラサービスサーバー30の映像管理部330に伝達される。映像管理部330に伝達された映像は選択的に保存される一方、図6aで説明する映像処理部340、音響処理部350、映像分析部360、課金広告処理部370を経て映像出力部380を通じてユーザ端末装置40に伝達される。
図6aは、カメラサービスサーバー30の構成の一実施例である。図6に示した映像サービスサーバー30の構成は一つの例示に過ぎず、具現例によっては数個の構成要素が併合されて一つの構成要素で具現されてもよく、一部の構成要素が除外されて別途に具現されたりカメラステーション10のプラットフォーム12やカメラ13に移られてもよい。実質的には複数のワークステーションやDBサーバーで構成されることが好ましいであろう。
カメラステーション選択部310は、カメラサービスシステム30に連結された複数のカメラステーション10に対する情報を提示してユーザが選択できるように助ける機能を担当する。このために、カメラステーション10ごとに固定キーワード(プラットフォーム情報、カメラ情報など)と変動キーワード(天気、時間、移動経路など)を付与して管理し、ユーザは必要に応じて複数のカメラステーション10を選択して自身の設定によりこれらカメラステーション10が提供する映像を編成してユーザ端末装置40で見ることができる。カメラステーション操縦部320は、ユーザが入力する制御情報を指定されたカメラステーション10に伝送してプラットフォーム12の移動を制御したり、カメラ13の方向転換(ティルティング、回転など)、ズームイン、ズームアウト機能などを制御する。この過程には制御結果を確認するための付随的な情報交換が追加的に含まれ得る。具体的には、図6bのように、カメラステーション操縦部320はプラットフォーム操縦部321とカメラ操縦部322に分かれる。
プラットフォーム操縦部321はユーザが入力する制御情報を指定されたカメラステーション10に伝送して該当カメラステーションのプラットフォーム12移動、すなわちカメラステーション10の移動を制御するものである。この場合、プラットフォーム12が自律移動可能な場合にはプラットフォームの自律操縦器124に制御情報が伝達され、有人プラットフォームである場合には制御情報通信器121に伝達されることが好ましい。
カメラ操縦部322はカメラの方向転換(ティルティング、回転など)、ズームイン、ズームアウト機能などを制御できるが、カメラの方向転換は場合によりプラットフォーム操縦部321が担当してもよい。このために、カメラ操縦部322はユーザが入力した制御情報のうち関連情報をカメラステーション10のカメラ13に伝達することが好ましい。一方、カメラ操縦部322はズームイン機能を実行する場合に、人の顔や特定部位が一定の大きさ以上に拡大されないようにズームイン機能を自動で中断する副機能を含むことができる。また、このような機能のために、映像の大きさに対する情報を映像分析部360から提供を受けることができる。
カメラ13のズーム動作(ズームイン、ズームアウト)はデジタルズーム方式で遂行され得、カメラ13の撮影方向制御は複数のカメラから得られる2次元パノラマ映像の一部を提供する方式で遂行され得る。ここで、前記カメラ選択部310とカメラ操縦部320がサーバー30に含まれるものとして例示したが、これに限定されるものではない。すなわち、前述したように、カメラ選択部310および/またはカメラ操縦部320がサーバー30ではなく複数のカメラステーション10の制御を担当する補助サーバー(図示されず)に具現され、サーバー30はユーザの制御情報を補助サーバーに伝達して補助サーバーが直接カメラステーション10を制御する構造も可能である。映像管理部330はカメラ13で撮影された映像を受信して、選択的に保存し分析および処理してユーザに提供する。このために、映像管理部330は映像を映像分析部360を利用して映像を分析して映像に関連したキーワードを付与し、これを前記カメラステーション選択部310を通じてユーザに提供することによって、ユーザが容易に映像を検索して自分だけの映像を編成できる機能を提供する。必要に応じて、予め提供されるカメラステーションの情報を使うことができる。すなわち、リアルタイム気象情報と位置情報と映像分析情報を利用して、例えばハワイ、ワイキキ海辺で雨が降る映像は「ハワイ、ワイキキ、海辺、雨」のようなキーワードを有することになり、ハワイマウイ島のハレアカラ火山の頂上で日が昇る映像は「ハワイマウイハレアカラ、火山日の出」のようなキーワードを有することができる。これと同様に、ユーザが「オーロラ」を検索すれば、現在オーロラが発生した地域のカメラ映像を探して提供することができる。
映像処理部340は映像を与えられた条件により処理する機能を担当するが、まずモザイク処理機能を挙げることができる。映像処理部はカメラ操縦部322を通じてズームイン機能を実行する場合に、人の顔や特定部位が一定の大きさ以上に拡大されて識別されないようにズームイン機能を自動で中断する前記カメラ操縦部322のズームイン中断副機能とは別個に、顔や特定部位などに自動でモザイク、ブラーなどの変造処理をする。映像処理部340はまた、商号、電話番号、車両番号などの個人情報に対して(ズームインの遂行は継続して遂行可能であるが)、識別不可能に自動でモザイクまたはブラー処理をする機能を含むことができる。このような商号や電話番号、車両番号の場合には、該当商号や電話番号、車両の所有者が広告料を納めればモザイクまたはブラー処理を解除する。このために、後述する課金広告処理部370が関連する。課金広告処理部370から情報を受けて、商号や電話番号、車両番号などの映像変造処理時には、映像内の看板を識別して、その情報が予め設定された広告主情報にあるかどうかを探索して、広告主情報にある場合には映像変造処理をしない方式で具現することができる。
一方、カメラ13で撮影された映像は映像管理部330と映像出力部380を通じてリアルタイムで出力されてもよいが、映像処理部340を経て映像処理技術(イメージプロセッシング)で処理された映像(例えば、パステル画、水彩画などの絵や漫画などの形式でプロセッシングされた映像)が出力されてもよい。また、特定イメージ(文字、記号列、写真など)と合成されて出力されてもよい。
音響処理部350は映像の音響を処理して出力する。原音(現場の音)をそのまま出力、またはユーザが予め設定した音響制御情報により原音をなくしたり、原音に加えて、渓谷水の音、風の音、波音、鳥の鳴き声、森の中で録音された音、音楽などの背景音を合成して提供、または音源サイトに連結してユーザの携帯機器に音源を提供を受けて再生することなどが可能である。
また、本カメラサービスサーバー30には前記機能要素以外に課金広告処理部370が含まれる。
カメラステーション10を独占使用するために料金を納めたユーザは特定時間の間カメラステーション10の操縦が可能であるが、これは 課金広告処理部370との連係によって遂行され得る。一方、カメラ占有者の意思により該当カメラステーション10の映像は無料で映像を見ようとする人に共有され得る。無料映像を見る人々には広告がつくことになり、広告の収入は該当カメラ13に対する使用料を納めた人と適切な割合で分けることができる。第三者が広告を見て映像に接続して観覧すると、使用料をカメラユーザ(占有者)と分けて分担する。分担額はユーザのアカウントに入金されてユーザが支払った使用料と相殺したり現金で返還する。本実施例では機能を説明するために映像処理部340、音響処理部350、映像分析部360、課金広告処理部370等を分離構成したが、実際に具現時にはソフトウェアとハードウェアの結合で多様に具現が可能である。また、順次処理するのではなく一部の段階を同時に処理してもよい。
図7a~7cは、ユーザ端末装置40の多様な具現例を示す。
図7aのように、ユーザ端末装置40はカメラサービスサーバー30に有・無線通信網を利用して接続される専用端末41で具現され得る。カメラサービスシステムの運営者がカメラサービスに最適化された構成とUIで専用端末41を設計することができるであろう。専用端末41はPCなどの汎用コンピュータであってもよく、映像サービスシステムに特化したアーキテクチャで設計された専用機器であってもよい。
また、図7bのように、ユーザ端末装置40は移動通信事業者を通じてカメラサービスサーバー30に接続される携帯電話、スマートフォン、タブレットPCなどの携帯機器42で具現され得る。ユーザは携帯機器42に設置されたアプリを使って映像サービスサーバー30にログインして携帯機器42をユーザ制御用端末機および映像出力端末機として使うことができる。
また、図7cのように、ユーザ端末装置40は携帯機器42と、TV受信機などの映像機器43であり得る。ここで、映像機器はケーブルまたは衛星セットトップボックスやインターネットの連結が可能なTV受信機であり得る。この具現例の場合、ユーザは自身の携帯機器42をユーザ制御用端末装置(換言すると、制御端末)として、映像機器43を映像出力用端末装置(換言すると、映像端末)として使うことができる。
例えば、ユーザは携帯電話(またはスマートフォン)のアプリを使ってカメラサービスサーバー30にログインした後、自身が加入したケーブル会社で提供される加入者情報を入力して自身のセットトップボックスを通じてTVで映像を受信することができる。ケーブルセットトップボックスに内蔵されたプログラムが一種のVODサービスのように加入者セットトップボックスを区分して加入者別に特化した映像を伝送することが可能であるため、本発明のカメラサービスサーバー30も同じ方式でサービスが可能である。
インターネット連結が可能なTV受信機の場合には、該当受信機で本カメラサービスサーバー30にログインした後、ユーザ制御端末として使おうとする携帯電話番号を登録する方式で解決が可能である。この場合、ユーザがカメラサービスサーバー30に接続すると、自動で携帯電話のアプリが活性化して制御端末としてのサービス使用が可能となる。
このように、ユーザ端末装置40をユーザがカメラ13を制御する制御端末(すなわち、携帯機器)とユーザが映像を受信する映像端末に分離することによって、TVのような大画面機器でカメラ撮影された映像を観覧しながら、自身の携帯電話やタブレットなどの携帯機器を制御端末として便利に使うことができる。
図8は、前述したカメラサービスシステムで遂行されるカメラサービス方法のプロセスを説明する。図8を参照すると、本発明に係るカメラサービス方法は
-前記カメラサービスサーバー30が前記カメラステーション10の占有状態情報をユーザ端末装置40に伝送する占有状態情報伝送段階;
-ユーザが端末装置40に受信された占有状態情報を参照してカメラステーション10を選択して占有するカメラステーション占有段階;
-前記サーバーが、占有が完了した前記カメラステーション10の制御案内情報をユーザ端末装置40に伝送する制御案内情報伝送段階;
-ユーザが端末装置40に受信された制御案内情報を参照して前記カメラステーション10の操縦のための制御情報を生成し、これをサーバー30に伝送する制御情報生成段階;
-前記サーバー30が、受信された制御情報を保存し、これを前記カメラステーション10に伝送する制御情報伝送段階―ここで、サーバーが受信制御情報を保存するのは、事故が発生して問題が発生した時に事故や問題の原因を確認するためである;
-前記カメラステーション10のプラットフォーム12は受信された制御情報により移動され、前記カメラ13は受信された制御情報によりズーム動作および/または撮影方向が制御されて、前記カメラ13が撮影映像をサーバー30に送信する制御および映像伝送段階;
-前記サーバーが、受信された映像を点検して処理する映像処理段階;および
-前記サーバーが、処理された映像をユーザ端末装置に伝送する処理映像伝送段階―ここで、サーバーは映像を一定時間遅延させて伝送することもあるが、このような映像の遅延送信は事故場面などの予期せぬ場面が露出することを防ぐためのものである―を含む。
ここで、前記カメラステーション10の占有状態情報には料金を賦課するための課金情報が含まれ得る。そして、この時、前記カメラ占有段階はユーザが占有状態情報を参照してカメラステーション10を選択し、課金情報により策定された料金を支払うことによって完了することができる。
また、カメラステーション10の占有状態情報には予約情報が含まれ、この時、前記カメラ占有段階はユーザが占有状態情報を参照してカメラステーション10を選択し予約することによって完了することができる。
また、カメラステーション10の占有状態情報には広告案内情報が含まれ、この時、前記カメラ占有段階はユーザが占有状態情報を参照してカメラステーション10を選択して案内された広告を見ることによって完了することができる。
また、前記制御案内情報にはカメラステーション10に対する順次的な制御情報で構成された複数の制御情報事例が含まれ、このとき、前記制御情報はこれら制御情報事例のうち一つであり得る。
一方、前記映像処理段階は映像内の人の顔が一定の大きさ以上である場合、識別が不可能であるようにイメージプロセッシングをする段階を含むことができる。
また、前記映像処理段階は映像内の車両のナンバープレートが一定の大きさ以上である場合、識別が不可能であるようにイメージプロセッシングをする段階を含むことができる。この場合に、前記映像処理段階は映像内の看板を識別した後、その情報が予め設定された広告主名簿にある場合を除いて識別が不可能であるようにイメージプロセッシングをすることができる。
そして、前記映像処理段階は前述したように、カメラ映像を絵や漫画のように見えるようにイメージプロセッシングをした後に映像を出力することができる。
また、前記映像処理段階は予め設定された音響制御情報により映像の本来の音響と他の音源を合成したり、本来の音響を除去する方式で処理された音響を映像に結合して出力することができる。
そして、前記制御情報伝送段階は受信された制御情報が有効であるか、すなわち、制御情報が操縦可能範囲内に含まれるかを前記サーバー30が検査する制御情報有効性検査段階;制御情報有効性検査によって操縦可能範囲内と判定されると制御情報を前記プラットフォームと前記カメラに伝送し、操縦可能範囲外であれば予め設定された動作を遂行してユーザに操縦可能範囲を外れたことを警告する制御情報処理段階を含むことができる。
前記映像伝送段階は、前記サーバー30が処理された映像をユーザ端末装置40に一定時間遅延させた後に伝送する方式を取って伝送することができる。
図9は、本発明に係る映像サービス方法のうち、ユーザが自分だけの映像チャネルをサービスを受ける場合のプロセスフローチャートである。この場合は、ケーブルTVユーザがケーブルTVのリモコンを押して本発明の映像サービスを使う場合のプロセスを説明する。したがって、この場合のユーザ端末装置40はケーブルまたは衛星セットトップボックスやインターネット連結が可能なTV受信機である。
図9を参照すると、この実施形態に係るカメラサービス方法は
-カメラステーション10が撮影映像をサーバー30に伝送する段階;
-サーバー30が多数のカメラステーション10のキーワードをリアルタイムで分析して、設定された映像主題リストによって該当カメラステーション10の映像主題を分類する映像主題分類段階;
-前記サーバー30が、映像主題リストを前記ユーザ端末装置40に伝送する映像主題リスト伝送段階;
-ユーザが端末装置40に受信された映像主題リストから映像主題を選択する映像主題選択段階―他の実施形態として、ユーザが事前に映像主題設定画面で望む映像主題(ら)を設定し、サーバーがこの映像主題(ら)を取りまとめて映像主題リストを作ってもよい;
-前記サーバー30が、選択された映像主題に該当する映像(ら)と音源(ら)を選んで該当情報をユーザ端末装置40に伝送する映像案内情報提示段階;
-ユーザが端末装置40に受信された映像案内情報を参照して映像(ら)と音源(ら)を選択して映像編成情報を作ってサーバー30に伝送する映像編成情報生成段階;および
-前記サーバー30が、受信された映像編成情報により映像と音源を順にユーザ端末装置40に伝送する映像放映段階
を遂行する。
ここで、前記カメラステーション10のキーワードは設置位置情報、設置位置の自然的な属性、設置位置のリアルタイム天気情報、日付、時間、観測情報などであり得る。
そして、前記プラットフォーム12が特定経路に沿って移動するものである時、前記カメラステーション10のキーウイードはプラットフォームの種類、移動経路などであり得る。
また、前記映像放映情報に含まれた音源は第3のコンピュータによって管理されるシステムに保存されたものであり得る。
以下、前述した本発明に係るカメラサービスシステムおよび方法の実際の使用シナリオについて、具体的な例を通じて説明する。
<使用例1>
ユーザが携帯電話に設置された専用アプリで本発明のカメラサービスサイト(例えば、図1のカメラサービスサーバー30)に接続してカメラサービスを使う使用例である。ここで、ユーザ制御端末装置は携帯電話であり、ユーザ映像端末装置はTV受信機であると仮定する。このとき、ユーザはTV受信機と携帯電話をそれぞれ映像端末と制御端末として使うために事前に設定をしなければならない。ユーザ映像端末装置の設定方式は次の通りである。まず、ユーザはユーザ映像端末装置に指定しようとするTV受信機をつけてインターネットを通じて映像サービスサーバー30に構築されたウェブサイトに接続する。そして、TV画面に示されたユーザ制御端末メニューを(リモコンで)クリックすれば、TV画面に16桁のコードが表示される。ユーザがユーザ制御端末装置である自身の携帯電話で映像サービスアプリを実行させて表示されるユーザ映像端末指定メニューをタッチして前記16桁のコードを入力すると、該当TV受信機がユーザ映像端末装置と指定される。
1)このように、TV受信機と携帯電話を設定しておいた後に、ユーザが携帯電話に設置された専用アプリで提供する地図で望む地域を選択する。例えば、ユーザが済州島のソンサンイルチュルボン地域を選択したと仮定すると、TV受信機に事業者が広報する地域の映像が伝送され、携帯電話のアプリに表示された地図に使用可能なカメラステーションが表示される。ここで、カメラステーションにはプラットフォームの類型によってドローンカメラ、固定式カメラ、潜水艦カメラがあると仮定しよう。
2)カメラサービスサーバーは前記カメラステーションの占有状態情報を生成してこれをユーザ制御端末装置である携帯電話に伝送する(図8参照。以下、同一)。
受信されたカメラステーション占有状態情報は携帯電話の画面を通じて地図上に表示される。このカメラ占有状態情報はアイコンで表示され得る(例えばドローンはドローンの形状のアイコンで、潜水艦は潜水艦の形状のアイコンで表示)。または、表示に段階を設けて、まず簡単にカメラステーション占有状態のみ表示した後、ユーザが特定のカメラステーションをタッチすると吹き出しを表示するなどで詳細情報を表示することができる。
カメラステーション占有状態情報を例にすると、下記の表の通りである。
Figure 2023541950000002
3)ユーザが携帯電話に表示されたカメラステーション占有状態情報を参照してカメラステーションを選択し、これを占有するカメラステーション占有段階を履行する。前記にて例示したカメラステーション占有状態情報で、ドローンカメラユニット1は操縦が可能であるが他のユーザが占有して使用中であるので、ユーザは「リアルタイム映像を見る」や「保存映像を見る」をタッチして該当ドローンカメラの映像を見ることができるが占有は不可能であり共有のみが可能である。一方、無料会員は広告を見た後に映像を見ることができ、月定額会員などの有料会員は広告なしに映像を見ることが可能である。
ユーザがドローンカメラユニット2の使用を望む場合、ドローンカメラユニット2の「使用する」をクリックすれば携帯電話のアプリはポップアップウィンドウを表示して使用時間の入力を受け、使用料支払い案内ポップアップ画面を表示して料金をもらって占有手続きを完了する。万一、使用料が無料である場合には単純に占有意思を明らかにすることによって占有手続きが完了され得るであろう。
4)ドローンカメラユニット2の占有手続きが完了すると、サーバーがドローンカメラユニット2の制御案内情報をユーザ携帯電話に伝送する制御案内情報伝送段階が遂行される。
このように伝送された情報は携帯電話の画面に表示されるが、地図上に現在の位置を表示し、カメラの現在映像を見せながらドローン操縦に必要なボタンを配置して提供する。この時、現在映像はユーザ映像端末装置であるTV受信機にも伝送される。
ユーザはドローンカメラユニット2を操縦して自身が見たい映像を見ることができるようになる。すなわち、これからはユーザが携帯電話に受信された制御案内情報を参照してドローンカメラユニット2のカメラステーション操縦のための制御情報を生成し、これをサーバーに伝送する制御情報生成段階;受信された制御情報をサーバーが保存した後、制御情報が有効であるかを検査した後にドローンカメラユニット2のプラットフォームとカメラに伝送する制御情報伝送段階;ドローンカメラユニット2のドローンは受信された制御情報により移動し、ドローンに付着されたカメラは受信した制御情報によりズーム動作と撮影方向を制御しながら撮影された映像をサーバーに送信する操縦段階;サーバーが受信された映像に人の顔が識別可能な程度であれば顔をぼやけて映像を処理して伝送するか、ユーザが水彩画のトンで映像を設定したのであればイメージプロセッシングを通じて映像を水彩画のトンで処理する映像処理段階;およびサーバーが処理された映像をユーザ映像端末装置に伝送する映像伝送段階が繰り返し遂行される。
前記映像伝送段階でサーバーは映像を一定時間遅延させて伝送してもよいが、このような映像遅延送信は事故場面などの予期せぬ場面が露出することを防ぐためのものである。一方、ユーザは飛行を始める前に飛行計画を立てたり選択してドローンカメラユニット2を操縦することも可能である。この時は、ユーザ携帯電話に飛行高度、飛行経路、飛行速度、カメラの動きなどを設定できる飛行計画作成画面が提示される。この時、飛行計画作成画面には推奨例示や専門家らの飛行計画事例を提示して選択可能にしてもよい。例えば「安楽な飛行」、「ダイナミックな飛行」、「ランダムな飛行」、「専門家1が提示する幻想的な飛行」のように、飛行の性格を示す文面を使ってユーザに見せることができる。ユーザが飛行計画を選択して実行させると、ドローンカメラユニット2は定められた計画に沿って経路を移動することになるが、カメラの方向はユーザが随時操縦できるようにして実感のある映像を感じさせるようにすることができる。
ユーザがドローンカメラユニット2の映像を他人と共有することを許容した場合、接続する他のユーザに「ドローンカメラユニット2は他のユーザが占有中であるが映像は共有され得ること」が表示され得る。この時、他人が接続して共有する場合、広告費の一部をドローンカメラユニット2の占有者がもらうことになれば、ドローンカメラユニット2の占有者は多くの人々が映像を共有するように自身の飛行計画をより精を入れて準備するであろう。
一方、前記使用例1でドローンをハッキングする事故に備えるために、ドローンは自主的に移動可能領域に対する情報を保管し、受信される制御情報をこれと比較して自身が常に移動可能領域に位置するように自らを統制する。またバッテリーの放電および風速の増加などの統制できない状況が発生すると、定められたアルゴリズムにより離陸したところに復帰するか近い非常着陸位置に着陸するようにプログラムすることができる。
5)次に、ユーザが潜水艦カメラユニット1を使う場合を詳察する。現在時間は午前9時40分であると仮定しよう。万一、ユーザが「使用する」をクリックすればポップアップウィンドウを表示して使用料を支払うように案内するポップアップ画面が示され、ユーザは料金を納めて占有手続きを完了する。一方、本潜水艦カメラユニット1の場合、まだ潜水艦の出発時間である午前10時前であるので、これはカメラを予約することによって占有手続きを完了した状況となる。
潜水艦カメラユニット2の占有手続きが完了すると、サーバーが潜水艦カメラユニット2のプラットフォームである潜水艦と設置されたカメラ制御案内情報をユーザ携帯電話に伝送する制御案内情報伝送段階が遂行される。このように伝送された情報は携帯電話の画面に表示されるが、地図上に現在位置を表示し、潜水艦が移動可能な領域を表示することができる。ユーザは移動可能な領域内で自身が所望する移動経路を表示して制御情報でサーバーに伝送する。
サーバーは制御情報を潜水艦の操縦士に制御情報通信器を通じて提供し、操縦者は潜水艦の移動を制御できる操縦器と駆動器を制御して予約された時間からユーザが要請した経路に沿って移動することになる。一方、映像はTV受信機に伝達されて放映されるが、移動中に潜水艦に付着されたカメラはユーザが操縦することができる。必要に応じて潜水艦操縦士がユーザと音声で連結されて説明を聞くこともできる。
<使用例2>
使用例2はユーザが自分だけの映像チャネルのサービスを受ける場合のシナリオである(図9参照。以下、同一)。例えば、ケーブルTVを利用するユーザは地域ケーブルTV事業者を通じてケーブルTVに加入してセットトップボックスを使わなければならない。ところが、殆どのケーブルTVセットトップボックスはケーブル通信網を提供するので、ケーブルセットトップボックスにプログラムが準備されているのであればユーザがケーブルTVリモコンを押してすぐに本発明の映像サービスを利用するように構成することが可能である。この時、ユーザは追加料金を納めてケーブルTVを通じて本発明の映像サービスを利用する形式で運営方式を構成することができる。
ユーザがリモコンを押して映像サービスを実行すると、TV受信機の画面に、映像主題設定画面が示される。ユーザはこの映像主題設定画面で望む映像主題を設定したり、事前に設定されている映像主題リストから望む映像主題を選択することができる。映像主題リストはサーバーがユーザ端末装置であるケーブルTVセットトップボックスに伝送したものであって、映像主題はカメラが設置された位置、該当位置の天気、位置の属性などを反映して設定されたものである。例えばユーザは、「我が国、雨、海辺」のような語彙で映像主題を設定することが可能である。また「雨が降る海辺を歩く」または「月がある夜空を飛ぶ」のような自然語で主題を設定することも可能である。この場合、サーバーはこのような自然語を分析して「雨、海辺、移動」、「夜、月、空、移動」などのキーワードを探し出してカメラを分類するのに使うことができる。
一方、サーバーは所所に設置されたカメラの特性情報(キーワード)をリアルタイムで分析して前記それぞれのカメラを位置、天気、位置属性に分類する。移動可能なプラットフォームの場合には、プラットフォームの種類と移動経路も分類の基準として使われ得る。例えば、ユーザが設定した映像の主題が「ヨーロッパ、晴れた日、森」であれば、映像サービスシステムはヨーロッパの森に設置されたカメラのうち現在きれいな陽光が森の中に差す映像の提供が可能なカメラ(ら)を探してユーザに提示する。この時、映像に付加されるとよい音源を共に提示することができる。音源はサーバーが保存してから提供してもよく、他の音源サイトからリアルタイムでストリーミングする形式でサービスしてもよい。また、ユーザが音源を除去すれば音源なしに現場の音だけで設定してもよく、現場の音と音源を合成する方式で設定してもよい。
ユーザが設定した映像編成情報により総20個の映像が5分間隔で変わって放映され、音源としてヴィヴァルディの四季(Four Seasons)が使われ、ユーザが現場の音20%、音源80%で合成された音響を所望していると仮定すれば、映像サービスシステム(サーバー)はカメラステーションの映像の中から「ヨーロッパ」、「森」「陽光」が全て含まれた映像を選び出して、ユーザのセットトップボックスに「ヨーロッパの陽光が差す森」の映像を5分間隔で変えて伝送するものの、リアルタイムでヴィヴァルディの四季と現場の音を合成して提供することになる。
ユーザが選択した映像編成情報は名前を付けてユーザ設定に保存してから、再び使うことができる。しかし、同一の映像編成情報が選択されても映像がリアルタイムで提供されるので、同一の映像ではない現場感のあるリアルタイム映像を楽しむことができるようになる。一方、ユーザが選択した映像主題にふさわしい映像がないか不足している場合には、録画された映像を「録画映像」表示をして提供することによってユーザの選択幅を増やすこともできる。
他の例として、ユーザが「月がある夜空を飛ぶ」を映像主題として選択したのであれば、サーバーは「月、夜、空、移動」というキーワードを捜し出した後、日付と時間情報を活用して月がある地域を特定することができる。また、該当地域で「空」と「移動」という主題語で飛行機構であるドローン、熱気球、飛行機などに設置されたカメラと移動経路を確認してユーザに提示したり録画された映像のうち該当するものを選び出すことができる。例えば、ドローン1(ハワイ、ワイキキ海辺)、熱気球1(トルコカッパドキア)のように空で移動するカメラを選び出して提示することが可能である。
ユーザはこれらの中で望む映像(ら)を選択して映像編成情報を作ってサーバーに伝送することによって、前記のように自身が所望する映像をケーブルTVセットトップボックスを通じてサービスを受けることができる。例えばユーザが設定した映像編成情報が、映像が総10個であり、映像が10分間隔で変更されて放映され、音源がショパンの夜想曲(Nocturn)であり、ユーザが現場の音30%、音源70%で合成された音響を所望するのであれば、サーバーは主題に合う映像を選び出してユーザのセットトップボックスに月がある夜空を横切るドローンや熱気球が送ってくる映像を10分間隔で変えて伝送するものの、リアルタイムでショパンの夜想曲を現場の音と合成して提供することになる。
これまで本発明の好ましい実施例を通じて本発明を詳細に説明したが、本発明が属する技術分野で通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更することなく本明細書に開示された内容とは異なる具体的な形態で実施され得ることを理解できるであろう。以上で記述した実施例はすべての面で例示的なものであり限定的ではないものと理解されるべきである。また、本発明の保護範囲は前記詳細な説明よりは後述した特許請求の範囲によって定められ、特許請求の範囲そしてその均等概念から導き出されるすべての変更または変形された形態は本発明の技術的範囲に含まれるものと解釈されるべきである。

Claims (21)

  1. カメラが設置可能なように構成されたプラットフォームと、前記プラットフォームに設置され、ズーム動作および撮影方向制御のうちいずれか一つが可能なカメラと、で構成されるカメラステーション;
    前記カメラステーションに通信網を通じて連結されるカメラサービスサーバー;および
    前記カメラサービスサーバーと通信網を通じて連結されて前記カメラステーションを制御するユーザ端末装置を含んで、
    前記ユーザ端末装置が前記カメラステーションの操縦のための制御情報を生成し、これを前記サーバーに伝送すると、前記サーバーが受信された制御情報を前記カメラステーションに伝送し、
    前記カメラステーションのプラットフォームは受信された制御情報により移動され、前記カメラステーションのカメラは受信された制御情報によりズーム動作と撮影方向制御を遂行し、
    前記カメラステーションのカメラが撮影した映像が前記サーバーを通じて前記ユーザ端末装置に伝送されることを特徴とする、カメラサービスシステム。
  2. 前記プラットフォームは固定体であることを特徴とする、請求項1に記載のカメラサービスシステム。
  3. 前記プラットフォームは操縦者の操縦で移動可能であり、通信網を通じて前記制御情報を受信して前記プラットフォームの操縦者に表出する制御情報受信機、操縦者がプラットフォームの移動を制御できる操縦器、および前記操縦器と連結されて前記プラットフォームを移動させる駆動器を含む、請求項1に記載のカメラサービスシステム。
  4. 前記プラットフォームは自律移動が可能であり、通信網を通じて前記制御情報を受信して制御情報によりプラットフォームの移動を制御する自律操縦器、およびこの自律操縦器と連結されてプラットフォームを移動させる駆動器を含むものの、
    前記自律操縦器は受信された制御情報を事前に設定された動作可能範囲情報と比較して、受信された制御情報が事前に設定された動作可能範囲にある場合に前記制御情報によりプラットフォームの移動を制御することを特徴とする、請求項1に記載のカメラサービスシステム。
  5. 前記カメラが撮影した映像内の人の顔が事前に設定された大きさ以上である場合に、識別が不可能であるように変造する映像処理部をさらに含む、請求項1に記載のカメラサービスシステム。
  6. 前記カメラが撮影した映像内個人情報を識別が不可能であるように変造し、前記カメラが撮影した映像をイメージプロセッシングして変化させ、前記カメラが撮影した映像に他のイメージを合成する映像処理部をさらに含む、請求項1に記載のカメラサービスシステム。
  7. 前記カメラが撮影した映像に含まれた音響を変化させる音響処理部をさらに含む、請求項1に記載のカメラサービスシステム。
  8. 前記ユーザ端末装置は
    前記カメラが撮影した映像が表示される映像端末装置;および
    前記カメラステーションを制御する制御端末装置を含む、請求項1に記載のカメラサービスシステム。
  9. 通信網を通じてズーム動作および撮影方向制御が可能なカメラとこのカメラが設置されるプラットフォームが含まれたカメラステーション、前記カメラステーションに通信網を通じて連結されるカメラサービスサーバー、および前記カメラサービスサーバーと通信網を通じて連結されて前記カメラステーションを制御するユーザ端末装置を含むカメラサービスシステムで遂行されるカメラサービス方法であって、
    前記カメラサービスサーバーが前記カメラステーションの占有状態情報を前記ユーザ端末装置に伝送する占有状態情報伝送段階;
    ユーザが端末装置に受信された占有状態情報を参照してカメラステーションを選択して占有するカメラステーション占有段階;
    前記サーバーが、占有が完了した前記カメラステーションの制御案内情報をユーザ端末装置に伝送する制御案内情報伝送段階;
    ユーザが端末装置に受信された制御案内情報を参照して前記カメラステーションの操縦のための制御情報を生成し、これをサーバーに伝送する制御情報生成段階;
    前記サーバーが、受信された制御情報を保存した後、前記プラットフォームとカメラに伝送する制御情報伝送段階;
    前記カメラステーションのプラットフォームは受信された制御情報により移動され、前記カメラは受信された制御情報によりズーム動作と撮影方向が制御され、前記カメラは撮影された映像をサーバーに送信する制御および映像伝送段階;
    前記サーバーが、受信された映像を点検して処理する映像処理段階;および
    前記サーバーが処理された映像をユーザ端末装置に伝送する映像伝送段階を含む、カメラサービス方法。
  10. 前記映像処理段階は
    前記カメラが撮影した映像内の人の顔を識別が不可能であるように変造する段階を含む、請求項9に記載のカメラサービス方法。
  11. 前記映像処理段階は
    前記カメラが撮影した映像をイメージプロセッシングして変化させる段階を含む、請求項9に記載のカメラサービス方法。
  12. 前記映像処理段階は
    前記カメラが撮影した映像に他のイメージを合成する段階を含む、請求項9に記載のカメラサービス方法。
  13. 前記カメラが撮影した映像に含まれた音響を変化させる段階をさらに含む、請求項9に記載のカメラサービス方法。
  14. 前記制御情報伝送段階は
    前記サーバーが、受信された制御情報が有効であるかを検査する制御情報有効性検査段階;および
    前記制御情報有効性検査によって操縦可能範囲内であれば前記制御情報を前記カメラステーションに伝送し、操縦可能範囲外であれば事前に設定された動作を遂行してユーザに操縦可能範囲を外れたことを警告する制御情報処理段階を含む、請求項9に記載のカメラサービス方法。
  15. 前記映像伝送段階は
    前記サーバーが前記処理された映像を事前に設定された時間を遅延させた後にユーザ端末装置に伝送することを特徴とする、請求項9に記載のカメラサービス方法。
  16. 前記制御案内情報にはカメラステーションに対する順次的な制御情報で構成された複数の制御情報事例が含まれ、前記制御情報はこの制御情報事例のうち一つであることを特徴とする、請求項9に記載のカメラサービス方法。
  17. 通信網を通じてズーム動作および撮影方向制御が可能なカメラとこのカメラが設置されるプラットフォームが含まれたカメラステーション、前記カメラステーションに通信網を通じて連結されるカメラサービスサーバー、および前記カメラサービスサーバーと通信網を通じて連結されて前記カメラステーションを制御するユーザ端末装置を含むカメラサービスシステムで遂行されるカメラサービス方法であって、前記カメラステーションが撮影映像を前記カメラサービスサーバーに伝送する段階;
    前記サーバーが前記カメラステーションのキーワードをリアルタイムで分析して事前に設定された映像主題リストにより該当カメラステーションの映像主題を分類する映像主題分類段階;
    前記サーバーが、事前に設定された映像主題リストを前記ユーザ端末装置に伝送する映像主題リスト伝送段階;
    ユーザが端末装置に受信された映像主題リストから映像主題を選択する映像主題選択段階;
    前記サーバーが、選択された映像主題に該当する映像と音源を選択してユーザ端末装置に伝送する映像案内情報提示段階;
    ユーザが端末装置に受信された映像案内情報を参照して映像と音源を選択して映像編成情報を作ってサーバーに伝送する映像編成情報生成段階;
    前記サーバーが受信された映像編成情報により映像と音源をユーザ端末装置に伝送する映像放映段階を含む、カメラサービス方法。
  18. 前記カメラステーションのキーワードは
    設置位置情報、設置位置の自然的な属性、設置位置のリアルタイム天気情報、日付、時間、観測情報のうちいずれか一つを含む、請求項17に記載のカメラサービス方法。
  19. 前記カメラステーションのプラットフォームは特定経路に沿って移動するものであり、前記カメラステーションのキーワードはプラットフォームの種類と移動経路のうちいずれか一つを含む、請求項17に記載のカメラサービス方法。
  20. 前記音源は外部のコンピュータによって管理されるシステムに保存されたものであることを特徴とする、請求項17に記載のカメラサービス方法。
  21. 前記カメラステーションは第三者が提供するものであり、第三者のカメラステーションの提供のために
    カメラステーションの保有者が自身のカメラステーション情報をカメラサービス事業者に提供する段階;
    カメラサービス事業者が、提供されたカメラステーション情報を確認しテストして適合である時に登録の有無を決定する段階;および
    登録が決定されるとカメラステーションをカメラサービスシステムに登録してユーザに公開する段階を遂行することを特徴とする、請求項17に記載のカメラサービス方法。
JP2023517392A 2020-09-16 2021-09-16 カメラサービスシステムおよび方法 Pending JP2023541950A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0119115 2020-09-16
KR1020200119115A KR20220036645A (ko) 2020-09-16 2020-09-16 카메라서비스 시스템 및 방법
PCT/KR2021/012745 WO2022060144A1 (ko) 2020-09-16 2021-09-16 카메라서비스 시스템 및 방법

Publications (1)

Publication Number Publication Date
JP2023541950A true JP2023541950A (ja) 2023-10-04

Family

ID=80776265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023517392A Pending JP2023541950A (ja) 2020-09-16 2021-09-16 カメラサービスシステムおよび方法

Country Status (5)

Country Link
US (1) US20230362485A1 (ja)
JP (1) JP2023541950A (ja)
KR (2) KR20220036645A (ja)
CN (1) CN116194949A (ja)
WO (1) WO2022060144A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11968353B2 (en) * 2021-04-05 2024-04-23 Acumera, Inc. Camera health determination based on local analysis of scene information content

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006532A (ja) * 2001-06-27 2003-01-10 Fujitsu Ltd 移動ロボットとその獲得画像を用いたサーバ経由のサービス提供方式
JP2003023619A (ja) * 2001-07-09 2003-01-24 Matsushita Electric Ind Co Ltd 画像サーバー及び画像サーバーシステム
JP2007213364A (ja) * 2006-02-10 2007-08-23 Nec Corp 画像変換装置、画像変換方法及び画像変換プログラム
KR100920364B1 (ko) * 2008-01-03 2009-10-07 주식회사 알티캐스트 위치 기반 영상 서비스 제공 방법 및 장치
JP6682379B2 (ja) * 2015-08-06 2020-04-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
KR101808157B1 (ko) * 2017-01-19 2017-12-12 주식회사 인디씨에프 영상물에 배경음악을 삽입하는 배경음악 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버

Also Published As

Publication number Publication date
WO2022060144A1 (ko) 2022-03-24
KR20220036645A (ko) 2022-03-23
US20230362485A1 (en) 2023-11-09
KR20230163320A (ko) 2023-11-30
CN116194949A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
US10136260B2 (en) Selectively providing mobile experiences at multiple locations
US9599985B2 (en) Messaging-enabled unmanned aerial vehicle
US10142795B2 (en) Providing digital content for multiple venues
US7546552B2 (en) System and method of attracting, surveying, and marketing to consumers
US20090064014A1 (en) System and method of attracting, surveying, and marketing to consumers
JP2009027703A (ja) リアルタイム情報配信システム及びリアルタイム情報配信方法
CN107207089A (zh) 用于捕获图像的基于无人机的系统和方法
CN102906810A (zh) 支持视觉受损的个体的扩增的现实全景
US20120327257A1 (en) Photo product using images from different locations
CN106657923A (zh) 基于位置的场景切换式共享观景系统
KR20230163320A (ko) 카메라서비스 시스템 및 방법
US8599253B2 (en) Providing photographic images of live events to spectators
US20200117687A1 (en) Providing location based content to mobile devices
KR20200033064A (ko) Mr 그래픽지원 컨텐츠 제공용 플랫폼 서비스 시스템 및 그 구동방법
CN111937024A (zh) 利用基准区域的本地设备的控制服务系统
CN106657922A (zh) 基于位置的场景切换式共享图像处理系统
Pavlik New technology and news flows: Journalism and crisis coverage
KR102118441B1 (ko) 자연공원 관광서비스 관리서버
Ritter Gazing from the air: tourist encounters in the age of travel drones
CN113366827A (zh) 成像方法和系统
WO2015124446A1 (fr) Procédé et système de transmission de données a bord d'un aéronef
CN116409268A (zh) 望远镜控制方法、装置、设备及介质
Beiguelman Mobile Art: From the WAP Promises to the App Bubbles
Herbert A history of early television
US20230214097A1 (en) System and method utilizing multiple virtual presence devices

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20240116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240123