JP4309280B2 - ビューファインダとしてストリーミングビデオを使用する遠隔高解像度写真撮影およびビデオ記録方法 - Google Patents

Description

本技術分野は、遠隔写真撮影に関し、特にビューファインダとしてストリーミングビデオを使用することによる遠隔高解像度写真撮影に関する。

通信の進歩により、電子遠隔装置を利用する遠隔写真撮影がますます望ましくなってきている。人は、しばしば、あるシーンが興味あるものであるかまたはある瞬間が記憶するに値するものであると気づくが、結局のところ、画像を取得するのに利用可能なカメラがないかまたは自身が写真を撮影するために最適な位置にいないことが分かる。同様に、スポーツ競技中、観衆は、通常、個人のカメラを使用して遠方の座席から試合の最適な写真を撮影することができない。さらに、テレビ会議環境における参加者で別の参加者の写真を保持したいと望む参加者は、低解像度ビデオ伝送が通常高解像度な像を生成することができないことを悟る。

遠隔写真撮影は、今のところ、制限された環境で利用可能である。たとえば、テーマパークは、通常、乗物に乗っているかまたはイベントに参加している顧客の画像をデジタルカメラで取得する電子撮影システムを提供する。それら画像は、後に、顧客情報および／または支払情報の確認後に、ネットワークを介して顧客に送信される。しかしながら、電子撮影システムは、単に、顧客の写真をランダムに撮影するのみであり、すなわち、顧客は、タイミング、またはズーミング等のより高度な機能のいずれかに関し、デジタルカメラに対して能動的に制御することができない。さらに、顧客は画像取得前にライブビデオをプレビューすることができない。

ユーザがストリーミングデジタルビデオをビューファインダとして使用することにより遠隔高解像度写真を取得する方法であって、ユーザによって制御される遠隔装置を、１つまたは複数の写真ビデオ取得装置に接続することと、１つまたは複数の写真ビデオ取得装置からストリーミングされるビデオをビューファインダとして使用することにより遠隔装置から高解像度写真を取得することと、ビデオ・静止画像共同パイプラインを使用して、１つまたは複数の写真ビデオ取得装置から取得されたビデオと高解像度写真とを処理し送信することと、を含む。

一実施形態において、１つまたは複数の写真ビデオ取得装置は、１つまたは複数の写真ビデオ取得装置を制御することを望むユーザに対し支払情報を要求し、ユーザにより提出された支払情報を確認し、ユーザが遠隔装置から１つまたは複数の写真ビデオ取得装置を制御することができるようにする。１つまたは複数の写真ビデオ取得装置は、待ち行列システムを実施し、それにより複数のユーザが順番に１つまたは複数の写真ビデオ取得装置を制御するのを可能にする。

別の実施形態では、ネットワークサーバは、ビデオおよび高解像度写真を格納し、そのビデオおよび高解像度写真を、支払をしたユーザに対し送信するか、またはそのビデオおよび高解像度写真をウェブページにポストする。

遠隔高解像度写真撮影の好ましい実施形態を、同じ数字が同じ要素を指す以下の図面に関して詳細に説明する。

（詳細な説明）
ビデオ・静止画像共同パイプライン（joint video and still image pipeline）技術を使用して、ユーザが、遠隔カメラからストリーミングされる低解像度ビデオをビューファインダとして使用して、遠隔高解像度写真を取得することができるように、インターネットを通してネットワークを配備することができる。

図１は、例示的なビデオ・静止画像共同パイプラインを示す。例示的なビデオ・静止画像共同パイプラインは、ビデオ１２０と静止画像１１０すなわち写真とを同時に提供することができる。たとえば、ビデオ１２０が閲覧されるかまたは記録されている間に、スナップショット１２０を撮影して静止画像１１０を生成することができる。ビデオ１２０と静止画像１１０との処理は並列であってよい。ビデオ・静止画像共同パイプラインについては、たとえば、参照により本明細書に援用される、本願と同日に出願された「Concurrent Dual Pipeline for Acquisition, Processing and Transmission of Digital Video and High Resolution Digital Still Photographs」と題された米国特許出願において記載されている。

ビデオ・静止画像共同パイプラインは、カメラからの既存の処理、すなわち、デモザイク処理、カラー処理および画像圧縮を利用する。さらに、ビデオ・静止画像共同パイプラインは、デジタルビデオにおける既存の専門技術、すなわち、ビデオ圧縮ならびにビデオストリーミングおよびトランスコーディングを利用する。静止画像１１０は、典型的には、たとえば２〜４メガピクセルの高解像度を有する。高解像度静止画像１１０はまた、ほとんどデモザイクアーティファクトを残さない高度なデモザイク処理と、正確な色を生成する高品質色補正とを有する。一方、ビデオ１２０は、典型的には、たとえば６４０×４８０解像度の中間または低解像度を有する。高解像度静止画像１１０とは対照的に、中間または低解像度ビデオ１２０は、高速デモザイク処理と高速色補正とを有し、高フレームレートをもたらす。そして、ビデオは、リアルタイム圧縮され低遅延かつ優れた誤り保護でストリーミングされる。

図２は、ユーザがストリーミングビデオ１２０をビューファインダとして使用することにより遠隔高解像度写真を取得する例示的な方法に関連して使用することのできる、例示的なネットワーク２３０とコンピュータ２２０の例示的なハードウェア構成要素とを示す。インターネットもしくは他のタイプのコンピュータまたは電話ネットワーク等のネットワーク２３０は、ユーザの遠隔装置２２２、２２０を１つまたは複数の写真・ビデオ取得装置２４０に接続する。遠隔装置２２２、２２０は、ハンドヘルド装置２２２またはデスクトップコンピュータ２２０であってよく、写真・ビデオ取得装置２４０は、遠隔ビデオカメラであってよい。

コンピュータ２２０は、典型的には、メモリ２０２と、補助記憶装置２１２と、プロセッサ２１４と、入力装置２１６と、表示装置２１０と、出力装置２０８と、を備える。コンピュータ２２０は、ネットワーク２３０を介して遠隔ビデオカメラ２４０に接続され、カメラ２４０にコマンドを送信し、カメラ２４０からストリーミングビデオおよび画像１２０を受信することができる。メモリ２０２は、ランダムアクセスメモリ（ＲＡＭ）または同様のタイプのメモリを含むことができる。補助記憶装置２１２は、ハードディスクドライブ、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブまたは他のタイプの不揮発性データ記憶装置であってよい。補助記憶装置２１２は、さまざまなデータベースまたは他の資源に対応することができる。プロセッサ２１４は、メモリ２０２または補助記憶装置２１２に格納された、もしくはインターネットまたは他のネットワーク２３０から受け取られた、アプリケーションまたは他の情報を実行することができる。入力装置２１６は、キーボード、キーパッド、カーソル制御装置、タッチスクリーン（スタイラスとともに使用する可能性がある）またはマイクロフォン等、コンピュータ２２０にデータを入力するいかなる装置をも含むことができる。表示装置２１０は、たとえばコンピュータモニタ、フラットスクリーンディスプレイまたはディスプレイパネル等、視覚画像を提示するいかなるタイプの装置をも含むことができる。出力装置２０８は、プリンタ等、ハードコピーフォーマットでデータを提示するいかなるタイプの装置、およびスピーカまたは音声形式でデータを提供する任意の装置を含む他のタイプの出力装置を含むことができる。コンピュータ２２０は、複数の入力装置、出力装置および表示装置を含むことができる可能性がある。

コンピュータ２２０を、さまざまな構成要素を有するように示すが、当業者は、このコンピュータが追加のまたは異なる構成要素を備えることができる、ということを認めるであろう。さらに、本発明に一貫する実施の態様を、メモリに格納されているものとして説明するが、当業者は、これらの態様をハードディスク、フレキシブルディスクまたはＣＤ−ＲＯＭを含む補助記憶装置、インターネットまたは他のネットワークからの搬送波もしくは他の形態のＲＡＭまたはＲＯＭ等の他のタイプのコンピュータプログラム製品またはコンピュータ読取可能媒体に格納しまたはそこから読み出すことも可能である、ということを認めるであろう。コンピュータ読取可能媒体は、コンピュータ２２０を特定の方法を実行するように制御する命令を含むことができる。

図３ａおよび図３ｂは、例示的なビデオ・静止画像共同パイプラインによってユーザがネットワーク２３０を介していかに遠隔高解像度写真１１０を取得することができるかを示す。図３ａを参照すると、ネットワーク２３０により、ユーザ３２２は、ネットワーク２３０における遠隔ビデオカメラ等の写真・ビデオ取得装置２４０のうちの１つに接続し、遠隔カメラ２４０によって取得されているビデオ信号１２０を受信することができる。言い換えれば、ユーザ３２２は、ハンドヘルド装置２２２またはデスクトップコンピュータ２２０において、遠隔カメラ２４０によって送信された受信ビデオ信号１２０をビューファインダとして使用することができる。ユーザ３２２は、ビューファインダにおいて関心のあるシーンを認めると、高解像度写真１１０を撮影することができる。カメラ２４０が固定されており、すなわち、いかなるユーザ３２２も制御または移動することができない場合、複数のユーザ３２２が、同じカメラ２４０を使用して同時に高解像度写真を撮影することができる。

別法として、図３ｂに示すように、ユーザ３２２が遠隔カメラ２４０を制御することができる。遠隔写真撮影のためにカメラ２４０のうちの１つを制御するために、ユーザ３２２は、遠隔カメラ２４０にログオンし、インターネットプロトコルアドレス、電子メールアドレスおよびクレジットカード番号等の支払情報等の個人情報を提出することが必要であることがある。各遠隔カメラ２４０は、コンピュータ２２０に類似する、メモリ（図示せず）、マイクロプロセッサ３４０、入力装置（図示せず）、出力装置（図示せず）およびネットワーク接続（図示せず）を備えたマイクロコンピュータであってもよい。遠隔カメラ２４０のマイクロプロセッサ３４０は、ユーザ３２２に対し、制御のアクセスを許可する前に、ユーザの支払情報を確認することができる。顧客情報の確認については、たとえば、参照により本明細書に援用される「Electronic Photography System」と題されたMaurinus他に対する米国特許第６，２２２，６４６号に記載されている。

さらに、マイクロプロセッサ３４０は、複数のユーザ３２２が同じカメラ２４０を制御するために待ち行列システムを実施することができる。待ち行列システムにより、先のユーザ３２２がカメラ２４０をログオフした後にのみ、別のユーザ３２２が同じカメラ２４０にログオンし、制御３６１を行うことができる。制御３６１には、遠隔カメラ２４０を上方または下方に傾けること、カメラ２４０を左または右に回転させること、カメラ２４０を再合焦すること、またはカメラ２４０をズーミングすることが含まれ得る。マイクロプロセッサ３４０はまた、ユーザ３２２から受け取った制御コマンドを実行するために、遠隔カメラ２４０におけるモータを制御する。

ユーザ３２２は、遠隔カメラ２４０を使用してビデオ１２０を音声とともに視聴し記録することができる。ユーザ３２２はまた、遠隔カメラ２４０からストリーミングされるビデオ１２０をビューファインダとして使用して、いつでも、高解像度写真１１０、すなわち高解像度静止画像を取得することができる。ビデオ１２０および高解像度写真１１０を、それぞれビデオ・静止画像共同パイプライン３２０および３１０を使用して処理し送信することができる。高解像度静止画像の送信については、たとえば、参照により本明細書に援用される「Progressive Still Frame Mode」と題されたAndrews他に対する米国特許第６，１０８，０２７号に記載されている。

ビデオ１２０および／または高解像度写真１１０を取得した後、それらを、ネットワーク２３０に接続されるマルチメディアデータベース等、ネットワークサーバにおける記憶装置３５０に保存することができる。ハンドヘルド装置２２２は、典型的には、ビデオ伝送に対し帯域幅制限を有するが、ネットワーク２３０は、高速接続により広帯域幅伝送を処理することができる。したがって、ユーザ３２２がハンドヘルド装置２２２において低品質ストリーミングビデオ１２０を受信する一方、記憶装置３５０に格納されるビデオ１２０は、ビューファインダとして使用されるストリーミングビデオ１２０より高品質のものであり得る。別法として、ユーザ３２２がネットワーク２３０への高速接続によりデスクトップコンピュータ２２０から遠隔カメラ２４０にアクセスする場合、ビューファインダとして使用されるストリーミングビデオ１２０は、広帯域幅接続のためにより高品質なものであり得る。

ビデオ１２０および／または高解像度写真１１０を、ウェブページにポストすることができ、あるいは、支払が確実にされると、たとえば電子メールによりユーザ３２２に送信することができる。ユーザ３２２は、ローカル補助記憶装置２１２にビデオ１２０および／または高解像度写真１１０を格納することができ、プリンタにおいて高解像度写真１１０をプリントすることもできる。

図３ｃは、直接有線接続、赤外線遠隔制御または電話ネットワーク等のポイント・ツー・ポイント接続を介して遠隔高解像度写真１１０を取得するために、ユーザ３２２が遠隔カメラ２４０をいかに制御することができるかを示す。ユーザ３２２は、典型的には、本技術分野において周知である、直接有線接続、赤外線チャネルまたは電話ネットワークチャネル等の通信チャネルを介して、遠隔カメラ２４０に接続し、低解像度ビデオ１２０を受信する。ユーザ３２２はまた、同じかまたは異なる通信チャネルを介して制御コマンド３６２を遠隔カメラ２４０に送信することができる。高解像度写真１１０が取得されると、それをユーザ３２２に対し、同様のチャネルを介して直接送信することができ、あるいはネットワーク２３０を介して送信することができる。

一例として、移動体環境において、ユーザ３２２は、携帯電話またはハンドヘルドコンピュータ等のハンドヘルド機器２２２を使用して、ネットワーク２３０における遠隔カメラ２４０のうちの１つを用いて高解像度写真１１０を制御し取得することができる。カメラ２４０を、たとえばテーマパークの写真を広角度から取得するように特別に配置し、それによってユーザ３２２が、遠隔カメラ２４０から取得されるストリーミングビデオ１２０をビューファインダとして使用することによりテーマパークにおける自身の高解像度写真１１０を取得することができるようにすることができる。高解像度写真１１０を、後にウェブページにポストするか、あるいは支払をしたユーザ３２２に電子メール送信することができる。

別の例として、低解像度ビデオ１２０がネットワークを介して送信されるビデオ会議環境において、参加者３２２は、別の参加者のカメラ２４０を使用して、他の参加者の高解像度写真１１０を取得することができる。

さらに別の例では、スポーツ競技において、ユーザ３２２は、競技の最適なビューを配信するように完璧に配置された遠隔カメラ２４０を通して、ハンドヘルド機器２２２からスポーツ競技を観ることができる。ユーザ３２２はまた、ハンドヘルド機器２２２を使用して、遠隔カメラ２４０からストリーミングされるビデオ１２０をビューファインダとして用いて競技全体を記録しおよび／または高解像度写真１１０を取得することも可能である。

図４は、ユーザ３２２がストリーミングビデオ１２０をビューファインダとして使用することにより遠隔高解像度写真１１０を取得する例示的な方法を示すフローチャートである。ステップ４１０は、ハンドヘルド機器２２２またはデスクトップコンピュータ２２０等、ユーザ３２２の遠隔装置を、遠隔ビデオカメラ等の１つまたは複数の写真・ビデオ取得装置２４０に、直接有線接続、赤外線遠隔制御または電話ネットワーク等のネットワーク２３０または他の手段を介して接続することを含む。遠隔カメラ２４０のうちの１つに対し制御を行うために、ステップ４１２において、ユーザ３２２は、遠隔カメラ２４０に対し支払情報を提供する必要があることがある。ステップ４１４において、遠隔カメラ２４０のマイクロプロセッサ３４０が、ユーザ３２２によって提出された支払情報を確認した後、ステップ４１６において、ユーザ３２２は、遠隔装置から遠隔カメラ２４０を制御することができる。ステップ４１８において、マイクロプロセッサ３４０は、複数のユーザ３２２が同じ遠隔カメラ２４０を順番に制御することができるように待ち行列システムを実施することができる。

次に、ステップ４２０において、ネットワーク２３０により、ユーザ３２２は、遠隔カメラ２４０によって取得されたストリーミングビデオ１２０をビューファインダとして使用して、遠隔カメラ２４０からストリーミングされるビデオ１２０を閲覧し、遠隔装置から高解像度写真１１０を取得することができる。ステップ４３０において、ビデオ・静止画像共同パイプラインを使用して並列にビデオ１２０と高解像度写真１１０とを処理し、送信することができる。したがって、ユーザ３２２がビューファインダで知覚することは、まさに、ユーザ３２２が一眼レフ（ＳＬＲ）カメラにおけるように撮影するものである。ステップ４４０において、ネットワーク２３０は、ビデオ１２０および／または高解像度写真１１０をネットワークサーバの記憶装置３５０に格納することができる。格納されたビデオ１２０は、ビューファインダとして使用されたストリーミングビデオ１２０より高品質のものであってよい。そして、ステップ４４２において、ビデオ１２０および／または高解像度写真１１０を、支払をしたユーザ３２２に送信することができる。別法として、ステップ４４４において、ビデオ１２０および／または高解像度写真１１０をウェブページにポストすることができ、それにより、ステップ４４６において、ユーザ３２２は、デスクトップコンピュータ２２０等の遠隔装置にダウンロードすることができる。

図５は、ユーザ３２２がストリーミングビデオ１２０をビューファインダとして使用して遠隔高解像度写真１１０をいかに取得するかを示す別のフローチャートである。第一に、ステップ５１０において、ユーザ３２２は、ハンドヘルド機器２２２またはデスクトップコンピュータ２２０等の遠隔装置からネットワーク２３０にログオンする。そして、ステップ５２０において、ユーザ３２２は、高解像度写真１１０を取得するために、ネットワーク２３０における遠隔ビデオカメラ等の写真・ビデオ取得装置２４０を選択する。ステップ５３０において、ユーザ３２２は、ステップ５４０においてネットワーク２３０を介して遠隔カメラ２４０を制御するために、支払情報を提出する必要があることがある。次に、ステップ５５０において、ユーザ３２２は、ストリーミングビデオ１２０を閲覧し、遠隔カメラ２４０からストリーミングされるビデオ１２０をビューファインダとして使用して遠隔装置から高解像度写真１１０を取得する。

ユーザ３２２は、ステップ５６０において、デスクトップコンピュータ２２０等の遠隔装置においてネットワーク２３０からビデオ１２０および／または高解像度写真１１０を受信し、ステップ５７０において、デスクトップコンピュータ２２０に接続されたローカル記憶装置２１２にビデオ１２０および／または写真１１０を格納することができる。最後に、ステップ５８０において、ユーザ３２２は、デスクトップコンピュータ２２０に接続されたプリンタにおいて高解像度写真１１０をプリントすることができる。

ストリーミングビデオをビューファインダとして使用することにより遠隔高解像度写真を取得する方法および装置を、例示的な実施形態に関連して説明したが、当業者は、これらの教示を考慮した多くの変更が可能であり、この出願がそれらの任意の変形を包含することが意図されていることを理解するであろう。

例示的なビデオ・静止画像共同パイプラインを示す図である。 ユーザがストリーミングビデオをビューファインダとして使用することにより遠隔高解像度写真を取得する例示的な方法とともに使用することのできる、例示的なネットワークとコンピュータの例示的なハードウェア構成要素とを示す図である。 図１の例示的なビデオ・静止画像共同パイプラインにより、ユーザが図２の例示的なネットワークを介していかに遠隔高解像度写真を取得することができるかを示す図である。 図１の例示的なビデオ・静止画像共同パイプラインにより、ユーザが図２の例示的なネットワークを介していかに遠隔高解像度写真を取得することができるかを示す図である。 ユーザが遠隔カメラを制御してポイント・ツー・ポイント接続を介していかに遠隔高解像度写真を取得することができるかを示す図である。 ユーザが、遠隔カメラからストリーミングされるビデオをビューファインダとして使用することにより、遠隔高解像度写真を取得する図２の例示的な方法を示すフローチャートである。 ユーザが、遠隔カメラからストリーミングされるビデオをビューファインダとして使用することにより、いかに遠隔高解像度写真を取得するかを示す別のフローチャートである。

符号の説明

２３０：ネットワーク
２４０：カメラ
３１０：高解像度写真パイプライン
３２０：ビデオパイプライン
３２２：ユーザ
３５０：記憶装置

Claims (10)

1. ユーザが、ストリーミングビデオをビューファインダとして使用することにより、遠隔高解像度写真を取得する方法であって、
   ユーザによって制御される遠隔装置を、１つまたは複数の多解像度ビデオ取得装置に接続するステップと、
   前記１つまたは複数の多解像度ビデオ取得装置からストリーミングされるビデオをビューファインダとして使用することにより、前記遠隔装置から高解像度写真を取得するステップと、
   ビデオ・静止画像共同パイプラインを使用して、前記１つまたは複数の多解像度ビデオ取得装置から取得された前記ビデオと前記高解像度写真とを処理し、送信するステップと、
   を含む、方法。
2. 前記接続するステップが、前記遠隔装置を、ネットワークを介して前記１つまたは複数の多解像度ビデオ取得装置に接続するステップを含む、請求項１に記載の方法。
3. 前記接続するステップが、前記遠隔装置を、ポイント・ツー・ポイント接続を介して前記１つまたは複数の多解像度ビデオ取得装置に接続するステップを含む、請求項１に記載の方法。
4. 前記１つまたは複数の多解像度ビデオ取得装置を制御することを望むユーザに対し支払情報を要求するステップと、
   前記ユーザが前記遠隔装置からの前記１つまたは複数の多解像度ビデオ取得装置を制御することができるようにするステップと、
   をさらに含む、請求項１に記載の方法。
5. 前記ユーザが前記１つまたは複数の多解像度ビデオ取得装置を制御することができるようにする前に、該ユーザによって提出された前記支払情報を確認するステップをさらに含む、請求項４に記載の方法。
6. 前記取得するステップが、待ち行列システムを使用して、複数のユーザが前記１つまたは複数の多解像度ビデオ取得装置を制御するのを可能にするステップを含む、請求項４に記載の方法。
7. ネットワークサーバにおける記憶装置に、前記ビデオおよび前記高解像度写真を格納するステップをさらに含む、請求項１に記載の方法。
8. 前記ユーザに、前記ビデオおよび前記高解像度写真を送信するステップをさらに含む、請求項１に記載の方法。
9. ウェブページ上に前記ビデオおよび前記高解像度写真をポストするステップをさらに含む、請求項１に記載の方法。
10. 前記ウェブページから前記ビデオおよび前記高解像度写真をダウンロードすることを望むユーザに対し、支払情報を要求するステップと、
    前記ユーザが、前記ビデオおよび前記高解像度写真を前記遠隔装置にダウンロードすることを可能にするステップと、
    をさらに含む、請求項９に記載の方法。

Images