JPWO2020044924A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JPWO2020044924A1
JPWO2020044924A1 JP2020540176A JP2020540176A JPWO2020044924A1 JP WO2020044924 A1 JPWO2020044924 A1 JP WO2020044924A1 JP 2020540176 A JP2020540176 A JP 2020540176A JP 2020540176 A JP2020540176 A JP 2020540176A JP WO2020044924 A1 JPWO2020044924 A1 JP WO2020044924A1
Authority
JP
Japan
Prior art keywords
shooting
image
information processing
scene
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020540176A
Other languages
English (en)
Inventor
盛雄 中塚
盛雄 中塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020044924A1 publication Critical patent/JPWO2020044924A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

撮像装置とネットワークで接続され、ネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、撮影画像に対応するライブビュー画像に基づいて、撮影シーンにおける撮影タイミングを示す目印を設定する情報処理装置である。【選択図】図3

Description

本技術は、情報処理装置、情報処理方法および情報処理プログラムに関する。
従来から静止画、動画を撮影するカメラと、そのカメラを制御する端末装置とがネットワークで接続されたカメラシステムが提案されている。そのようなカメラシステムでは遠隔地からの撮影操作を行える、人が直接カメラを持って撮影位置に行くことが難しい場合でも撮影できるなどの利点がある。
しかし、そのようなカメラシステムではカメラから端末装置に送信されるライブビュー映像は撮影対象である実際の出来事から遅れて端末装置おいて表示されることになる。この遅延の要因としては、例えば、カメラでの映像のエンコードに要する時間、ネットワーク伝送時間、端末装置におけるデコードに要する時間などがある。
そこで、カメラ内でのOVFと実際に撮影された写真の遅れ(シャッタータイムラグ)を把握するためにOVF上にシャッタータイムラグ分遅れた映像を重ね合わせて表示する方法が提案されている(特許文献1)。
特開2012−99984号公報
特許文献1の手法では、シャッタータイムラグが既知である必要があるため、シャッタータイムラグが未知のカメラシステムには適用できない。また、撮影時に見ることができる映像は遅延のないOVFであるため、遅延のある映像しか見ることができない上述のようなカメラシステムにおいては、問題解決に至っていない。
本技術はこのような点に鑑みなされたものであり、ライブビューが遅延していてもそのライブビューを見ながらユーザの所望のシーンを撮影することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
上述した課題を解決するために、第1の技術は、撮像装置とネットワークで接続され、ネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、撮影画像に対応するライブビュー画像に基づいて、撮影シーンにおける撮影タイミングを示す目印を設定する情報処理装置である。
また、第2の技術は、撮像装置と接続されたネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、撮影画像に対応するライブビュー画像に基づいて、撮影シーンにおける撮影タイミングを示す目印を設定する情報処理方法である。
また、第3の技術は、撮像装置と接続されたネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、撮影画像に対応するライブビュー画像に基づいて、撮影シーンにおける撮影タイミングを示す目印を設定する情報処理方法をコンピュータに実行させる情報処理プログラムである。
本技術によれば、ライブビュー映像が遅延していてもそのライブビュー映像を見ながらユーザの所望のシーンを撮影することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
カメラシステムの構成を示すブロック図である。 端末装置の構成を示すブロック図である。 目印設定用ユーザインターフェースの構成を示す図である。 目印設定用ユーザインターフェースの構成を示す図である。 目印設定用ユーザインターフェースの一部分を抽出した図である。 情報処理装置の構成を示すブロック図である。 目印設定のためのユーザ入力の流れを示すフローチャートである。 目印設定処理の流れを示すフローチャートである。 撮影用ユーザインターフェースの構成を示す図である。 被写体検出による目印設定の処理を示すフローチャートである。 被写体に追従して目印が移動する変形例の説明図である。 雲台を使用する変形例の構成を示す図である。 雲台を使用する変形例における処理を示すフローチャートである。 カメラシステムの変形例の構成を示すブロック図である。 カメラシステムの変形例の構成を示すブロック図である。 目印の変形例を示す図である。 目印の変形例を示す図である。 目印設定用ユーザインターフェースの変形例を示す図である。 目印設定用ユーザインターフェースの変形例を示す図である。
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.実施の形態>
[1−1.カメラシステムの構成]
[1−2.端末装置の構成]
[1−3.目印設定用ユーザインターフェースの構成]
[1−4.情報処理装置の構成]
[1−5.情報処理装置における処理]
[1−6.目印を用いた撮影方法]
<2.変形例>
[2−1.被写体検出による目印設定]
[2−2.被写体に追従して目印移動]
[2−3.雲台の利用]
[2−4.その他の変形例]
<1.実施の形態>
[1−1.カメラシステムの構成]
まず、図1を参照してカメラシステム1の構成について説明する。カメラシステム1は、端末装置10と撮像装置20から構成され、端末装置10と撮像装置20とはネットワーク30を介して接続されている。
本技術は、撮像装置20と端末装置10とを用いた遠隔撮影において用いられるものである。遠隔撮影では、撮像装置20で撮影されたライブビュー映像がネットワーク30を介して端末装置10に送信されて端末装置10において表示される。そして、そのライブビュー映像を見ながらユーザが端末装置10に対して撮影指示(シャッタ入力)を行い、シャッタ入力に応じた入力信号がネットワーク30を通じて撮像装置20に送信されることにより撮影が行われる。なお、端末装置10と撮像装置20間の距離は通信可能であればどの程度の距離でも構わない。
撮像装置20は、静止画および動画撮影が可能であり、ネットワーク接続機能を有し、外部装置からの制御で撮影が可能なカメラである。
端末装置10は、ネットワーク接続機能を有するパーソナルコンピュータ、ノートパソコン、タブレット端末、スマートフォンなどである。端末装置10は、情報処理装置100としての機能を備える。
情報処理装置100は、端末装置10において動作し、本技術に係る目印設定用ユーザインターフェースと撮影用ユーザインターフェースの表示制御、ネットワーク30で接続された撮像装置20から送信された撮影画像とライブビュー映像の表示制御を行う。また、情報処理装置100は、撮影シーンにおける撮影開始タイミングを示す目印(以下、撮影開始目印Sと称する。)および撮影終了タイミングを示す目印(以下、撮影終了目印Eと称する。)の設定などを行うものである。
撮影開始目印Sと撮影終了目印Eの設定は、撮影シーンでの撮影の前に行う類似シーンでの撮影で取得した撮影画像およびライブビュー映像に基づいて行うものである。よって、ユーザは撮影シーンでの撮影の前に類似シーンで撮影を行う必要がある。類似シーンとは、例えば撮影対象が自動車のレースのゴールシーンであり、撮影シーンがそのレースの最終周回である場合にはその最終周回前を撮影すること、撮影シーンで撮影するレースより前に行われる他のレースを撮影することなどである。また、撮影対象が100m走などの陸上競技のゴールシーンである場合には、撮影シーンで撮影する100m走より前に行われた予選の100m走などを撮影することなどである。さらに、撮影対象が映画などの台本に沿った撮影である場合には撮影シーンである本番の前のリハーサルを撮影することなどである。
説明の便宜上、本実施の形態は撮影対象が自動車のレースであり、被写体である自動車が目標位置であるゴールラインを到達した時点から連写撮影を開始して、ゴールラインを超えて数秒後のところまでを撮影するものとする。よって、撮影開始目印Sは、撮影シーンにおける連写撮影開始のタイミングを示すものであり、撮影終了目印Eは、撮影シーンにおける連写撮影終了のタイミングを示すものである。
ネットワーク30は、有線通信、無線LAN(Local Area Network)やWAN(Wide Area Network)、WiFi(Wireless Fidelity)、4G(第4世代移動通信システム)、Bluetooth(登録商標)、赤外線通信など、データの送受信を行うことができるものであればどのようなものでもよい。
[1−2.端末装置の構成]
次に図2を参照して端末装置10について説明する。端末装置10は、制御部11、記憶部12、通信部13、表示部14、入力部15および情報処理装置100を備えている。
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって端末装置10全体の制御を行う。
記憶部12は、例えば、ハードディスク、SDメモリカードなどの大容量記憶媒体である。記憶部12は、撮像装置20により撮影された撮影画像、撮影映像などのコンテンツやアプリケーションなどを保存することができる。
通信部13は、ネットワーク30を介して撮像装置20、他の装置、インターネットなどと通信するための通信モジュール、通信用コネクタなどである。通信部13による通信は、USB通信などの有線通信、Wi-Fiなどの無線LAN、Bluetooth(登録商標)、ZigBee、4G(第4世代移動通信システム)、ブロードバンドなどの無線通信どちらであってもよい。
表示部14は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部14には、端末装置10のユーザインターフェース、記憶部12に保存された撮影画像、撮影映像などのコンテンツ、本技術に係る目印設定用ユーザインターフェース、撮影用ユーザインターフェースなどが表示される。
入力部15は、ユーザの端末装置10に対する操作入力を受け付けるものである。入力部15に対してユーザから入力がなされると、その入力に応じた入力信号が生成されて制御部11に出力される。そして、制御部11はその入力信号に対応した演算処理、端末装置10の制御を行う。入力部15としては、表示部14と一体に構成されたタッチパネル、トラックパッドやタッチパッドと称される表示部14とは一体となっていない平板状のセンサーを指でなぞって操作するポインティングデバイス、キーボード、マウスなどがある。
[1−3.目印設定用ユーザインターフェースの構成]
次に図3乃至図5を参照して端末装置10の表示部14に表示される目印設定用ユーザインターフェース200の構成について説明する。目印設定用ユーザインターフェース200は、画像表示部201、第1フレーム表示部202、第2フレーム表示部203、ライブビュー表示部204、ライブビューフレームレート入力部205、撮影フレームレート入力部206、シャッタボタン207を備えて構成されている。
画像表示部201には、撮像装置20による連写撮影で取得された連続撮影画像が時系列に沿って表示される。図3、図4の例では、上から下に向けて時間が進んでいくように連続撮影画像が表示されている。なお、画像表示部201には例えばスクロールバー208のような表示範囲を調整する手段が備えられており、複数の撮影画像が一画面に収まらない枚数である場合、スクロールバー208を上下させることで表示させる撮影画像を変更することができる。画像表示部201に表示される撮影画像は、撮影フレームレート入力部206で入力されて設定されたフレームレートで連写撮影された画像である。
図4に示すように画像表示部201には、ユーザが撮影開始画像を選択するための第1選択枠211が重畳して表示されている。撮影開始画像とは、ユーザが撮影シーンで連写撮影を開始したいタイミングに対応した撮影画像である。例えば図4に示すように、自動車がゴールラインを到達した時点から連写撮影を開始したい場合、撮影開始画像として自動車がゴールラインに到達した時点での撮影画像を選択する。ユーザはこの第1選択枠211を移動させることにより画像表示部201に表示されている複数の撮影画像から撮影開始画像を選択することができる。
また図4に示すように画像表示部201には、ユーザが撮影終了画像を選択するための第2選択枠212が重畳して表示されている。撮影終了画像とは、ユーザが撮影シーンで連写撮影を終了させたいタイミングに対応した撮影画像である。ユーザはこの第2選択枠212を移動させることにより画像表示部201に表示されている複数の撮影画像から撮影終了画像を選択することができる。撮影開始画像と撮影終了画像が特許請求の範囲における撮影タイミング画像である。
なお、図4では第1選択枠211と第2選択枠212は実線状と破線状という形状の違いで区別しているが、その他の形状の違い、色の違い、濃淡の違いなどにより区別してもよい。
第1フレーム表示部202には、撮像装置20から送信されたライブビュー映像を構成するフレームのうち、第1選択枠211により選択された撮影開始画像に対応するフレームが表示される。ライブビュー映像を構成するフレームはフレーム画像であり、特許請求の範囲におけるライブビュー画像はこのライブビュー映像を構成するフレーム画像である。撮像装置20からのライブビュー映像はネットワーク30の伝送時間などにより現実の撮影対象の状態からは遅延している。よって第1フレーム表示部202に表示されるフレームも現実の撮影対象の状態からは遅延している。撮影開始画像に対応したフレームを求める方法については後述する。
第2フレーム表示部203には、撮像装置20から送信されたライブビュー映像を構成するフレームのうち、第2選択枠212により選択された撮影終了画像に対応するフレームが表示される。撮像装置20からのライブビュー映像はネットワーク30の伝送時間などにより現実の撮影対象の状態からは遅延している。よって第2フレーム表示部203に表示されるフレームも現実の撮影対象の状態からは遅延している。撮影終了画像に対応したフレームを求める方法については後述する。
ライブビュー表示部204は、撮像装置20により撮影されてネットワーク30を介して端末装置10に送信されたライブビュー映像が表示される。
ライブビューフレームレート入力部205は、類似シーンでの撮影において撮像装置20で取得されて送信されるライブビュー映像のフレームレートをユーザが入力するためのものである。ユーザは、ライブビューフレームレート入力部205に所望のフレームレートの値を入力することによりライブビュー映像のフレームレートを設定することができる。
撮影フレームレート入力部206は、類似シーンでの撮影において撮像装置20により連写撮影されて画像表示部201に表示される連続する複数の撮影画像の連写フレームレートをユーザが入力するためのものである。ユーザは、撮影フレームレート入力部206に所望のフレームレートの値を入力することにより撮像装置20による連写撮影のフレームレートを設定することができる。
シャッタボタン207は、カメラが通常備えるハードウェアボタンとしてのシャッタボタンを備えていない端末装置10においてユーザが撮像装置20への撮影を指示するためのソフトウェアボタンである。シャッタボタン207に対してユーザから入力がなされると、その入力に応じた入力信号が生成されてネットワーク30を介して撮像装置20に送信される。その入力信号を受信した撮像装置20は撮影を行うことにより、撮影画像が取得される。なお、シャッタボタン207への入力状態を継続するとその継続している間撮像装置20は連写撮影を行い、シャッタボタン207への入力を終了すると撮像装置20は連写撮影を終了する。シャッタボタン207への入力に基づいて撮像装置20によって撮影された撮影画像は画像表示部201に表示される。なお、シャッタボタン207はこのようなソフトウェアボタンに限られず端末装置10が備えるハードウェアボタンにシャッタ機能を割り当てることにより実現してもよい。
目印設定用ユーザインターフェース200は以上のように構成されている。
次に目印設定用ユーザインターフェース200を用いてユーザが撮影開始目印Sと撮影終了目印Eを入力する方法について説明する。図5は説明のために目印設定用ユーザインターフェース200から第1フレーム表示部202、第2フレーム表示部203、ライブビュー表示部204を抜き出して示す図である。
撮影開始目印Sは第1フレーム表示部202に対するユーザの入力に応じて設定されるものである。例えば、端末装置10の入力部15としてのマウス、タッチパネルなどによる入力でユーザが撮影開始目印Sを設定したい第1フレーム表示部202上の位置に入力を行うとそこに撮影開始目印Sが設定されて表示される。
図3乃至図5に示す例では、ユーザは、自動車がゴールラインに到達した状態から連写撮影を開始したいため、自動車がゴールラインに到達した状態の撮影画像を撮影開始画像として選択し、その撮影開始画像に対応するフレームにおいて自動車の進行方向先端に撮影開始目印Sを設定するとよい。
また、撮影終了目印Eは第2フレーム表示部203に対するユーザの入力に応じて設定されるものである。例えば、入力部15としてのマウス、タッチパネルなどによる入力でユーザが撮影終了目印Eを設定したい第2フレーム表示部203上の位置に入力を行うとそこに撮影終了目印Eが設定されて表示される。
なお、撮影開始目印Sは第1フレーム表示部202においてマウス操作やタッチパネル操作によるドラッグなどで位置を調整することが可能である。同様に撮影終了目印Eは第2フレーム表示部203においてマウス操作やタッチパネル操作によるドラッグなどで位置を調整することが可能である。また、端末装置10の入力部15としてのキーボード操作でその位置を微調整できるようにしてもよい。
撮影開始目印Sが設定されるとライブビュー表示部204における第1フレーム表示部202と同じ位置に撮影開始目印Sが表示される。また、同様に、撮影終了目印Eが設定されるとライブビュー表示部204における第2フレーム表示部203と同じ位置に撮影終了目印Eが表示される。
このようにしてユーザは目印設定用ユーザインターフェース200を用いて撮影開始目印Sと撮影終了目印Eを設定することができる。
[1−4.情報処理装置の構成]
次に図6を参照して情報処理装置100の構成について説明する。
情報処理装置100は、送受信部101、コマンド送信部102、画像受信部103、画像リポジトリ104、画像表示制御部105、ライブビュー受信部106、ライブビューリポジトリ107、ライブビュー表示制御部108、ライブビューフレームレート設定部109、撮影フレームレート設定部110、選択フレーム制御部111、第1フレーム表示制御部112、第2フレーム表示制御部113、目印表示制御部114とから構成されている。
送受信部101は、撮像装置20からネットワーク30を介して送信されたデータを受信する。また送受信部101は、コマンド送信部102から受信したコマンドをネットワーク30を介して撮像装置20に送信する処理を行う。
コマンド送信部102は、シャッタボタン207に対するユーザからの入力により生成された入力信号をコマンドに変換して送受信部101に供給する。
画像受信部103は、送受信部101を介して撮像装置20から供給されたデータから撮影画像を抽出して、撮影時が古い画像ほど小さい値が付されるように番号を付して画像リポジトリ104に保存する。また画像受信部103は、シャッタボタン207への入力に応じた入力信号の供給を受けて、シャッタボタン207への入力の状態を判定し、入力があった場合には画像リポジトリ104に保存されている撮影画像を削除する。
画像リポジトリ104は、連写撮影により撮影された複数の撮影画像を保存する。
画像表示制御部105は、画像リポジトリ104に保存されている撮影画像を番号の順序に従い目印設定用ユーザインターフェース200の画像表示部201に表示させる。また、画像表示制御部105は撮影画像に対して、選択された撮影開始画像と撮影終了画像を検出してそれぞれの番号情報を選択フレーム制御部111に供給する。
ライブビュー受信部106は、送受信部101を介して撮像装置20から供給されたデータから、複数のフレームから構成されるライブビュー映像を抽出してライブビュー表示制御部108およびライブビューリポジトリ107に供給する。
またライブビュー受信部106は、シャッタボタン207への入力に応じた入力信号からシャッタボタン207への入力の状態を判定し、入力があった場合にはライブビューリポジトリ107に保存されているフレームを削除し、入力が継続している場合にはライブビューリポジトリ107にライブビューを構成するフレームに番号を付加して保存し、入力が終了するとフレームのライブビューリポジトリ107への保存を終了する。なお、番号は時刻が古いフレームに小さい値を付して、フレームが新しくなるに従い大きな値が付されるようにする。
ライブビューリポジトリ107はライブビュー映像を構成するフレームを保存する。
ライブビュー表示制御部108はライブビュー受信部106から供給されたライブビュー映像を目印設定用ユーザインターフェース200のライブビュー表示部204に表示させる。
ライブビューフレームレート設定部109は、ユーザからライブビューフレームレート入力部205に入力されたライブビューフレームレートを保持して選択フレーム制御部111に供給する。
撮影フレームレート設定部110は、ユーザから撮影フレームレート入力部206に入力された連写撮影の連写フレームレートを保持して選択フレーム制御部111に供給する。
選択フレーム制御部111は、ライブビューフレームレートと連写フレームレートと撮影開始画像に付された番号とから、撮影開始画像の撮影時刻に対応するライブビューフレーム番号を算出する。
また、選択フレーム制御部111は、ライブビューフレームレートと連写フレームレートと撮影終了画像に付された番号とから撮影終了画像の撮影時刻に対応するライブビューを構成するフレームの番号(以下、ライブビューフレーム番号)を算出する。
ここで、ライブビューフレーム番号の算出方法について説明する。複数の撮影画像のそれぞれに付された番号をnとし、連写フレームレートをsf、先頭の撮影画像の撮影時刻を0とすると、番号nの撮影画像の撮影時刻T(n)は以下の式1で算出することができる。
[式1]
T(n)=n×(1/sf)
また、先頭のライブビューフレームの時刻を0としたときのある時刻tにおけるライブビューフレーム番号LiはライブビューフレームレートをLfとすると以下の式2で算出することができる。
[式2]
Li=t×Lf
なお、Liはライブビューフレーム番号であるため、算出された値が整数でない場合は切り下げまたは切り上げにより整数化する。
そして、番号nの撮影画像に対応するライブビューフレーム番号L(n)は式1と式2から求まる下記の式3で算出することができる。
[式3]
L(n)=T(n)×Lf
これにより、いかなる番号の撮影画像であってもそれに対応するライブビューフレーム番号を特定することができる。
よって、例えば、撮影開始画像の番号をsとすると、それに対応するライブビューフレーム番号はT(s)以下の値でT(s)に最も近い時刻を持つものなので、L(s)を最も近い整数に切り下げたものとなる。
また、撮影開始画像の番号をeとすると、それに対応するライブビューフレーム番号はT(e)以下の値でT(e)に最も近い時刻を持つものなので、L(e)を最も近い整数に切り上げたものとなる。
第1フレーム表示制御部112は、選択フレーム制御部111から取得した撮影開始画像に対応するライブビュー映像を構成するフレームをライブビューリポジトリ107から読み出して目印設定用ユーザインターフェース200の第1フレーム表示部202に表示する。撮像装置20からのライブビュー映像は映像のエンコードに要する時間、ネットワーク30における伝送時間、端末装置10におけるデコードに要する時間などにより現実の撮影対象の状態からは遅延している。よって、図4に示すように、このようにして第1フレーム表示部202に表示される撮影開始画像に対応するライブビューフレームも撮影画像および現実の撮影対象の状態からは遅延している。
第2フレーム表示制御部113は、選択フレーム制御部111から取得した撮影終了画像に対応するライブビュー映像を構成するフレームをライブビューリポジトリ107から読み出して目印設定用ユーザインターフェース200の第2フレーム表示部203に表示する。撮像装置20からのライブビュー映像は現実の撮影対象の状態からは遅延している。よって、図4に示すように、このようにして第2フレーム表示部203に表示される撮影終了画像番号に対応するライブビューフレームも撮影画像および現実の撮影対象の状態からは遅延している。
目印表示制御部114は目印設定用ユーザインターフェース200のライブビュー表示部204における撮影開始目印Sおよび撮影終了目印Eの表示制御を行うものである。第1フレーム表示制御部112はユーザからの入力を受けて第1フレーム表示部202に撮影開始目印Sを表示する。第1フレーム表示制御部112は撮影開始目印Sの座標を目印表示制御部114に設定する。また、第2フレーム表示制御部113はユーザからの入力を受けて第2フレーム表示部203に撮影終了目印Eを表示する。第2フレーム表示制御部113は撮影終了目印Eの座標を目印表示制御部114に設定する。目印表示制御部114は設定された撮影開始目印Sの座標、撮影開始目印Sの座標をもとにライブビュー表示制御部108に対し、ライブビュー表示部204における目印表示を指示する。ライビュー表示制御部108は目印表示制御部114から指示に従い、ライブビュー表示部204において表示されるライブビュー上に撮影開始目印S、撮影開始目印Sを重畳表示する。
情報処理装置100は以上のようにして構成されている。情報処理装置100はプログラムで構成され、そのプログラムは、予め端末装置10内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。さらに、情報処理装置100は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
[1−5.情報処理装置における処理]
次に図7および図8を参照して情報処理装置100における処理の流れについて説明する。まず、情報処理装置100における処理の前提として、図7のフローチャートを参照して情報処理装置100による目印設定のためのユーザの入力操作の流れについて説明する。
まずステップS11で、ユーザはライブビューフレームレート入力部205と撮影フレームレート入力部206に入力を行うことにより、類似シーンでの撮影におけるライブビューのフレームレートと類似シーンでの撮影の連写撮影のフレームレートを設定する。
次にステップS12で、ユーザは類似シーンでの撮影として、撮像装置20のシャッタボタン207に対し入力を行い、ステップS13でシャッタボタン207に対する入力を終了する。これにより、シャッタボタン207に対して入力を継続している間、連続撮影により複数の撮影画像が取得される。
ユーザによる類似シーンでの撮影が終了すると複数の撮影画像が画像表示部201に表示されるので、次にステップS14で、ユーザは画像表示部201に表示されている撮影画像を確認してその後の撮影において撮影したいシーンと同様のシーンが含まれているかを確認する。
撮影したいシーンと同様のシーンが含まれていない場合、ステップS12に戻り、撮影したいシーンと同様のシーンが含まれるまで、ユーザはステップS12乃至ステップS14を繰り返す(ステップS14のNo)。
撮影シーンで撮影したいシーンと同様のシーンが含まれている場合、処理はステップS15に進み(ステップS14のYes)、ユーザは画像表示部201に表示されている複数の撮像画像から撮影開始画像を選択する。この選択は上述したように第1選択枠211で複数の撮像画像のいずれかを選択することにより行う。
次にステップS16で、ユーザは画像表示部201に表示されている複数の撮像画像から撮影終了画像を選択する。この選択は上述したように第2選択枠212で複数の撮像画像のいずれかを選択することにより行う。
ユーザにより撮影開始画像と撮影終了画像が選択されると、第1フレーム表示部202に撮影開始画像に対応したライブビューフレームが表示され、第2フレーム表示部203に撮影終了画像に対応したライブビューフレームが表示される。そしてステップ17で、ユーザは第1フレーム表示部202と第2フレーム表示部203において撮影開始目印Sと撮影終了目印Eを入力する。
情報処理装置100による目印設定のためにユーザは以上の入力操作を行う必要がある。
次に図8のフローチャートを参照して、情報処理装置100における処理の流れについて説明する。
まずステップS21で、ユーザからのライブビューフレームレート入力部205と撮影フレームレート入力部206への入力に基づいて、類似シーンの撮影におけるライブビューのフレームレートと、類似シーンでの撮影の連写のフレームレートを設定する。
次にステップS22で、撮像装置20から送信された撮影画像を受信し、画像表示部201に表示する。
次にステップS23で、ユーザからの第1選択枠211と第2選択枠212による選択入力に基づいて撮影開始画像と撮影終了画像とを設定する。
次にステップS24で、撮影開始画像に対応したライブビューフレームと、撮影終了画像に対応した了ライブビューフレームを算出する。算出方法は情報処理装置100の構成において説明した方法である。
次にステップS25で、撮影開始画像に対応するライブビューフレームと撮影終了画像に対応するライブビューフレームをライブビューリポジトリ107から読み出してそれぞれ、第1フレーム表示部202と第2フレーム表示部203に表示する。
次にステップ26で、ユーザからの入力に応じて撮影開始目印Sと撮影終了目印Eを設定する。そして、ステップS27で撮影開始目印Sを第1フレーム表示部202に表示させ、第2フレーム表示部203に撮影終了目印Eを表示させるとともに、撮影開始目印Sと撮影終了目印Eの両方をライブビュー表示部204に表示する。
以上のようにして情報処理装置100による目印設定処理が行われる。
[1−6.目印を用いた撮影方法]
次に上述の情報処理装置100による処理で設定された撮影開始目印Sと撮影終了目印Eを用いた撮影方法について説明する。この撮影は類似シーンでの撮影の後に行われる撮影である。また、この撮影は類似シーンでの撮影と同様に、ユーザが端末装置10に対してシャッタ入力を行い、入力信号がネットワーク30を通じて撮像装置20に送信されることにより撮影がなされる遠隔撮影である。
図9は類似シーンでの撮影後の撮影において端末装置10の表示部14に表示される撮影用ユーザインターフェース300の一例である。撮影用ユーザインターフェース300はライブビュー表示部301と、シャッタボタン302を備えて構成されている。
ライブビュー表示部301は、ネットワーク30を介して撮像装置20から送信されたライブビュー映像が表示される。このライブビュー映像は、エンコード時間、ネットワーク30における伝送時間、デコード時間などにより現実の撮影対象の状態からは遅延しているものである。また、ライブビュー表示部301には、撮影開始目印Sと撮影終了目印Eとがライブビュー映像に重畳して表示される。この撮影開始目印Sと撮影終了目印Eは目印設定用ユーザインターフェース200において設定されて、目印設定用ユーザインターフェース200のライブビュー表示部204に表示されたもの同じ位置に表示される。
シャッタボタン302はハードウェアボタンとしてのシャッタボタンを備えていない端末装置10においてユーザが撮像装置20への撮影を指示するためのソフトウェアボタンである。シャッタボタン302に対してユーザから入力がなされると、その入力に応じた制御信号が生成されてネットワーク30を介して撮像装置20に送信される。その制御信号を受信した撮像装置20は撮影を行うことにより、撮影画像が取得される。なお、シャッタボタン302への入力状態を継続するとその継続している間撮像装置20は連写撮影を行い、シャッタボタン302への入力を終了すると撮像装置20は連写撮影を終了する。
撮影用ユーザインターフェース300はこのように構成されており、撮影対象は目印設定用ユーザインターフェース200の説明におけるものと同様の自動車のレースにおいて被写体である自動車が目標であるゴールラインに到達する前後のシーンである。
ライブビュー表示部301には撮像装置20で撮影されている撮影対象のリアルタイムのライブビュー映像が表示され続けている。ユーザはライブビュー表示部301を見て被写体である自動車が撮影開始目印Sに到達したのを確認したらシャッタボタン302に入力を行う。そして、自動車が撮影終了目印Eに到達したのを確認したらシャッタボタン302への入力を終了する。
上述したようにライブビュー映像は実際の撮影対象の状態からは遅延した映像となっている。すなわち、ライブビュー映像内の状態よりも実際の撮影対象の状態の方が進んでいる。よって、ユーザが所望する、「自動車がゴールラインに到達したシーン」である撮影開始画像に対応するライブビュー映像のフレームにおける自動車の位置に自動車が到達(撮影開始目印Sに到達)したタイミングでシャッタボタン302に入力を行うことにより、自動車がゴールラインに到達した時点から撮影を開始することができる。
同様に、ライブビュー映像において目標の被写体が撮影終了目印Eに到達したタイミングでシャッタボタン302への入力状態を終了することにより、所望の位置に車が到達した時点で撮影を終了させることができる。
以上のようにして実施の形態における目印作成と目印を利用した撮影が行われる。
本技術によれば、撮像装置20で撮影されたライブビュー映像が端末装置10において遅延して表示されても、そのライブビュー映像を見ながらユーザの所望のシーンを撮影することができる。
また、所望のシーンを撮影するために所望のシーンの前後を含めて多数の画像を撮影する必要がないため、撮影枚数を減らすことができ、撮影後の撮影画像の確認作業の煩雑さを解消することもできる。
<2.変形例>
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
[2−1.被写体検出による目印設定]
実施の形態では撮影開始目印Sと撮影終了目印Eはユーザからの入力に基づいて設定したが、情報処理装置100または端末装置10が被写体検出を行い、その検出結果に基づいて設定してもよい。
この場合の情報処理装置100における処理について図10のフローチャートを参照して説明する。
まずステップS31で、ユーザの入力に基づいて撮影開始画像と撮影終了画像とを設定する。
次にステップS32で、撮影開始画像に対応するライブビューフレーム番号と撮影終了画像に対応するライブビューフレーム番号を算出する。算出方法は実施の形態におけるものと同様である。
次にステップS33で撮影開始画像に対応するライブビューフレームに対して被写体検出処理を行う。被写体検出方法としては、テンプレートマッチングによる物体検出技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いてもよい。また、これらの手法を組み合わせて認識精度を高めるようにしてもよい。
次にステップS34で、撮影開始画像に対応するライブビューフレームにおいて検出された被写体の位置に基づいて撮影開始目印Sを設定する。被写体の位置に基づいて撮影開始目印Sを設定する方法としては、検出された被写体の進行方向先端の位置に合わせる、被写体の進行方向後端の位置に合わせる、被写体の中心位置に合わせるなどがある。このように被写体の進行方向先端、後端などを基準にして目印を設定する場合、被写体検出処理に加え、被写体の動き検出、被写体の輪郭検出処理を行うとよい。また、検出された被写体を含む領域を撮影開始目印Sとして設定してもよい。同様にして撮影終了ライブビューフレームにおいて検出された被写体の位置に基づいて撮影終了目印Eを設定する。
以上のようにして被写体検出結果に基づいた目印の設定が行われる。この被写体検出に基づく手法によれば、ユーザは目印設定ための入力を行う必要がないため、容易かつ迅速に目印設定を行うことができる。
[2−2.被写体に追従して目印移動]
実施の形態では、動く被写体(自動車)が固定されて動かない目標(ゴールライン)に到達する場面を撮影する例を挙げたが、撮影対象はそれに限られない。例えば図11に示すテニスのように、動く被写体(ボールB)が動く目標(テニスプレーヤP)に到達する場面(テニスプレーヤPがボールBを打つ場面)もあり得る。
この場合、目標(テニスプレーヤP)は動くため、撮影開始目印Sと目標(テニスプレーヤP)との距離が常に変化するものとなる。よって、撮影開始目印Sの位置が固定であると、撮影開始目印Sに被写体(ボールB)が到達した時点でシャッタボタン207に入力を行ってもユーザが所望する画像が撮影できるとは限らない。
そこで、動く目標の位置の変化に追従させて撮影開始目印Sと撮影終了目印Eを移動させる(再描画)ことにより、目標が動いても目印に応じた撮影が可能となる。
この変形例について図11を参照して説明する。例えば、図11Aに示すように、テニスの試合を撮影する場合において、類似シーンで撮影した撮影映像を用いて撮影開始目印Sと撮影終了目印Eを設定したとする。撮影開始目印Sと撮影終了目印Eの設定方法は実施の形態と同様である。図11Aの例においては、目標(テニスプレーヤP)の3メートル前の位置に撮影開始目印Sを設定したとする。
この場合、撮影開始目印Sの追従対象とする被写体(追従対象被写体と称する。)を設定する。図11の例では目標(テニスプレーヤP)を追従対象被写体と設定している。追従対象被写体の設定はユーザの入力に基づいてもよいし、被写体検出処理により行ってもよい。撮影終了目印Eについても同様である。
そして撮影シーンでは、図11Bに示すように、撮影用ユーザインターフェース300においてライブビュー映像を表示する際、被写体検出により追従対象被写体を検出し、その追従対象被写体の動きに追従させて撮影開始目印Sと撮影終了目印Eを移動させる。これにより追従対象被写体(テニスプレーヤP)がどこへ移動しても常に追従対象被写体(テニスプレーヤP)と撮影開始目印Sと撮影終了目印Eとの距離は一定となる。よって、追従対象被写体(テニスプレーヤP)がどこに位置していても、被写体(ボールB)が撮影開始目印Sに到達した時点でシャッタボタン207に入力を行い、ボールBが撮影終了目印Eに到達した時点でシャッタボタン207への入力を終了することにより、被写体(ボールB)が目標(テニスプレーヤP)に到達する場面(テニスプレーヤPがボールBを打つ場面)を含めた前後の画像を撮影することができる。
[2−3.雲台の利用]
また、本技術はユーザが撮像装置20を手に持って撮影する場合や三脚などで撮像装置20を固定して撮影する場合の他、撮像装置20を雲台40に搭載して撮影する場合にも適用することができる。雲台40とは、図12Aに示すように撮像装置20を支持した状態でパン・チルト動作を行うことにより撮像装置20の撮影方向を自動で変更することができる装置である。
図12Bに示すように、雲台40はネットワーク30と接続されており、制御回路(図示せず)を備え、ネットワーク30を介して端末装置10から送信された制御信号に従いパン・チルト動作することができるものである。このような雲台40を用いることにより撮影開始目印Sと撮影終了目印Eを用いた撮影において被写体の移動方向に撮像装置20の撮影方向を追従させることができる。
図13のフローチャートを参照して雲台40を含めたカメラシステム1の制御処理について説明する。まずステップS41で、情報処理装置100はシャッタボタン207の入力に応じた入力信号を撮像装置20に送信するのと同時に雲台40に対して動作開始コマンドを送信する。
次にステップS42で、撮像装置20が連写撮影を開始するとともに、雲台40が動作開始コマンドに基づいてパン・チルト動作を開始する。
雲台40の動作開始後は情報処理装置100または撮像装置20が被写体検出を行い、連写撮影終了まで被写体検出結果に基づき、被写体を追従するようにパン・チルト制御するための動作コマンドを雲台40に定期的に送信し続ける。これを受けて雲台40は被写体を追従するようにパン・チルト動作を行う。
次にステップS43で、情報処理装置100はシャッタボタン207への入力終了に応じた信号を撮像装置20に送信するのと同時に雲台40に対して動作終了コマンドを送信する。
そしてステップS44で、撮像装置20が連写撮影を終了するとともに、雲台40が動作終了コマンドに基づいてパン・チルト動作を終了する。なお、パン・チルト動作を終了した雲台40は撮影開始前の状態に戻るようにしてもよい。
[2−4.その他の変形例]
カメラシステム1は、図1に示した構成以外の構成でもよい。例えば、撮像装置20がネットワーク30に直接接続することができるインタフェースを備えていない場合、図14に示すように撮像装置20とネットワーク30の間に撮像装置20が備えるインタフェースをネットワーク30に接続可能なインタフェースに変換する変換装置50を設けてもよい。
また、図15に示すように、撮影シーンでの撮影用の撮像装置とライブビューを撮影用の撮像装置は別個のものでもよい。その場合、撮影シーン用の第1撮像装置20とライブビュー撮影用の第2撮像装置60はそれぞれネットワーク30を介して端末装置10と接続する必要がある。このような構成でも、目印設定用ユーザインターフェース200と撮影用ユーザインターフェース300による処理は実施の形態と同様である。また、目印作成時に用いる端末装置と本番撮影時に用いる端末装置は異なるものでもよい。
類似シーンの映像は、実際に撮像装置20の前で行われている出来事ではなく、事前に別の撮像装置で撮影を終えて保存されている映像データなどでもよい。
撮像装置20は、一般のユーザが使用するデジタルカメラ、デジタル一眼レフカメラのほか、スマートフォンと連携するいわゆるレンズスタイルカメラ、車載カメラ、ドローンに搭載したカメラ、監視カメラ、暗視カメラ、X線カメラ(X線写真)や胃カメラ(内視鏡)などの医療用カメラ、航空カメラ、水中カメラなどでもよい。
撮影開始目印Sおよび撮影終了目印Eは実施の形態に示したように線状に限られず、図16Aおよび図16Bに示すように四角形状でもよいし、その他の形状、例えば円状などであってもよい。
また、図17Aに示すように撮影開始目印Sおよび撮影終了目印Eは、事前に撮影した被写体のオーバーラップ映像などでもよい。さらに、撮影開始目印Sおよび撮影終了目印Eは別々のものとして分離したものではなく、図17Bに示すように、一つの図形Rとして設定し、その図形R内に被写体が入っている間は連写を継続するという構成でもよい。この図17Bの場合、一つの目印が撮影開始のタイミングと撮影終了のタイミングを示していることになる。
また、連写撮影はユーザがシャッタボタン207に対する入力状態を解除したことに応じて終了させるだけでなく、他の方法で終了させてもよい。例えば、目印設定時に選択した撮影開始画像と撮影終了画像間にある撮影画像の枚数と、連写フレームレートとから連写を継続する時間を算出することができるので、撮影開始時からその連写継続時間が経過したら連写を終了するようにしてもよい。
また、実施の形態における目印設定用ユーザインターフェース200では第1フレーム表示部202に第1選択枠211で選択された撮影開始画像に対応するフレームを表示し、第2フレーム表示部203に第2選択枠212で選択された撮影終了画像に対応するフレームを表示して、それぞれ撮影開始目印Sと撮影終了目印Eを設定した。しかし、図18に示すように、一つのフレーム表示部221に撮影開始画像に対応するフレームと撮影終了画像に対応するフレームを重ねてオーバーラップさせて表示して、一つのフレーム表示部221上に撮影開始目印Sと撮影終了目印Eを設定するようにしてもよい。
また、撮影を行うのはユーザでなくてもよい。情報処理装置100または端末装置10に被写体検出機能を設け、検出した被写体が撮影開始目印Sに到達すると自動で撮影を開始し、撮影終了目印Eに到達すると自動で撮影を終了するようにしてもよい。
また、本技術は連写撮影に限らず単写撮影にも適用することが可能である。単写撮影の場合、撮影タイミングを示す目印さえ設定すればよく、撮影開始終了の目印は必要ない。よって、目印設定用ユーザインターフェース200は図19に示すようになる。図19に示す目印設定用ユーザインターフェース200では第2フレーム表示部203がなく、一つのフレーム表示部231に対してユーザは撮影タイミング目印設定のために入力を行う。撮影タイミング目印の設定は実施の形態における撮影開始目印Sの設定と同様である。この場合、撮影タイミングは単写撮影における撮影実行のタイミングであり、目印は撮影実行のタイミングを示すものとなる。
また、本技術は実施の形態における自動車レースのゴールライン付近のように撮影対象の被写体が直線運動している場合に限られず、移動の軌跡が予め決まっている、一の方向から他の方向へ移動することが決まっている被写体であればどのような動きの被写体にも適用可能である。また、移動経路が曲がっていてもよい。
本技術は以下のような構成も取ることができる。
(1)
撮像装置とネットワークで接続され、
前記ネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、前記撮影画像に対応するライブビュー画像に基づいて、前記撮影シーンにおける撮影タイミングを示す目印を設定する
情報処理装置。
(2)
前記類似するシーンは、前記撮影シーンよりも前の撮影されたシーンである(1)に記載の情報処理装置。
(3)
前記ライブビュー画像を構成するフレームを表示部に表示し、前記フレームに対するユーザからの入力に基づいて前記目印を設定する(1)または(2)に記載の情報処理装置。
(4)
前記類似するシーンで撮影された複数の画像を前記表示部に表示し、前記ユーザからの入力に基づいて、前記複数の画像の中から、前記撮影シーンにおける撮影タイミングを示す撮影タイミング画像を設定する(3)に記載の情報処理装置。
(5)
前記表示部に表示される前記ライブビュー画像を構成する前記フレームは、前記撮影タイミング画像に対応するフレームである(4)に記載の情報処理装置。
(6)
前記撮影タイミング画像に対応する前記フレームは、前記複数の画像を撮影した連続撮影のフレームレートと、前記ライブビュー画像のフレームレートに基づいて決定される(5)に記載の情報処理装置。
(7)
前記撮影タイミングは連写撮影における撮影開始タイミングであり、前記目印は、前記撮影シーンにおける連写撮影開始のタイミングを示す(4)から(6)のいずれかに記載の情報処理装置。
(8)
前記撮影タイミングは連写撮影における撮影終了タイミングであり、前記目印は、前記撮影シーンにおける連写撮影終了のタイミングを示す(4)から(7)のいずれかに記載の情報処理装置。
(9)
前記目印は前記撮影シーンにおける連写撮影開始タイミングおよび連写撮影終了タイミングを示す(1)から(8)のいずれかに記載の情報処理装置。
(10)
前記撮影タイミングは単写撮影における撮影実行のタイミングであり、前記目印は前記撮影シーンにおける撮影実行のタイミングを示す(1)から(9)のいずれかに記載の情報処理装置。
(11)
設定された前記目印を前記表示部において前記ライブビュー画像に重畳して表示する(3)から(10)のいずれかに記載の情報処理装置。
(12)
前記ライブビュー画像は前記撮影画像に対して遅延を有する(1)から(11)のいずれかに記載の情報処理装置。
(13)
前記遅延は、前記撮像装置でのエンコードに要する時間、前記ネットワークにおける伝送時間、前記ライブビュー画像を表示する装置におけるデコードに要する時間のうちの少なくともいずれかによるものである(12)に記載の情報処理装置。
(14)
前記目印は、前記類似するシーン後の前記撮影シーンにおけるライブビュー表示に重畳して表示される(1)から(13)のいずれかに記載の情報処理装置。
(15)
前記フレーム中における被写体を、前記目印が追従して移動する追従対象被写体として設定する(3)から(14)のいずれかに記載の情報処理装置。
(16)
前記目印は、前記類似するシーン後の前記撮影シーンにおけるライブビュー表示に重畳して表示され、前記追従被写体の移動に追従して移動する(15)に記載の情報処理装置。
(17)
前記ライブビュー画像を構成するフレームに対する被写体検出結果に基づき前記目印を設定する(1)から(16)のいずれか記載の情報処理装置。
(18)
撮像装置と接続されたネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、前記撮影画像に対応するライブビュー画像に基づいて、前記撮影シーンにおける撮影タイミングを示す目印を設定する
情報処理方法。
(19)
撮像装置と接続されたネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、前記撮影画像に対応するライブビュー画像に基づいて、前記撮影シーンにおける撮影タイミングを示す目印を設定する
情報処理方法をコンピュータに実行させる情報処理プログラム。
10・・・端末装置
14・・・表示部
20・・・撮像装置
30・・・ネットワーク
100・・情報処理装置

Claims (19)

  1. 撮像装置とネットワークで接続され、
    前記ネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、前記撮影画像に対応するライブビュー画像に基づいて、前記撮影シーンにおける撮影タイミングを示す目印を設定する
    情報処理装置。
  2. 前記類似するシーンは、前記撮影シーンよりも前に撮影されたシーンである
    請求項1に記載の情報処理装置。
  3. 前記ライブビュー画像を構成するフレームを表示部に表示し、前記フレームに対するユーザからの入力に基づいて前記目印を設定する
    請求項1に記載の情報処理装置。
  4. 前記類似するシーンで撮影された複数の画像を前記表示部に表示し、前記ユーザからの入力に基づいて、前記複数の画像の中から、前記撮影シーンにおける撮影タイミングを示す撮影タイミング画像を設定する
    請求項3に記載の情報処理装置。
  5. 前記表示部に表示される前記ライブビュー画像を構成する前記フレームは、前記撮影タイミング画像に対応するフレームである
    請求項4に記載の情報処理装置。
  6. 前記撮影タイミング画像に対応する前記フレームは、前記複数の画像を撮影した連続撮影のフレームレートと、前記ライブビュー画像のフレームレートに基づいて決定される
    請求項5に記載の情報処理装置。
  7. 前記撮影タイミングは連写撮影における撮影開始タイミングであり、前記目印は、前記撮影シーンにおける連写撮影開始のタイミングを示す
    請求項4に記載の情報処理装置。
  8. 前記撮影タイミングは連写撮影における撮影終了タイミングであり、前記目印は、前記撮影シーンにおける連写撮影終了のタイミングを示す
    請求項4に記載の情報処理装置。
  9. 前記目印は前記撮影シーンにおける連写撮影開始タイミングおよび連写撮影終了タイミングを示す
    請求項1に記載の情報処理装置。
  10. 前記撮影タイミングは単写撮影における撮影実行のタイミングであり、前記目印は前記撮影シーンにおける撮影実行のタイミングを示す
    請求項4に記載の情報処理装置。
  11. 設定された前記目印を前記表示部において前記ライブビュー画像に重畳して表示する
    請求項3に記載の情報処理装置。
  12. 前記ライブビュー画像は前記撮影画像に対して遅延を有する
    請求項1に記載の情報処理装置。
  13. 前記遅延は、前記撮像装置でのエンコードに要する時間、前記ネットワークにおける伝送時間、前記ライブビュー画像を表示する装置におけるデコードに要する時間のうちの少なくともいずれかによるものである
    請求項12に記載の情報処理装置。
  14. 前記目印は、前記類似するシーン後の前記撮影シーンにおけるライブビュー表示に重畳して表示される
    請求項1に記載の情報処理装置。
  15. 前記フレーム中における被写体を、前記目印が追従して移動する追従対象被写体として設定する
    請求項3に記載の情報処理装置。
  16. 前記目印は、前記類似するシーン後の前記撮影シーンにおけるライブビュー表示に重畳して表示され、前記追従被写体の移動に追従して移動する
    請求項15に記載の情報処理装置。
  17. 前記ライブビュー画像を構成するフレームに対する被写体検出結果に基づき前記目印を設定する
    請求項1に記載の情報処理装置。
  18. 撮像装置と接続されたネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、前記撮影画像に対応するライブビュー画像に基づいて、前記撮影シーンにおける撮影タイミングを示す目印を設定する
    情報処理方法。
  19. 撮像装置と接続されたネットワークを介して送信された、撮影シーンと類似するシーンの撮影画像と、前記撮影画像に対応するライブビュー画像に基づいて、前記撮影シーンにおける撮影タイミングを示す目印を設定する
    情報処理方法をコンピュータに実行させる情報処理プログラム。
JP2020540176A 2018-08-31 2019-07-31 情報処理装置、情報処理方法および情報処理プログラム Pending JPWO2020044924A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018163105 2018-08-31
JP2018163105 2018-08-31
PCT/JP2019/030032 WO2020044924A1 (ja) 2018-08-31 2019-07-31 情報処理装置、情報処理方法および情報処理プログラム

Publications (1)

Publication Number Publication Date
JPWO2020044924A1 true JPWO2020044924A1 (ja) 2021-08-26

Family

ID=69643529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540176A Pending JPWO2020044924A1 (ja) 2018-08-31 2019-07-31 情報処理装置、情報処理方法および情報処理プログラム

Country Status (4)

Country Link
US (1) US11445102B2 (ja)
EP (1) EP3846445A4 (ja)
JP (1) JPWO2020044924A1 (ja)
WO (1) WO2020044924A1 (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215373A (ja) 2004-01-30 2005-08-11 Konica Minolta Photo Imaging Inc 撮像装置
KR101725888B1 (ko) * 2009-11-13 2017-04-13 삼성전자주식회사 카메라 또는 원격 제어 장치에서의 이미지 제공 방법 및 그 장치
JP2011211678A (ja) * 2010-03-12 2011-10-20 Omron Corp 画像処理装置および画像処理プログラム
JP2012099984A (ja) 2010-10-29 2012-05-24 Fujifilm Corp 撮像装置及び表示制御方法
EP2888871A4 (en) 2012-08-27 2016-05-25 Nokia Technologies Oy METHOD AND APPARATUS FOR RECORDING VIDEO SEQUENCES
JP2014116878A (ja) * 2012-12-12 2014-06-26 Olympus Imaging Corp 撮像装置および撮像方法
US10855911B2 (en) * 2014-01-15 2020-12-01 Samsung Electronics Co., Ltd Method for setting image capture conditions and electronic device performing the same
CN105306801A (zh) 2014-06-09 2016-02-03 中兴通讯股份有限公司 一种拍摄方法、装置及终端
JP6518409B2 (ja) 2014-06-30 2019-05-22 オリンパス株式会社 撮影装置及び撮影方法
KR102232517B1 (ko) 2014-09-15 2021-03-26 삼성전자주식회사 이미지 촬영 방법 및 이미지 촬영 장치
JP2016174259A (ja) * 2015-03-17 2016-09-29 キヤノン株式会社 撮像システム
EP3179406B1 (en) 2015-12-11 2017-11-22 Axis AB Method for increasing reliability in monitoring systems
JP2018148446A (ja) * 2017-03-07 2018-09-20 オリンパス株式会社 撮影装置および撮影方法
JP2018152787A (ja) * 2017-03-14 2018-09-27 オリンパス株式会社 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム

Also Published As

Publication number Publication date
US20210195090A1 (en) 2021-06-24
EP3846445A4 (en) 2021-10-27
EP3846445A1 (en) 2021-07-07
WO2020044924A1 (ja) 2020-03-05
US11445102B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5659304B2 (ja) 画像生成装置および画像生成方法
JP5769813B2 (ja) 画像生成装置および画像生成方法
JP5865388B2 (ja) 画像生成装置および画像生成方法
US20150116502A1 (en) Apparatus and method for dynamically selecting multiple cameras to track target object
US11991477B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
WO2020110323A1 (ja) 動画合成装置、動画合成方法及び記録媒体
US20130314547A1 (en) Controlling apparatus for automatic tracking camera, and automatic tracking camera having the same
JP6559870B1 (ja) 動画合成装置、動画合成方法及び動画合成プログラム
KR102575196B1 (ko) 촬영 방법, 촬영 장치, 전자기기 및 저장매체
JP5874626B2 (ja) 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2023073307A (ja) プログラム、電子機器およびデータ記録方法
JP2021525043A (ja) タイムラプス撮影の制御方法および制御装置、撮像システムならびにプログラム
CN113645410B (zh) 图像采集方法、设备及机器可读存储介质
JP5892060B2 (ja) 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2023100764A (ja) 画像合成方法
JP5677055B2 (ja) 監視映像表示装置
JP2020087429A (ja) 動画合成装置、動画合成方法及び動画合成プログラム
WO2020044924A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20150022559A1 (en) Method and apparatus for displaying images in portable terminal
KR101452372B1 (ko) 카메라 제어 방법 및 그 시스템
JP2020119335A (ja) プログラム、カメラワークデータ生成方法および電子機器
JP2001183383A (ja) 撮像装置及び撮像対象の速度算出方法
JP7241628B2 (ja) 動画合成装置、動画合成方法、および動画合成プログラム
WO2023275920A1 (ja) トリガー信号発生装置及び携帯端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240312

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240618