JP7431609B2 - 制御装置及びその制御方法及びプログラム - Google Patents

制御装置及びその制御方法及びプログラム Download PDF

Info

Publication number
JP7431609B2
JP7431609B2 JP2020025400A JP2020025400A JP7431609B2 JP 7431609 B2 JP7431609 B2 JP 7431609B2 JP 2020025400 A JP2020025400 A JP 2020025400A JP 2020025400 A JP2020025400 A JP 2020025400A JP 7431609 B2 JP7431609 B2 JP 7431609B2
Authority
JP
Japan
Prior art keywords
imaging device
frame
image
control device
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020025400A
Other languages
English (en)
Other versions
JP2021132254A (ja
Inventor
慎也 大森
良和 川合
與佐人 日高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020025400A priority Critical patent/JP7431609B2/ja
Priority to US17/176,917 priority patent/US11516404B2/en
Publication of JP2021132254A publication Critical patent/JP2021132254A/ja
Application granted granted Critical
Publication of JP7431609B2 publication Critical patent/JP7431609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Viewfinders (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は撮像装置をリモート制御する制御装置及びその制御方法及びプログラムに関するものである。
近年、カメラ等の撮像装置を無線または有線の通信手段を用いて遠隔操作にて撮影を行う、リモート撮影システムが存在している。例えば、スポーツ会場において高所など、普段は人が入れないような場所からの撮影を行うことで、より付加価値の高い映像を提供することを目的とするような場合がその代表例である。また、パン・チルト・ロールを駆動できる雲台に搭載された撮像装置をあらかじめ会場に設置しておき、競技中は会場内の別の場所や会場外から、雲台および撮像装置を遠隔操作することで撮影を行うことができる。このようなリモート撮影システムは、ネットワーク上に遠隔から操作可能とする制御装置が存在する。このとき、ユーザは接続している撮影装置の撮影操作を行うだけでなく、撮影装置の機能を制御するための設定操作を制御装置で行うことができる。
特許文献1は、カメラ本体とは分離された表示装置に、フォーカスエリアの位置を設定するエリア設定手段を設け、遠隔操作でフォーカスエリアの位置設定を行うことができるカメラシステムを開示している。
上述のリモート撮影システムでは、撮像装置から送信されるストリーミング映像を遠隔地の制御装置でモニタしながら撮像操作を行う。このストリーミング映像は撮像装置の撮像素子で取得した映像である。以降この撮像装置の動作状態を、ライブビュー撮影と呼ぶこととする。
一方、光学ファインダを有する撮像装置で、光学ファインダを用いた撮影をする際の動作状態を、以降光学ファインダ撮影と呼ぶ。光学ファインダを有する撮像装置の多くは、ライブビュー撮影、と光学ファインダ撮影のどちらかを選択することができる。
一般的にライブビュー撮影時と光学ファインダ撮影時のAF動作は、AF制御に使用するセンサが異なり、光学ファインダ撮影時のAF動作の方が、AF速度などの点では優れている。このことから動きが激しいスポーツ選手を被写体とする撮影においては、光学ファインダ撮影で撮影することを要望するユーザが多い。
リモート撮影の際にも光学ファインダ撮影を実現したいという要求に対して、撮像装置の光学ファインダ内を補助カメラで撮像し、補助カメラからのストリーミング映像を制御装置でモニタするようなリモート撮影システムを構成することができる。
このリモート撮影システムにおいて、撮像装置のAFフレームの位置や種類、AF動作方式の設定は、遠隔地から制御装置のリモート操作で変更することとなる。
特開2002-196229号公報
本発明は、遠隔制御対象の撮像装置におけるAFフレームを、撮像装置が撮像する被写体を確認しながら直感的に指定できる技術を提供しようとするものである。
この課題を解決するため、例えば本発明の制御装置は以下の構成を備える。すなわち、
撮像装置をリモート制御する制御装置であって、
光学ファインダを有する第1の撮像装置、及び、当該第1の撮像装置が有する前記光学ファインダ内の像を撮像する第2の撮像装置と通信する通信手段と、
前記第1の撮像装置にて選択候補となる複数のAFフレームを前記光学ファインダに表示させた状態で、前記第2の撮像装置による撮像で得られた画像を、前記通信手段を介して取得し、表示すると共に、
前記第1の撮像装置の前記選択候補となる複数のAFフレームに対応するAFフレーム設定UIを表示する表示手段と、
前記AFフレーム設定UIにて選択されたAFフレームを特定する情報を含むAFフレームの選択コマンドを、前記通信手段を介して前記第1の撮像装置に送信する送信手段とを有する。
本発明によれば、遠隔制御対象の撮像装置におけるAFフレームを、撮像装置が撮像する被写体を確認しながら直感的に指定できるようになる。
第1の実施形態に係るシステム全体構成の概念図。 第1の実施形態に係る制御装置のブロック図。 第1の実施形態に係る撮像装置及び雲台のブロック図。 第1の実施形態に係る撮像装置の後部外観を示す図。 第1の実施形態に係る制御装置の表示部に表示される画面の一例を示す図。 第1の実施形態に係る制御装置の表示部に表示される画面の一例を示す図。 第1の実施形態に係る制御装置のAFフレーム設定処理のフローチャート。 第2の実施形態に係る制御装置の表示部に表示される画面の一例を示す図。 第2の実施形態に係る制御装置のAFフレーム設定処理のフローチャート。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1の実施形態]
以下、第1の実施形態を図1~図6を参照して説明する。なお以下の説明においては、処理方法を適用する装置全体の構成や動作目的、制御処理の内容、制御する各種装置、処理結果や制御結果などを具体的に説明するが、あくまで理解を容易にするためであって、この発明を限定するものではない点に注意されたい。よって、これら装置の構成や動作目的、制御処理の内容、制御処理に用いるパラメータ、制御する各種装置等は、装置全体の目的に応じて任意に構成したり、設定できるユーザインタフェース(以下UI)を設けたり、処理アルゴリズム及びプログラムなどを用いて動的に決定したりすることが出来る形態で提供することもできる。
図1は、本第1の実施形態に係るシステム全体の構成を示す概略図である。
本システムは、光学ファインダを有し、静止画または動画を撮影する撮像装置103、撮像装置103の光学ファインダ内の像を撮影する補助カメラ104、撮像装置103及び補助カメラ104を保持し、撮像装置103の撮像方向(パン、チルト動作)及び撮像装置103のズームレンズを駆動する雲台105を有する。したがって、補助カメラ104は、撮像装置103と同一視線方向の被写体を撮像することになる。なお、撮像装置103が、光学ファインダに選択可能な複数のフォーカス枠を重畳表示している場合(していない場合もあり得る)には、補助カメラ104はそのフォーカス枠が重畳した被写体の像を撮像することになる。また、実施形態における雲台105は、パン、チルト、ズームの制御を行うものとしているが、このうち、ズームは撮像装置103にて行うようにしても良い。
また、本システムは、撮像装置103、補助カメラ104、及び、雲台105と通信して、撮像装置103及び補助カメラ104からの映像の受信及び表示と、撮像装置103及び雲台105の各種設定や操作を行う制御装置102を有する。そして、本システムは、これが相互通信するためのネットワーク101を有する。このネットワーク101は、有線、無線を問わない。
なお、図1では、撮像装置103、補助カメラ104、雲台105を1セットとする3セット、及び、2台の制御装置102がネットワーク101に接続されている例を示しているが、この数に特に制限はない。
図2は、実施形態における制御装置102のブロック構成図である。制御装置102は、VRAM202と、BMU203と、入力装置204と、CPU205と、ROM206と、RAM207と、外部記憶装置208と、通信部209、及び、これらを接続するバス210を有する。バス210は、アドレスバス、データバス及びコントロールバスを含む。表示部201にはLCDなどのディスプレイ装置が用いられる。VRAM202には、表示部201に表示するための画像が描画される。このVRAM202に生成された画像データは、所定の規定に従って表示部201に転送され、これにより表示部201に画像が表示される。BMU(ビットムーブユニット)203は、例えば、メモリ間(例えば、VRAM202と他のメモリとの間)のデータ転送や、メモリと各I/Oデバイス(例えば、通信部209)間のデータ転送を制御する。入力装置204は、文字等を入力するための各種キーを有する。CPU205は、ROM206、外部記憶装置208に格納された制御プログラムに基づいて、各デバイスを制御する。ROM206は、各種制御プログラムやデータを保存する。本実施形態における具体的な操作内容や方法については後述する。RAM207は、CPU205のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。外部記憶装置208は、制御装置内で実行される各制御プログラムや各種データを保持している。通信部209は、インターネット等のネットワーク回線に接続するためのインタフェースであり、実施形態ではネットワーク101との間で通信を行うことになる。
図3(A)は、本実施形態における撮像装置103の構成を示すブロック図である。撮像装置103はデジタルカメラ、デジタルビデオカメラ、監視カメラなど、被写体を撮像し画像データを得る装置を含み、且つ、光学ファインダを含む。撮像装置103は、撮像部301と、撮像制御部302と、CPU303と、RAM304と、ROM305と、記憶媒体306と、表示部307と、操作部308と、通信部309で構成されている。撮像部301は、レンズ、絞り、撮像素子、及び信号処理回路を備えており画像を生成する。撮像制御部302は、撮像部の制御を行う。CPU303は、入力された信号やプログラムに従って、各種の演算や、撮像装置103を構成する各部分の制御を行う。RAM304は、一時的なデータを記憶し、CPU303の作業用に使われる。ROM305は、撮像装置103を制御するためのプログラム(ファームウェア)や各種の設定情報、撮像装置103の製品名やシリアル番号を記憶する。記憶媒体306は、撮影した画像データなどを記憶する。なお、撮影後に記憶媒体306は取り外すことが可能であり、パーソナルコンピュータ(以下、PC)などに装着してデータを読み出すことが可能である。表示部307は、撮影時のビューファインダ画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。なお、表示部307は撮像装置103が備える必要はなく、撮像装置103は表示部307の表示を制御する表示制御機能を有していればよい。操作部308は、使用者の操作を受け付けるためのものである。操作部308は例えばボタンやレバー、タッチパネルなどを用いることが可能である。通信部309は、外部装置と接続し制御コマンドやデータの送受信を行う。実施形態における通信部309は、ネットワーク101との間で通知を行うことになる。通信部309は、具体的にはイーサネットインタフェースとするが、USB(Universal Serial Bus)でも良い。また、無線LANなどの無線通信インタフェースでも構わない。
なお、撮像部301には、不図示のミラーが設けられている。このミラーの一部は半透明となっていて、この半透明部分を透過した光学像が不図示のフォーカスセンサに供給され、AFが実現される。そして、このミラーが下りている状態では、レンズを透過した光学像がこのミラーで反射され、ハーフミラー等で表示部307が表示した画像(フォーカス枠を示す像等)との合成像が光学ファインダに導かれる。また、ミラーが上がった状態では、レンズを透過した像が撮像部301の撮像素子に供給され、撮像素子によるフォーカシングと撮像が行われることになる。
以上、実施形態における撮像装置103の構成を説明した。補助カメラ104は、撮像装置103と概ね同じ構造であるが、撮像装置103の光学ファインダ内映像を撮影し、制御装置102に通信して映像を送信する機能を有するものであればよい。
図3(B)は、実施形態における雲台105のブロック構成図を示している。雲台105は、撮像装置103及び補助カメラ104を保持するメカニカルな構成を有するが、図3(B)は電気的な構成を示している点に注意されたい、雲台105は、パン駆動部351、チルト駆動部352、ズーム駆動部353、RAM354、CPU355、ROM356、及び、通信部357を有する。通信部357は、ネットワーク101との間で通知を行うことになる。CPU355は、ROM356に格納されたプログラムを、RAM354をワークエリアとして実行する。そして、CPU355は、このプログラムに従って、通信部357を介して、制御装置102からの受信した要求に応じて、パン駆動部351、チルト駆動部352、及び、ズーム駆動部353を制御し、撮像装置103の視線方向、並び、ズームを制御することになる。なお、ズーム制御を撮像装置103側が行うようにしても良い。
図4は、実施形態における撮像装置103の外観図である。ここでは一般的なデジタルカメラの例を示している。外部モニタ401、光学ファインダ402、操作ボタン403などが存在する。補助カメラ104は、光学ファインダ402内部の映像を安定して撮影するよう、雲台105に、撮像装置103と共に固定されることになる。
図5(A),(B)は、制御装置102にて、リモート制御アプリケーションを起動した際の表示部201に表示される操作画面の一例である。このアプリケーションが起動すると、制御装置102はユーザによる設定された各種コマンドを、通信中の撮像装置103、雲台105等に送信することで、遠隔操作が可能になる。図5(A)、(B)は、制御装置102が、ネットワーク101上の特定の1つの撮像装置103に対してAFフレーム選択操作を行うことを指示するコマンドを送信した際の操作画面であると理解されたい。上記コマンドを受けると、撮像装置103は、AFフレームの選択画面を表示部307に表示するようにしてもよい。
図5(A)は、制御装置102におけるネットワーク101上の特定の1つの撮像装置103のAF測距点設定画面の一例を示している。制御装置102にて、AFフレームの設定に係る指示がユーザより入力されると、CPU205はAF測距点設定に移行させるコマンドを撮像装置103に送信する。この結果、撮像装置103におけるCPU303は表示部307に、選択候補の複数のAFフレームを含むAF測距点設定画面を表示することになる。なお、撮像装置103は、AF測距点設定に移行させるコマンドを受信しない場合であっても、装置本体におけるユーザ操作などを受けて、CPU303により表示部307にAF測距点設定画面を表示させることは可能である。
像502は、補助カメラ104によって撮像された映像である。つまり、像502は、撮像装置103の光学ファインダ映像を補助カメラ104がライブビュー映像として撮像した画像である。参照符号503はエリアAFフレーム、参照符号504はAFフレームで、これらは撮像装置103が表示しているUIで、AFフレームを設定する場合に光学ファインダ内にハーフミラーで重畳して見えているものである。エリアAFフレーム503とAFフレーム504は、AF方式により予め決められた位置とサイズのAFフレーム504を予め決められた個数と配置によりエリアAFフレーム503内に表示する。AFフレーム504は、撮像装置103の光学ファインダ内に、どの点を測距点として設定するかを選択可能とする表示となっている。図示は、9点の選択可能なAFフレーム504をエリアAFフレーム503内に表示している様を示している。なお、像502は、あくまで補助カメラ104による撮像画像であるので、ユーザは、そこに映っているAFフレーム504を直接選択することはできない。この選択は、以下に説明するAFフレーム設定UI505により行われる。
参照符号505はAFフレーム設定UIで、制御装置がAFフレームを設定する際に描画するUIである。図示では、このAFフレーム設定UI505は、エリアAFフレーム506と、その中にAFフレーム507を含む9個のAFフレームを有する。このAFフレーム設定UI505の描画に関する情報は、外部記憶装置208に予め格納されており、CPU205がその情報に基づき描画するものである。なお、全ての撮像装置103が同じ機種であるとは限らないし、全ての補助カメラ104も同じ機種とは限らない。そこて、外部記憶装置208には、撮像装置の機種別の仕様情報(AFフレームの個数や配置に係る情報等)が格納されているのものとする。また、制御装置102は、撮像装置103や補助カメラ104と通信を開始した際、それらの機種を特定する情報を要求し、その要求により受信した情報に基づき、外部記憶装置208から対応する情報を取得し、AF測距点設定に係る処理を行う。
今、例えばユーザがAFフレーム設定UI505内のAFフレーム509を、不図示のポインティングデバイスに連動するカーソル508で指定したとする。この場合、CPU205は、AFフレーム509が選択されたことをユーザに知らせるため、例えばAFフレーム509を強調表示する(図示の場合は枠を太線で描画する)。そして、CPU205は、AFフレーム509を特定する情報を含むAF測距点の選択コマンドを生成し、撮像装置103に送信する。
この結果、撮像装置103におけるCPU303は、図5(B)に示すように、対応するAFフレーム510が選択されたことを強調表示する。補助カメラ104は、これを撮像し、制御装置102に送信してくる。また、CPU303は、これ以降、AFフレーム510を測距点としてAF処理を行うようになる。
次に、実施形態における制御装置102のCPU205が実行するリモート制御アプリケーションの一部であるAF設定処理を図7のフローチャートを参照して説明する。なお、このアプリケーションに係るプログラムは、ROM206に格納されているものする。ただし、プログラムが予め外部記憶装置208に格納され、CPU205は、そのプログラムをRAM207にロードして実行するようにしても良い。
S701にて、CPU205は、通信中の撮像装置103から機種に関する情報を取得し、その情報から対応する仕様情報を外部記憶装置208から取得する。そして、CPU205は、取得した仕様情報中のAFフレームの個数や配置に関する情報に基づき、AFフレーム設定UI画面505(エリアAFフレーム506、AFフレームを含む)を表示部201に表示する。
次いで、S702にて、CPU205は、通信部209を介して補助カメラ104から映像情報の受信処理を開始すると共に、受信した映像の像502としての表示を開始する。
次いで、S703にて、CPU205は、ユーザによるエリアAFフレーム506内の1つのAFフレームを選択するのを待つ。選択が行われたことを検出すると、CPU205は、S704にて、選択したAFフレームを特定する情報を含む、AF測距点の選択コマンドを生成し、通信中の撮像装置103に送信する。
以上説明したように本実施形態によれば、補助カメラによる撮像装置103の光学ファインダ内の像を表示すると共に、撮像装置103の光学ファインダ内に表示されるAFフレーム設定画面に模したAFフレーム設定UI505を表示する。この結果、ユーザは、撮像装置103の光学ファインダによる被写体(補助カメラの撮像画像に映っている)のどの部分にAFフレームを合わせるかを遠隔から指定できるようになる。なお、制御装置102が、AF設定操作を終了すると、AFフレーム設定画面等は表示されない。この場合、補助カメラ104は、撮像装置103の光学ファインダを通して、被写体を撮像することになる。つまり、補助カメラ104は、ズーム倍率やAF処理については撮像装置103に任せた上で、被写体を撮像することになる。
図5(A)、(B)の場合、補助カメラ104が撮像した像502内のエリアAFフレーム503と、AFフレーム設定UI505内のエリアAFフレーム506が、左右に並べて表示され、しかもその中に含まれるAFフレームも一対一の関係であるように表示されるので、ユーザは、自身が指定したAFフレーム507に対応するAFフレーム510が強調表示されるので、正常に撮像装置103に設定されたことを知ることができる。
なお、上記では、制御装置102は、補助カメラ104から取得した撮像画像を画面に左側に表示し、生成したエリアAFフレーム506を画面に右側に表示した。つまり、ユーザは、画面の左側の補助カメラ104からの映像に映っている映像中の被写体を確認しながら、画面の右側のエリアAFフレーム506内のAFフレームを選択する作業を行うことになり、ユーザは視線を左右に移動させる必要がある。
そこで、図6(A)に示すように、ユーザが、画像取り込みボタン601を、ポインティングデバイスに連動するカーソルで選択したとき、CPU205は、補助カメラ104から取得した映像中のエリアAFフレーム503内の映像を切り取り、その切り取った映像を右側のエリアAFフレーム506に重畳表示しても良い。この場合、ユーザは、エリアAFフレーム506を注視するだけで、被写体を確認しながら、AFフレームの指定操作が行えるようになる。
また、図6(B)に示すように、エリアAFフレーム506の縮小版506’を生成し、補助カメラ104から取得した映像の、エリアAFフレーム503とは重ならない位置に合成して表示、すなわち、PinP(Picture in Picture)表示する。この場合でも、図5(A)、(B)と比較して、ユーザは視線の移動量を少なくできる。
また、AFフレーム設定UI505におけるエリアAFフレーム506は、補助カメラ104が撮像した映像におけるエリアAFフレーム503を模して表示されるものである。故に、図5(A)に示すように、エリアAFフレーム503、506は同じサイズで、画面上の同じ高さ(垂直方向の同じ位置)に表示されることが望ましい。この場合、図7のS701の直前に、以下の処理を行うようにすれば良いであろう。
まず、CPU205は、撮像装置103、補助カメラ104と通信した際にその装置名等、その機種を特定する情報を取得するようにする。そして、CPU205は、その情報をキーにして、外部記憶装置208の中の対応する撮像装置103、補助カメラ104の仕様情報を特定し、その情報を取得する。取得する情報は、生成しようとするエリアAFフレーム506のサイズや位置の決定の指標となる情報であれば良く、例えば、撮像装置103の光学ファインダの指標となる領域を示す水平、垂直方向のサイズ、補助カメラ104の撮像画像の解像度(水平、垂直方向の画素数)等である。そして、CPU205は、補助カメラ104からの映像中に写っている光学ファインダの領域を検出し、エリアAFフレーム503の位置とサイズを判定する。CPU205は、これらの情報に基づき、エリアAFフレーム503と同じサイズ、形状を持つエリアAFフレーム506を含むAFフレーム設定UI505を生成する。
図7のS701では、CPU205は上記のようにして生成したAFフレームUI505を、検出したAFフレーム503に応じた画面の右側の位置に表示すればよい。以降は、説明するまでもないであろう。
上記の結果、ユーザから見れば、補助カメラ104が撮像した映像におけるエリアAFフレーム503と同じサイズのエリアAFフレーム505が並んで表示されるので、それらの内部のAFフレームが互いに対応しているものと認識し易くなり、操作性に優れた環境を提供できるようになる。
[第2の実施形態]
本第2の実施形態では、補助カメラ104による撮像画像上に、エリアAFフレーム506を重畳表示する。そして、ユーザは、あたかも補助カメラ104による撮像画像上のAFフレームを直接指定することを可能にする例を第2の実施形態として説明する。
ここで考慮しなければならない点は、雲台105に撮像装置103及び補助カメラ104を固定する際に、補助カメラ104が目的位置からずれて固定される場合が起こり得るという点である。或いは、当初は正しく雲台105に撮像装置103及び補助カメラ104を固定したものの、その後に何らの外力が加わって、雲台105における撮像装置103と補助カメラ104間の位置が、本来の位置からずれてしまう、ということも起こり得る。このような状況の場合、補助カメラ104による撮像画像に、CPU205が生成したエリアAFフレーム506を重畳表示すると、エリアAFフレーム503とエリアAFフレーム506がずれた位置に表示される。つまり、エリアAFフレーム503内のAFフレーム群と、エリアAFフレーム506内のAFフレーム群がずれた状態で表示され、ユーザに混乱を来すことになる。故に、本第2の実施形態では、撮像装置103に対する補助カメラ104が本来の位置からずれても、そのずれを相殺して、エリアAFフレーム503及びそのAFフレーム群が、エリアAFフレーム506及びそのAFフレーム群に精度良く一致させ、重畳表示する例を説明する。
このため、本第2の実施形態における外部記憶装置208には、補助カメラ104の機種毎の仕様情報(撮像画像の垂直、水平方向の画素数等)も格納されているものとする。制御装置102、撮像装置103の構成は第1の実施形態と同じとする。以下、本第2の実施形態における制御装置102のCPU205が実行するリモート制御アプリケーションの一部であるAF設定処理を図9のフローチャートを参照して説明する。なお、本処理に先立って、CPU205は、通信中の撮像装置103、補助カメラ104から、それらの機種を特定する情報を既に取得しているものする。
まずS901にて、CPU205は、機種情報に基づき、補助カメラ104の情報を外部記憶装置208より取得する。取得する情報は、補助カメラ104が撮像する画像の解像度(水平、垂直方向の画素数)や、像502内の撮像装置103のファインダ領域(垂直、水平画素数)等である。撮像装置103のファインダ領域は、一例として撮像装置103のファインダに分割グリッド表示した映像を画像解析して、ファインダ領域を取得するようにしてもよい。図8は撮像装置103のファインダに分割グリッド表示したものを表示した映像画面502の例を示す。
次に、S902にて、CPU205は、撮像装置103のファインダ領域とAFフレーム情報(エリアAFフレーム503とAFフレーム504の位置とサイズ)を、外部記憶装置108より取得する。
そして、S903にて、CPU205は、撮像装置103のファインダ領域と、補助カメラ104の映像画面502に映る撮像装置103のファインダ領域の位置とサイズの差分から、ファインダ領域の差分(ズレ量)を算出し、補助カメラ104の映像中の、エリアAFフレーム503と同じ形状及びサイズのエリアAFフレーム506を生成する。
そして、S904にて、CPU205は、補助カメラ104からの映像の受信と表示を開始させる。また、S905にて、CPU205は、生成したエリアAFフレーム506を、補助カメラ104による撮像映像中にエリアAFフレーム503と重なるように表示する。この結果、エリアAFフレーム503、エリアAFフレーム506内の全AFフレームも重なるようになる。
なお、本第2の実施形態では、補助カメラ104からの映像に合わせて、映像内に表示されるべきエリアAFフレーム503と同じ形状及びサイズでエリアAFフレーム506を生成されるので、撮像装置103におけるエリアAFフレーム503は非表示にしてもよい。
次のS906にて、CPU205は、ユーザによるエリアAFフレーム506内の1つのAFフレームを選択するのを待つ。選択が行われたことを検出すると、CPU205は、処理をS907に進め、選択したAFフレームを特定する情報を含む、AF測距点の選択コマンドを生成し、通信中の撮像装置103に送信する。
以上の結果、本第2の実施形態によれば、あたかも補助カメラ104による撮像画像を介して、直接的に撮像装置のAFフレームの選択を行うのと同等の操作環境をユーザに提示できるようになる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101…ネットワーク、102…制御装置、103…撮像装置、104…補助カメラ、105…雲台、201…表示部、205…CPU、208…外部記憶装置

Claims (6)

  1. 撮像装置をリモート制御する制御装置であって、
    光学ファインダを有する第1の撮像装置、及び、当該第1の撮像装置が有する前記光学ファインダ内の像を撮像する第2の撮像装置と通信する通信手段と、
    前記第1の撮像装置にて選択候補となる複数のAFフレームを前記光学ファインダに表示させた状態で、前記第2の撮像装置による撮像で得られた画像を、前記通信手段を介して取得し、表示すると共に、
    前記第1の撮像装置の前記選択候補となる複数のAFフレームに対応するAFフレーム設定UIを表示する表示手段と、
    前記AFフレーム設定UIにて選択されたAFフレームを特定する情報を含むAFフレームの選択コマンドを、前記通信手段を介して前記第1の撮像装置に送信する送信手段と
    を有することを特徴とする制御装置。
  2. 前記表示手段は、前記第2の撮像装置による撮像画像と、前記AFフレーム設定UIを並べて表示することを特徴とする請求項1に記載の制御装置。
  3. 前記表示手段は、前記第2の撮像装置による撮像画像と、前記AFフレーム設定UIとを重畳して表示することを特徴とする請求項1に記載の制御装置。
  4. 前記第1の撮像装置の指標となる領域を示す情報を保持する保持手段と、
    該保持手段に保持された指標となる領域と、前記第2の撮像装置による撮像画像に映っている前記指標の領域とから、前記第1の撮像装置に対する前記第2の撮像装置のズレ量を求め、当該ズレ量に基づき前記第2の撮像装置による撮像画像に映るべきAFフレームと同じ位置とサイズのAFフレームに対応する前記AFフレーム設定UIを生成する生成手段とを更に有し、
    前記表示手段は、前記第2の撮像装置による撮像画像に、前記生成手段で生成した前記AFフレーム設定UIのAFフレームを重畳表示する
    ことを特徴とする請求項3に記載の制御装置。
  5. 撮像装置をリモート制御する制御装置であって、光学ファインダを有する第1の撮像装置、及び、当該第1の撮像装置が有する前記光学ファインダ内の像を撮像する第2の撮像装置と通信する通信手段を有する制御装置の制御方法であって、
    前記第1の撮像装置にて選択候補となる複数のAFフレームを前記光学ファインダに表示させた状態で、前記第2の撮像装置による撮像で得られた画像を前記通信手段を介して取得し、表示すると共に、
    前記第1の撮像装置の前記選択候補となる複数のAFフレームに対応するAFフレーム設定UIを表示する表示工程と、
    前記AFフレーム設定UIにて選択されたAFフレームを特定する情報を含むAFフレームの選択コマンドを、前記通信手段を介して前記第1の撮像装置に送信する送信工程と
    を有することを特徴とする制御装置の制御方法。
  6. コンピュータが読み込み実行することで、前記コンピュータに、請求項5に記載の方法の各工程を実行させるためのプログラム。
JP2020025400A 2020-02-18 2020-02-18 制御装置及びその制御方法及びプログラム Active JP7431609B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020025400A JP7431609B2 (ja) 2020-02-18 2020-02-18 制御装置及びその制御方法及びプログラム
US17/176,917 US11516404B2 (en) 2020-02-18 2021-02-16 Control apparatus and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020025400A JP7431609B2 (ja) 2020-02-18 2020-02-18 制御装置及びその制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021132254A JP2021132254A (ja) 2021-09-09
JP7431609B2 true JP7431609B2 (ja) 2024-02-15

Family

ID=77273286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020025400A Active JP7431609B2 (ja) 2020-02-18 2020-02-18 制御装置及びその制御方法及びプログラム

Country Status (2)

Country Link
US (1) US11516404B2 (ja)
JP (1) JP7431609B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179783A (ja) 2001-12-10 2003-06-27 Olympus Optical Co Ltd 撮像装置、撮像システム、検出装置、及びプログラム
JP2005221602A (ja) 2004-02-04 2005-08-18 Konica Minolta Photo Imaging Inc 撮像装置
JP2006227722A (ja) 2005-02-15 2006-08-31 Make Softwear:Kk 写真撮影装置、および写真自動販売機
JP2010258525A (ja) 2009-04-21 2010-11-11 Canon Inc 制御装置
JP2017517924A (ja) 2014-07-28 2017-06-29 ゾウリン ワン、 一眼レフカメラ外部接続電子ビューファインダー

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196229A (ja) 2001-11-07 2002-07-12 Olympus Optical Co Ltd カメラシステム
JP5020894B2 (ja) * 2008-06-10 2012-09-05 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
EP2843628A1 (en) * 2012-04-23 2015-03-04 Sony Corporation Image processing device, image processing method, and recording medium
CN105430255A (zh) * 2014-09-16 2016-03-23 精工爱普生株式会社 图像处理装置以及机器人系统
JP6415286B2 (ja) * 2014-12-08 2018-10-31 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP6611531B2 (ja) * 2015-09-16 2019-11-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179783A (ja) 2001-12-10 2003-06-27 Olympus Optical Co Ltd 撮像装置、撮像システム、検出装置、及びプログラム
JP2005221602A (ja) 2004-02-04 2005-08-18 Konica Minolta Photo Imaging Inc 撮像装置
JP2006227722A (ja) 2005-02-15 2006-08-31 Make Softwear:Kk 写真撮影装置、および写真自動販売機
JP2010258525A (ja) 2009-04-21 2010-11-11 Canon Inc 制御装置
JP2017517924A (ja) 2014-07-28 2017-06-29 ゾウリン ワン、 一眼レフカメラ外部接続電子ビューファインダー

Also Published As

Publication number Publication date
JP2021132254A (ja) 2021-09-09
US11516404B2 (en) 2022-11-29
US20210258504A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
JP6819768B2 (ja) 表示装置および撮像装置
TWI422218B (zh) Control devices, camera systems and programs for monitoring camera systems
CN106454065B (zh) 信息处理装置及其控制方法
KR20100066864A (ko) 카메라를 구비한 단말기 및 그 단말기에서 이미지 처리 방법
JP2006191411A (ja) カメラ制御装置、画像表示装置、カメラ制御方法、画像表示方法及びプログラム
JP2019062575A (ja) 制御装置及び制御方法、プログラム
JP2020188349A (ja) 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体
JP2019012881A (ja) 撮像制御装置及びその制御方法
TW200908711A (en) Photographing apparatus
JP7431609B2 (ja) 制御装置及びその制御方法及びプログラム
JP6836306B2 (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
JP2021182659A (ja) 撮像装置、及び撮像システム
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP2020202503A (ja) 撮像装置、コンピュータプログラムおよび記憶媒体
WO2012099174A1 (ja) オートフォーカスシステム
JP2024131750A (ja) 制御装置、レンズ装置、外部コントローラ装置、撮像装置および制御方法
JP2015019215A (ja) 撮像装置及び撮像方法
US20240236475A9 (en) Imaging apparatus
JP7130976B2 (ja) 表示情報作成装置、撮影システムおよびプログラム
JPH1188728A (ja) テレビカメラの情報表示装置
KR101998846B1 (ko) 카메라를 구비한 단말기 및 그 단말기에서 이미지 처리 방법
KR101853054B1 (ko) 카메라를 구비한 단말기 및 그 단말기에서 이미지 처리 방법
JP2023086483A (ja) 画像処理装置、画像処理方法およびプログラム
KR101798019B1 (ko) 카메라를 구비한 단말기 및 그 단말기에서 이미지 처리 방법
JP2023117955A (ja) 情報処理装置、撮像装置、撮像システム、方法、及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230215

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231226

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240202

R151 Written notification of patent or utility model registration

Ref document number: 7431609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151