JP7059934B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7059934B2
JP7059934B2 JP2018546163A JP2018546163A JP7059934B2 JP 7059934 B2 JP7059934 B2 JP 7059934B2 JP 2018546163 A JP2018546163 A JP 2018546163A JP 2018546163 A JP2018546163 A JP 2018546163A JP 7059934 B2 JP7059934 B2 JP 7059934B2
Authority
JP
Japan
Prior art keywords
camera
zoom control
zoom
information processing
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018546163A
Other languages
English (en)
Other versions
JPWO2018074045A1 (ja
Inventor
亮平 安田
卓郎 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018074045A1 publication Critical patent/JPWO2018074045A1/ja
Application granted granted Critical
Publication of JP7059934B2 publication Critical patent/JP7059934B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/10—Viewfinders adjusting viewfinders field
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Lens Barrels (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
３次元空間に存在するオブジェクトを観察する際、拡大等のズーム制御を行うことで、ユーザが注目している対象（注目対象）をより見やすくすることが行われている（例えば特許文献１）。また、視点の位置や回転角度等を変更するズーム制御以外の視点に関する制御（以下、非ズーム制御と呼ぶ場合がある）が、ズーム制御とあわせて行われる場合もある。
特開２０１６－１１５９６５号公報
しかし、ズーム制御と非ズーム制御があわせて行われる場合、例えばユーザの注目対象が視野内から外れてユーザが注目対象を見失ってしまう等、注目対象を視認し難くなってしまう恐れがあった。
そこで、本開示では、カメラのズーム制御と非ズーム制御が行われ場合に、注目対象の視認性低下を抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、ユーザの注目対象に関する注目情報を取得する取得部と、前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御を行うズーム制御部と、を備える情報処理装置が提供される。
また、本開示によれば、ユーザの注目対象に関する注目情報を取得することと、前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御をプロセッサが行うことと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、ユーザの注目対象に関する注目情報を取得する機能と、前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御を行う機能と、を実現させるための、プログラムが提供される。
以上説明したように本開示によれば、カメラのズーム制御と非ズーム制御が行われ場合に、注目対象の視認性低下を抑制することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
非ズーム制御とズーム制御が略同時に行われる例を示す説明図である。 注目対象がカメラの視野内に位置するような、カメラのズーム速度の条件について説明するための説明図である。 注目対象がカメラの視野内に位置するような、カメラのズーム速度の条件について説明するための説明図である。 注目対象がカメラの視野内に位置するような、カメラのズーム速度の条件について説明するための説明図である。 本開示の第１の実施形態に係る情報処理装置の機能構成例を示す図である。 同実施形態に係る情報処理装置１０Ａの第１の例を示す図である。 同実施形態に係る情報処理装置１０Ａの第１の例において仮想空間に存在する仮想オブジェクトの例を示す図である。 同実施形態に係る情報処理装置１０Ａの動作例を示すフローチャート図である。 同実施形態に係る情報処理装置１０Ａの第２の例を示す図である。 同実施形態に係る情報処理装置１０Ａの第２の例において仮想空間に存在する仮想オブジェクトの例を示す図である。 同実施形態に係る情報処理装置１０Ａの第３の例を示す図である。 同実施形態に係る情報処理装置１０Ａの第３の例において仮想空間に存在する仮想オブジェクトの例を示す図である。 同実施形態に係る情報処理装置１０Ａの第４の例を示す図である。 本開示の第２の実施形態に係る情報処理装置の機能構成例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第１の例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第１の例において実空間に存在する実オブジェクトの例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第２の例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第２の例において実空間に存在する実オブジェクトの例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第３の例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第３の例において実空間に存在する実オブジェクトの例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第４の例を示す図である。 同実施形態に係る出力制御部１１１が表示させるガイドの例を説明する説明図である。 同実施形態に係る出力制御部１１１が表示させるガイドの他の例を説明する説明図である。 同実施形態に係る情報処理装置１０Ｂの第５の例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第５の例において実空間に存在する実オブジェクトの例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第６の例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第６の例において実空間に存在する実オブジェクトの例を示す図である。 同実施形態に係る情報処理装置１０Ｂの第７の例を示す図である。 ハードウェア構成例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
＜＜１．第１の実施形態＞＞
＜１－１．概要＞
＜１－２．構成＞
＜１－３．動作＞
＜１－４．応用例＞
＜＜２．第２の実施形態＞＞
＜２－１．構成＞
＜２－２．応用例＞
＜＜３．ハードウェア構成例＞＞
＜＜４．むすび＞＞
＜＜１．第１の実施形態＞＞
まず、本開示の第１の実施形態について説明する前に、本開示に係る実施形態の前提構成について説明する。本開示の実施形態においては、カメラのズーム制御と、ユーザの注目対象（注目位置、注目領域、注目オブジェクト等）をカメラの視野内の所望の位置（例えば視野中心）に移動させるためのズーム制御以外のカメラに係る制御（非ズーム制御）が略同時に行われる。このような制御を行うことで、例えば、ユーザの注目対象がユーザにとってより見やすくなるように画像の取得（撮像）、または表示を行うことが可能である。
なお、本開示の実施形態において、カメラは仮想空間に存在する仮想的なカメラであってもよいし、実空間に存在するカメラであってもよい。また、本開示の実施形態において、カメラの視野とは、仮想空間、または実空間において、カメラが撮像する範囲を意味する。
また、本開示の実施形態において、ズーム制御は、カメラに係る焦点距離の変更、またはカメラと注目対象の相対距離の変更を含んでもよい。
例えば、カメラが仮想的なカメラである場合、カメラの焦点距離に係るパラメータを変更して画像を取得（撮像）することで、カメラに係る焦点距離の変更が行われてもよい。また、カメラが仮想的なカメラである場合、カメラの位置、または注目対象に係るオブジェクト（仮想空間に配置された仮想オブジェクト）の位置を変更することで、カメラと注目対象の相対距離の変更が行われてもよい。
また、カメラが実空間に存在するカメラである場合、カメラのレンズ駆動が制御されることで、カメラの焦点距離の変更が行われてもよいし、カメラの位置が制御されることで、カメラと注目対象の相対距離の変更が行われてもよいし。
また、本開示の実施形態において、非ズーム制御は、カメラの光軸に対して垂直方向へのカメラの並進移動制御、またはカメラの回転制御を含んでもよい。なお、カメラが仮想空間に存在する仮想的なカメラである場合、非ズーム制御は、非ズーム制御は、カメラと、注目対象に係るオブジェクト（仮想空間に配置された仮想オブジェクト）との相対位置制御を含んでもよい。
また、本開示の実施形態においては、ユーザの注目対象に係る注目情報が得られた場合に、非ズーム制御が行われて、注目対象がカメラの視野内の所望の位置に移動する。なお、以下ではカメラの視野内の所望の位置がカメラの視野中心である例について説明する。
また、本開示の実施形態においては、カメラのズーム制御として、例えば拡大方向のズーム制御（ズームイン制御）が行われる。上記の非ズーム制御とズーム制御があわせて（略同時に）行われることで、注目対象が中心に位置し、かつ拡大された画像が取得され得る。
図１は、非ズーム制御とズーム制御が略同時に行われる例を示す説明図である。図１では、回転制御、または並進移動制御等の非ズーム制御が可能なカメラによってオブジェクト６０－１が撮像される場合を想定する。図１に示すカメラの視野５３－１には、オブジェクト６０－１の全体が含まれている。
ここで、カメラにより撮像される画像を観測しているユーザが、オブジェクト６０－１において、ユーザの注目領域６１（注目対象の一例）をさらに詳細に観測したいと考えた場合を想定する。係る場合、例えば、注目領域６１の重心６２－１が視野中心に移動するように非ズーム制御を行うとともに、拡大方向のズーム制御を行うことによって、カメラの視野は視野５３－３のようになり、ユーザはより詳細に注目領域６１を観測可能である。
ここで、図１に示すように、カメラの非ズーム制御、及びズーム制御により視野が視野５３－１から視野５３－３に遷移する途中の視野５３－２において、注目領域６１がカメラの視野内に位置しなくなる（視野外へ移動する）恐れがある。例えば、非ズーム制御に比べて、ズーム制御が高速に行われる場合、注目領域６１がカメラの視野外へ移動しやすい。例えば、カメラが実空間に存在するカメラである場合には、ズームに係るレンズの駆動制御の方が、カメラの移動、回転等よりも高速に行われることが多い。また、３Ｄ酔いの抑制等の目的で、仮想的なカメラの移動速度が制限されている場合、仮想的なカメラにおいてもズーム制御の方が非ズーム制御よりも高速に行われることがある。
ユーザの注目領域が、視野外へ移動する、または視野中心から離隔してしまうと、ユーザは注目領域を見失いやすくなり、ユーザにとって、注目領域の視認性が低下する。そこで、本件開示者は、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、非ズーム制御と、注目対象に関する注目情報に基づいて、ズーム速度を制限したズーム制御を行うことで、注目対象の視認性低下を抑制することが可能である。以下、このような効果を有する本開示に係る第１の実施形態の概要について図２～図４を参照して説明を行う。
＜１－１．概要＞
本開示に係る第１の実施形態では、ズーム制御、及び非ズーム制御が行われている間に、注目対象の視認性低下が抑制されるように、ズーム制御が行われる。例えば、注目対象がカメラの視野内に常に位置するように、カメラのズーム速度を制限したズーム制御を行うことで、ユーザは注目対象を見失いにくくなり、注目対象の視認性低下が抑制され得る。以下では、ズーム制御と非ズーム制御が略同時に行われる場合に、注目対象がカメラの視野内に位置するような、カメラのズーム速度の条件について、図２～図４を参照して説明を行う。
図２～図４は、注目対象がカメラの視野内に位置するような、カメラのズーム速度の条件について説明するための説明図である。
図２はズーム制御の時刻Ｔ＝０（例えばズーム制御の開始時刻）時点のカメラと、ユーザの注目対象の位置関係を示している。図２において、点Ｐは時刻Ｔ＝０時点のカメラ位置（視点位置）を、点Ｒは視野中心に移動される注目点（注目対象の一例）の位置を示している。また、点Ｑは、点Ｒから、時刻Ｔ＝０時点のカメラの光軸Ａに垂直におろした線と、光軸Ａの交点を示している。また、点Ｓは点Ｑ、及び点Ｒを通る直線と時刻Ｔ＝０時点のカメラ画角範囲の交点を示している。
また、図２において、角度θＳは時刻Ｔ＝０時点のカメラの画角を、角度θｒは時刻Ｔ＝０時点のカメラの光軸Ａと点Ｐ、及び点Ｒを結ぶ直線のなす角を示している。また、図２に示すように、点Ｐと点Ｑまでのカメラの光軸方向（奥行き方向）の距離をｄ、時刻Ｔ＝０時点のカメラの光軸Ａから点Ｑまでの高さをｈとする。
また、図２には、ズーム速度制御に係るパラメータとして、カメラの光軸方向（ｚ軸方向）のカメラ並進移動速度ｖＺ、及び画角変更速度ωＺが示されている。また、図２には、非ズーム制御に係るパラメータとして、カメラ回転速度ωＣ、及び光軸と垂直方向のカメラ並進移動速度ｖｈが示されている。なお、カメラ並進移動速度は、カメラと注目対象との相対的な移動速度（相対距離の変更速度）であってもよい。
図３は、時刻Ｔ＝ｔ時点のカメラと、ユーザの注目対象の位置関係を示している。図３において、点Ｐ’、点Ｑ’、及び点Ｒ’は、それぞれ時刻Ｔ＝ｔ時点における点Ｐ、点Ｑ、及び点Ｒに対応する点である。なお、時刻Ｔ＝０から時刻Ｔ＝ｔまでの期間、上記のズーム制御、及び非ズーム制御にかかるパラメータは変更されないものとする。
ここで、図２、図３より、ズーム制御、及び非ズーム制御が行われている期間に、注視点Ｒがカメラ画角範囲（視野）内に存在するためには、画角変更速度ωＺ、またはカメラ並進移動速度ｖＺが所定の条件を満たす必要がある。より具体的には、図３において、∠Ｓ’Ｐ’Ｑ‘≧∠ＲＰ’Ｑ’の関係が満たされればよい。したがって、図３に示す角度θＳ’、角度θｒ’の、及び角度ωＣｔを用いて、以下の式（１）が得られる。
Figure 0007059934000001
また、角度θＳ’、及び角度θｒ’はそれぞれ以下の式（２）、式（３）で表すことが可能である。
Figure 0007059934000002
式（１）～（３）より、画角変更速度ωＺについて整理すると、以下の条件を示す式（４）が得られる。
Figure 0007059934000003
したがって、画角変更速度ωＺが式（４）を満たすようなズーム速度でズーム制御を行うことで、注目点Ｒが時刻Ｔ＝０から時刻Ｔ＝ｔの期間、カメラの視野内に存在するようにズーム制御を行うことが可能である。
なお、式（４）は、ズーム制御がカメラの焦点距離の変更（カメラ画角の変更）と、カメラと注目対象の相対距離の変更（カメラの光軸方向への並進移動）の両方を含む場合の条件である。ズーム制御が、カメラと注目対象の相対距離の変更を含まない場合、カメラの光軸方向のカメラ並進移動速度ｖＺ＝０とおけるため、式（４）は以下の条件を示す式（５）のように変形できる。
Figure 0007059934000004
また、式（４）は、非ズーム制御が、カメラの並進移動制御、及び回転制御の両方を含む場合の条件である。なお、非ズーム制御は、カメラの並進移動制御及び回転制御のうち、少なくとも一方を含めばよい。ここで、非ズーム制御が、カメラの並進移動制御のみを含む場合、カメラ回転速度ωＣ＝０とおけるため、式（４）は以下の条件を示す式（６）のように変形できる。
Figure 0007059934000005
一方、非ズーム制御、及びズーム制御が、カメラの回転制御のみを含む場合、カメラ並進移動速度ｖＺ＝０、ｖｈ＝０とおけるため、式（４）は以下の条件を示す式（７）のように変形できる。
Figure 0007059934000006
また、ズーム制御がカメラの光軸方向へのカメラの並進移動制御を含む場合、カメラの光軸方向へのカメラ並進移動速度ｖＺについての条件を満たすようにズーム制御が行われる。ズーム制御、及び非ズーム制御が行われている期間に、注視点Ｒがカメラ画角範囲（視野）内に存在するためには、図３においてＱＲ≦ＱＳ’の関係が満たされればよいため、以下の式（８）が得られる。
Figure 0007059934000007
式（８）をカメラの光軸方向へのカメラ並進移動速度ｖＺについて整理すると、以下の条件を示す式（９）が得られる。
Figure 0007059934000008
したがって、カメラの光軸方向へのカメラ並進移動速度ｖＺが式（９）を満たすようなズーム速度でズーム制御を行うことで、注目点Ｒが時刻Ｔ＝０から時刻Ｔ＝ｔの期間カメラの視野内に存在するようにズーム制御を行うことが可能である。
なお、カメラ画角が固定の場合（ズーム制御が焦点距離の変更制御を含まない場合）、画角変更速度ωＺ＝０とおけるため、式（９）は、以下の条件を示す式（１０）のように変形可能である。
Figure 0007059934000009
また、本実施形態において、注目点Ｒが視野中心を通り過ぎないようにズーム制御が行われてもよい。図４は、時刻Ｔ＝ｔにおいて、注目点Ｒが視野中心を通り過ぎないようにズーム制御が行われる場合の例を説明するための説明図である。図４に示す点Ｓ’’は、カメラの光軸に対して、Ｓ’と対象の画角範囲と点Ｑ、及び点Ｒを通る直線との交点である。
注視点Ｒが、カメラの視野中心を通り過ぎないようにするためには、図４において、∠ＲＰ’Ｑ‘≧０の関係が満たされればよいため、以下の式（１１）の関係が得られる。
Figure 0007059934000010
式（１１）をωＣについて整理すると、式（１１）は条件を示す以下の式（１２）のように変形される。
Figure 0007059934000011
注視点Ｒが、カメラの視野中心を通り過ぎないようにするためには式（１２）が満たされるように、ズーム制御が行われればよい。
なお、注視点Ｒが視野中心を通り過ぎてもよく、かつ視野内に存在するためには、図４において、∠Ｑ’Ｐ’Ｒ≦∠Ｑ’Ｐ’Ｓ’’が満たされればよいため、以下の式（１３）の関係が得られる。
Figure 0007059934000012
式（１３）をωＣについて整理すると、式（１３）は条件を示す以下の式（１４）のように変形される。
Figure 0007059934000013
なお、ｔは微小な期間であってもよく、例えば制御パラメータの更新間隔であってもよい。つまり、期間ｔごとに、上述したような条件を満たすようにズーム制御が行われてもよい。例えば、式（４）の条件を満たすように制御パラメータを更新しながらズーム制御が行われることで、注目点Ｒが常に、カメラの視野内に存在するようにズーム制御を行うことが可能である。
また、光軸と垂直方向のカメラ並進移動速度ｖｈは、２方向（例えば互いに垂直なｘ軸方向とｙ軸方向）のうち、いずれか１方向の速度成分であってもよい。カメラ並進移動速度ｖｈが、１方向の速度成分である場合、カメラ並進移動速度ｖｈと垂直かつ、光軸と垂直な方向の速度成分についても、上記で説明した条件と同様の条件が得られ、いずれの条件も満たすようにズーム制御が行われてよい。
また、注目対象が注目領域である場合には、例えば、注目領域内の全ての点について、上記の条件が満たされればよい。また、注目対象が注目オブジェクトである場合には、カメラの視野において注目オブジェクトに対応する領域内の全ての点について、上記の条件が満たされればよい。
以上、本開示に係る第１の実施形態の概要を説明した。続いて、以下では、上記で説明したズーム制御を実現するための本開示に係る第１の実施形態の構成例について説明する。なお、本開示の第１の実施形態においては、あらかじめ用意され、仮想空間に存在する仮想オブジェクトを、仮想的なカメラが撮像する例を主に説明する。
＜１－２．構成＞
（全体的な構成）
図５は、本開示の第１の実施形態に係る情報処理装置の機能構成例を示す図である。図５に示したように、本実施形態に係る情報処理装置１０Ａは、制御部１１０、注目情報検出部１２０、操作検出部１３０、記憶部１５０Ａおよび出力部１６０を有している。
なお、本明細書においては、制御部１１０、注目情報検出部１２０、操作検出部１３０、記憶部１５０Ａおよび出力部１６０が、同一のデバイス（情報処理装置１０Ａ）の内部に存在する例を主に説明する。しかし、これらのブロックが存在する位置は特に限定されない。例えば、出力部１６０は、情報処理装置１０Ａとは別途設けられた装置であってもよい。また、後に説明するように、これらのブロックの一部は、サーバなどに存在していてもよい。
制御部１１０は、情報処理装置１０Ａの各部の制御を実行する。図５に示したように、制御部１１０は、出力制御部１１１、取得部１１２、決定部１１３、回転制御部１１４、移動制御部１１５、及びズーム制御部１１６を備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部１１０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
注目情報検出部１２０は、３次元空間におけるユーザの注目対象に関する注目情報（以下、単に「注目情報」とも言う。）を検出することが可能である。本明細書においては、注目情報としてユーザの視線を用いる場合を主に説明する。ここで、ユーザの視線は、どのようにして検出されてもよい。一例として、ユーザの視線は、注目情報検出部１２０が撮像装置を有する場合、撮像装置によって得られた画像に写る目領域に基づいて検出されてよい。しかし、注目情報は、ユーザの視線に限定されない。
例えば、注目情報は、ユーザの動きを検出するモーションセンサによる検出結果に基づいて検出されてもよい（モーションセンサによって検出された３次元空間における位置を先とする注目情報が検出されてもよい）。モーションセンサは、加速度センサによって加速度を検出してもよいし、ジャイロセンサ（例えば、指輪型ジャイロマウスなど）によって角速度を検出してもよい。あるいは、注目情報は、触感型デバイスによる検出結果に基づいて検出されてもよい。触感型デバイスの例としては、ペン型の触感デバイスが挙げられる。
あるいは、注目情報は、所定の物体が指し示す方向（例えば、棒の先端が指し示す方向など）であってもよいし、ユーザの指が指し示す方向であってもよい。所定の物体が指し示す方向およびユーザの指が指し示す方向は、注目情報検出部１２０が撮像装置を有する場合、撮像装置によって得られた画像に写る物体および指に基づいて検出されてよい。あるいは、注目情報は、ユーザの顔認識結果に基づいて検出されてもよい。例えば、注目情報検出部１２０が撮像装置を有する場合、撮像装置によって得られた画像に基づいて両目間の中心位置が認識され、両目間の中心位置から伸びる直線が注目情報として検出されてもよい。
あるいは、注目情報は、マーカの認識結果に基づいて検出されてもよい。例えば、３次元空間に２次元マーカが配置され、注目情報検出部１２０が可視光カメラを有する場合、可視光カメラによる撮像によって得られた画像に写る２次元マーカの位置に基づいて、注目情報が検出されてもよい。また、３次元空間に赤外線反射マーカが配置され、注目情報検出部１２０が赤外線カメラを有する場合、赤外線反射マーカにおける赤外線の反射光を赤外線カメラによって撮像し、撮像によって得られた画像に写る赤外線反射マーカの位置に基づいて、注目情報が検出されてもよい。
あるいは、注目情報は、音声認識結果に基づいて検出されてもよい。例えば、複数のオブジェクトがカメラの視野内に存在する場合に、ユーザは複数のオブジェクトのうち一のオブジェクトを表現する発話を行えばよい。そうすれば、かかる発話に対する音声認識結果として、テキストデータが得られ、このテキストデータに基づいて、当該一のオブジェクトを注目対象とする注目情報が検出され得る。
あるいは、複数の手法によって同時に注目情報を検出可能である場合、複数の手法のいずれかが利用対象として選択されてもよい。例えば、複数の手法の中で最も注目情報の検出精度が高い手法（例えば、マーカの認識結果に基づく検出手法など）が利用対象として選択されてもよい。このとき、検出精度はあらかじめ決められていてもよいし、その時々で計算されてもよい。あるいは、複数の手法の中で最も方向指示が最も直感的な手法（例えば、視線の検出手法など）が利用対象として選択されてもよい。
操作検出部１３０は、ユーザによって入力される操作を検出することが可能である。例えば、本明細書においては、ユーザによって入力される操作の例として、非ズーム制御、及びズーム制御の開始操作（制御開始操作）があげられる。ここで、制御開始操作は、どのようにして検出されてもよい。例えば、制御開始操作は、スイッチ、レバーおよびボタンなどに対する操作であってもよいし、ユーザの発話等に基づいて検出されてよい。
あるいは、制御開始操作は、ユーザの身体の位置（例えば、頭部の位置など）および姿勢（例えば、全身の姿勢など）などに基づいて検出されてもよい。また、オブジェクトの回転操作および移動操作は、筋電（例えば、顎の筋電、腕の筋電など）によって検出されてもよいし、脳波によって検出されてもよい。
記憶部１５０Ａは、制御部１１０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１５０Ａは、制御部１１０による演算のためにデータを一時的に記憶する。記憶部１５０Ａは、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。特に、本開示の第１の実施形態において、記憶部１５０Ａは、仮想オブジェクトの一例である３次元モデルに関する情報（例えば、３次元モデルの形状、大きさ、位置、向きなどの情報）を、３Ｄモデル情報１５１として記憶している。
出力部１６０は、各種の情報を出力する。例えば、出力部１６０は、ユーザに視認可能な表示を行うことが可能なディスプレイを含んでよく、ディスプレイは、プロジェクタであってもよいし、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。また、出力部１６０は、音声出力装置を含んでもよい。あるいは、出力部１６０は、ユーザに触覚を提示する触覚提示装置を含んでもよい。なお、後述する出力制御部１１１は、出力部１６０を直接的に制御する第１出力制御部と、出力部１６０によって表示された表示を直接的または間接的に制御する第２出力制御部を別個に有しても良い。
（機能詳細）
以上、本開示の第１の実施形態に係る情報処理装置１０Ａの全体的な機能構成例について説明した。続いて、本開示の第１の実施形態に係る情報処理装置１０Ａの機能詳細について説明する。図６は、本開示の第１の実施形態に係る情報処理装置１０Ａの第１の例を示す図である。図７は、本開示の第１の実施形態に係る情報処理装置１０Ａの第１の例において仮想空間に存在する仮想オブジェクトの例を示す図である。図６に示すように、情報処理装置１０Ａは、ユーザＵの頭部に装着され、注目情報検出部１２０および出力部１６０を有している。
図６に示すように、第１の例においては、情報処理装置１０ＡがＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）用のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である場合を主に想定する。しかし、情報処理装置１０Ａは、ＡＲ用のＨＭＤに限定されない。例えば、情報処理装置１０Ａは、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）用のＨＭＤであってもよいし、テレビジョン装置であってもよいし、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよいし、スマートフォンであってもよいし、他の電子機器であってもよい。
図７を参照すると、仮想空間２０－１に仮想オブジェクト４０－１が存在し、仮想空間２０－１内に視点カメラ５１が仮想的に存在している。そして、視点カメラ５１によって仮想オブジェクト４０－１が撮像されて得られる画像が、出力制御部１１１による制御に従って出力部１６０によって表示されることによって、ユーザＵに視野５３－５が提供される。図６に示した例では、視野５３－１に写る仮想オブジェクト６０－２の例として、脳の３Ｄモデルが示されている。
ここで、視野５３－５を観測したユーザＵが、ユーザＵの注目領域６１をさらに詳細に観測したいと考えた場合を想定する。係る場合、例えば、注目領域６１の重心６２－２が視野中心に移動するように非ズーム制御を行うとともに、拡大方向のズーム制御を行うことによって、ユーザはより詳細に注目領域６１を観測可能である。
上記では、図１を参照してズーム制御により注目対象６２－２の視認性が低下する例を説明した。一方、本開示の第１の実施形態においては、注目情報検出部１２０が、実空間におけるユーザＵの視線を検出し、実空間におけるユーザＵの視線に対応する仮想空間２０－１におけるユーザＵの視線５２をユーザＵによる注目情報の例として検出する。そして、取得部１１２が、仮想空間２０－１におけるユーザＵの視線５２を、ユーザの注目対象に関する注目情報として取得するとともに、３Ｄモデル情報１５１から仮想空間２０－１における仮想オブジェクト４０－１の位置を取得する。
このとき、決定部１１３は、仮想空間２０－１における仮想オブジェクト４０－１の位置と仮想空間２０－１におけるユーザＵの視線とに基づいて、注目対象、及び視野中心（視野内の所望の位置の一例）に移動させる点（以下移動基準点と呼ぶ）を決定する。例えば、決定部１１３は、仮想空間２０－１におけるユーザＵの視線５２と仮想オブジェクト４０－１の表面との交点を注目対象（注目点）としてもよいし、当該交点の近傍の領域を注目対象（注目領域）としてもよい。また、図７には、仮想空間２０－１におけるユーザＵの視線５２が示されており、決定部１１３が、仮想空間２０－１におけるユーザＵの視線５２と仮想オブジェクト４０－１の表面との交点を移動基準点４２－２として決定する例が示されている。視野５３－１には、仮想空間２０－１における移動基準点４２－２に対応する点として、移動基準点６２－２が写っている。なお、決定部１１３による移動基準点４２－２の決定は係る例に限定されず、例えば決定部１１３は、注目領域の重心位置を移動基準点４２－２として決定してもよい。
回転制御部１１４、及び移動制御部１１５は、注目情報に基づいて、視点カメラ５１の非ズーム制御を行う。本明細書においては、回転制御部１１４、及び移動制御部１１５は、移動基準点４２－２が視野中心に移動するように、非ズーム制御を行う。回転制御部１１４は、視点カメラ５１を回転させる制御を行い、移動制御部１１５は、視点カメラ５１を視点カメラ５１の光軸と垂直方向に並進移動させる制御を行う。なお、移動制御部１１５は、仮想オブジェクト４０－１を視点カメラ５１の光軸と垂直方向に並進移動させることで、仮想オブジェクト４０－１と視点カメラ５１の相対距離を変更させる非ズーム制御を行ってもよい。
例えば、回転制御部１１４による視点カメラ５１を回転させる制御は、図２～図４を参照して説明したカメラ回転速度ωＣによる制御であってもよい。また、移動制御部１１５による視点カメラ５１を並進移動させる制御は、図２～図４を参照して説明したカメラ並進移動速度ｖｈによる制御であってもよい。
ズーム制御部１１６は、回転制御部１１４、及び移動制御部１１５による非ズーム制御が行われるとき、非ズーム制御、及び注目情報に基づいて、カメラのズーム制御を行う。
例えば、ズーム制御部１１６は、図２～図４を参照して説明したように、ズーム速度を制御してもよい。非ズーム制御に係るパラメータに基づいて、カメラのズーム速度を制御することで、ズーム制御を行ってもよい。
ズーム制御部１１６は、ズーム速度に係る画角変更速度ωＺまたはカメラの光軸方向の並進移動速度ｖＺが、上述した条件を示す式（４）～式（７）、式（９）、式（１０）、式（１２）、式（１４）、のうち少なくともいずれか一つを満たすように、ズーム速度を制御してもよい。
係る構成により、ユーザＵは注目対象を見失いにくくなり、注目対象の視認性低下を抑制することが可能である。
なお、ズーム制御部１１６によるズーム制御は、回転制御部１１４、及び移動制御部１１５による非ズーム制御と略同時に行われてもよい。また、回転制御部１１４、移動制御部１１５、及びズーム制御部１１６による非ズーム制御、及びズーム制御は、図５を参照して説明した操作検出部１３０により検出されるユーザの制御開始操作に基づいて略同時に開始され、略同時に行われてもよい。また、非ズーム制御、及びズーム制御は、ユーザＵの制御開始操作によらずに自動的に開始されてもよい。
以上においては、カメラの非ズーム制御、及びズーム制御を行う例について説明した。ところで、上記においては、注目情報検出部１２０がユーザの視線を検出する例について説明したが、注目情報検出部１２０によってユーザの視線が検出されない場合もあり得る。例えば、注目情報検出部１２０が撮像装置を有する場合、撮像装置の撮像範囲に目領域が収まっていない場合もあれば、画像に目領域が不鮮明に写っており視線が検出されない場合もある。
そこで、出力制御部１１１は、視線が検出されない場合、視線が検出されないことを示す情報の出力を制御するとよい。視線が検出されないことを示す情報は、視覚情報としてディスプレイによって出力されてもよいし、音声情報として音声出力装置によって出力されてもよいし、触覚情報として触覚提示装置によって出力されてもよい。
また、カメラのズーム制御は、上述した自動的な制御によらず、操作検出部１３０により検出されるユーザの操作に基づいて行われてもよい。係る場合、ユーザの操作によっては注目対象の視認性が低下する恐れがあるため、ズーム制御部１１６は、ユーザの操作に対して、カメラのズーム速度の制限をかけてもよい。ユーザの操作に対してかけられるカメラのズーム速度の制限は、上述した自動的な制御におけるズーム速度の制限と同様であってよい。
また、出力制御部１１１は、ユーザによるカメラのズーム操作に関するガイドを出力（例えば表示）させてもよい。例えば、出力制御部１１１は、ユーザの操作に対してカメラのズーム速度が制限される場合に、ズーム速度が制限されていることを示すガイドや、ズーム速度の制限値を示すガイドを表示させてもよい。ガイドの例については、図２２、図２３を参照して後述する。
以上においては、本開示の第１の実施形態に係る情報処理装置１０Ａの構成の一例（第１の例）を説明した。本開示の第１の実施形態に係る情報処理装置１０Ａの他の例については、応用例として図９～図１３を参照して後述する。
＜１－３．動作＞
続いて、本開示の第１の実施形態に係る情報処理装置１０Ａの動作例を説明する。図８は、本実施形態に係る情報処理装置１０Ａの動作例を示すフローチャート図である。まず、取得部１１２が、注目情報検出部１２０により検出されるユーザの注目情報（例えばユーザの視線）を取得すると共に、及び３Ｄモデル情報１５１から仮想オブジェクトの位置を取得する（Ｓ１０２）。
続いて、決定部１１３が、注目情報に基づいて、注目対象、及び移動基準点を決定する（Ｓ１０４）。ステップＳ１０４で移動基準点に基づいて、回転制御部１１４、及び移動制御部１１５が、非ズーム制御に係るパラメータを特定する（Ｓ１０６）。続いて、ズーム制御部１１６が、注目対象、及び非ズーム制御に係るパラメータに基づいて、ズーム制御に係るパラメータを特定する（Ｓ１０８）。
続いて、回転制御部１１４、移動制御部１１５、及びズーム制御部１１６により、非ズーム制御とズーム制御が略同時に行われる（Ｓ１１０）。
以上、本実施形態に係る情報処理装置１０Ａの動作例について説明した。なお、上述したステップＳ１０２～Ｓ１１０の処理は、例えば図２～図４を参照して説明した期間ｔごとに繰り返し行われて、制御パラメータが更新されてもよい。
＜１－４．応用例＞
以上、本開示の第１の実施形態に係る情報処理装置１０Ａの一例（第１の例）について説明したが、本開示の第１の実施形態に係る情報処理装置１０Ａは、上述した例以外にも応用可能である。以下では、応用例として、本開示の第１の実施形態に係る情報処理装置１０Ａの他の例について、図９～図１３を参照して幾つか説明する。
図９は、本開示の第１の実施形態に係る情報処理装置１０Ａの第２の例を示す図である。図１０は、本開示の第１の実施形態に係る情報処理装置１０Ａの第２の例において仮想空間に存在する仮想オブジェクトの例を示す図である。図９に示すように、情報処理装置１０Ａは、ユーザＵが存在する部屋内に据え置かれており、注目情報検出部１２０および出力部１６０を有している。
図９に示すように、第２の例においては、情報処理装置１０Ａがテレビジョン装置である場合を主に想定する。図１０を参照すると、仮想空間２０－１に仮想オブジェクト４０－１、及び視点カメラ５１が仮想的に存在している。そして、視点カメラ５１によって仮想オブジェクト４０－１が撮像されて得られる画像が、出力制御部１１１による制御に従って出力部１６０によって表示されることによって、ユーザＵに視野５３－５が提供される。図９を参照すると、視野５３－５に写る仮想オブジェクト６０－２の例として、脳の３Ｄモデルが示されている。
第２の例においても、注目情報検出部１２０が、実空間におけるユーザＵの視線を検出し、実空間におけるユーザＵの視線に対応する仮想空間２０－１におけるユーザＵの視線５２をユーザＵによる注目情報の例として検出する。このとき、第２の例において、注目情報検出部１２０は、実空間におけるユーザＵの視線に基づいて、視野５３－５におけるユーザＵの注目点を検出し、視野５３－５におけるユーザＵの注目点に対応する仮想空間２０－１におけるユーザＵの視線５２をユーザＵによる注目情報の例として検出する。第２の例においても、第１の例と同様に、視点カメラ５１の非ズーム制御、及びズーム制御が行われる。
図１１は、本開示の第１の実施形態に係る情報処理装置１０Ａの第３の例を示す図である。図１２は、本開示の第１の実施形態に係る情報処理装置１０Ａの第３の例において仮想空間に存在する仮想オブジェクトの例を示す図である。図１１に示すように、情報処理装置１０Ａは、ユーザＵが存在する部屋内に据え置かれており、注目情報検出部１２０および出力部１６０を有している。
図１１に示すように、第３の例においても、情報処理装置１０Ａがテレビジョン装置である場合を主に想定する。図１２を参照すると、仮想空間２０－３に仮想オブジェクト４０－３、及び視点カメラ５１が仮想的に存在している。そして、視点カメラ５１によって仮想オブジェクト４０－３が撮像されて得られる画像が、出力制御部１１１による制御に従って出力部１６０によって表示されることによって、ユーザＵに視野５３－１１が提供される。図１１を参照すると、視野５３－１１に写る仮想オブジェクト６０－３の例として、部屋の３Ｄモデルが示されている。第３の例においても、第１の例と同様に、視点カメラ５１の非ズーム制御、及びズーム制御が行われる。
図１３は、本開示の第１の実施形態に係る情報処理装置１０Ａの第４の例を示す図である。図１３に示すように、情報処理装置１０Ａは、ユーザＵ２の頭部に装着され、注目情報検出部１２０および出力部１６０を有している。ユーザＵ２とは異なるユーザＵ１は、コンピュータＣ１の画面を閲覧している。コンピュータＣ１は、３Ｄモデル情報を管理しており、３Ｄモデル情報に基づく仮想オブジェクトを画面に表示するとともに、３Ｄモデル情報を情報処理装置１０Ａに送信する。第４の例においても、第１の例と同様に、情報処理装置１０ＡがＡＲ用のＨＭＤである場合を主に想定する。
図１３を参照すると、仮想空間に仮想オブジェクト４０－４、及び視点カメラが仮想的に存在している。そして、視点カメラによって仮想オブジェクト４０－４が撮像されて得られる画像が、出力制御部１１１による制御に従って出力部１６０によって表示されることによって、ユーザＵに視野が提供される。図１３を参照すると、仮想オブジェクト４０－４の例として、心臓が示されている。第４の例においても、第１の例と同様に、視点カメラ５１の非ズーム制御、及びズーム制御が行われる。
＜＜２．第２の実施形態＞＞
以上、本開示の第１の実施形態について説明した。続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態では、本開示の第２の実施形態に係る情報処理装置が実空間に存在するカメラ（以下、実カメラと呼ぶ場合がある）を有する例を説明する。
ただし、本開示の第２の実施形態において、非ズーム制御、及びズーム制御が行われるカメラは、実カメラであってもよいし、実空間に対応する仮想空間に配置される仮想的なカメラ（以下、仮想カメラと呼ぶ場合がある）であってもよい。本実施形態において、仮想カメラの非ズーム制御、及びズーム制御が行われる場合、本実施形態に係る情報処理装置は、実カメラから取得された画像に基づいて仮想オブジェクトを生成し、仮想空間において当該仮想オブジェクトを仮想カメラにより撮像する。
一方、本実施形態において、実カメラの非ズーム制御、及びズーム制御が行われる場合、本実施形態に係る情報処理装置は、実カメラの回転、並進移動、及びズームレンズの駆動制御を行ってもよい。
なお、本開示の第１の実施形態において既に説明した非ズーム制御、及びズーム制御の機能は、本開示の第１の実施形態における仮想カメラの非ズーム制御、及びズーム制御、及び実カメラの非ズーム制御、及びズーム制御に対しても同様に適用され得る。そこで、本開示の第２の実施形態においては、第１の実施形態と異なる点を主に説明する。
＜２－１．構成＞
（全体的な構成）
まず、本開示の第２の実施形態に係る情報処理装置の全体的な構成例について説明する。図１４は、本開示の第２の実施形態に係る情報処理装置の機能構成例を示す図である。図１４に示したように、情報処理装置１０Ｂは、実カメラを含むセンサ部１４０を有しており、記憶部１５０Ｂが３Ｄモデル情報１５１を記憶していない点が、本開示の第１の実施形態に係る情報処理装置１０Ａと異なっている。以下では、これらの相違点について主に説明する。
なお、図１４には、制御部１１０、注目情報検出部１２０、操作検出部１３０、センサ部１４０、記憶部１５０Ｂおよび出力部１６０が、同一のデバイス（情報処理装置１０Ｂ）の内部に存在する例が示されている。しかし、これらのブロックが存在する位置は特に限定されない。例えば、後に説明するように、これらのブロックの一部は、他の装置に存在していてもよい。
センサ部１４０は、例えば、実空間に存在する実カメラを含む。センサ部１４０に含まれる実カメラは、回転、並進移動、及びズームレンズの駆動を制御部１１０により制御されてもよい。
また、センサ部１４０は、実空間に存在する実オブジェクトの奥行き情報を検出するセンサを含んでもよい。実オブジェクトの奥行き情報の検出手法は特に限定されない。例えば、センサ部１４０は、レーザ距離計によって実オブジェクトの奥行き情報を検出してもよいし、デプスセンサによって実オブジェクトの奥行き情報を検出してもよいし、ステレオカメラによって実オブジェクトの奥行き情報を検出してもよいし、カメラレンズの焦点距離、カメラによって撮像される画像サイズ、および、イメージセンサのサイズに基づいて、実オブジェクトの奥行き情報が検出されてもよい。上記のようにして検出された奥行き情報により、例えば図２～図４を参照して説明した距離ｄの情報が得られる。
（機能詳細）
以上、本開示の第２の実施形態に係る情報処理装置１０Ｂの全体的な構成例について説明した。続いて、本開示の第１の実施形態に係る情報処理装置１０Ｂの機能詳細について説明する。図１５は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第１の例を示す図である。図１６は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第１の例において実空間に存在する実オブジェクトの例を示す図である。図１５に示すように、情報処理装置１０Ｂは、ユーザＵが存在する部屋内に据え置かれており、注目情報検出部１２０および出力部１６０を有している。
図１５に示すように、第１の例においては、情報処理装置１０Ｂがテレビジョン装置である場合を主に想定する。図１６を参照すると、実空間２０－４に実オブジェクト４０－４が存在し、実オブジェクト４０－４を異なる位置からそれぞれ撮像する実カメラ７１－１および実カメラ７１－２が存在している。実カメラ７１の数は特に限定されない。また、実カメラ７１が図１４を参照して説明したセンサ部１４０に含まれる実カメラとして機能する。
また、実空間２０－４には、実空間に対応する仮想空間に仮想的な視点カメラ５１（仮想カメラ）が設置されている。そして、実カメラ７１－１および実カメラ７１－２それぞれによって実オブジェクト４０－４が撮像されて得られる映像が、出力制御部１１１によって繋ぎ合わされて、仮想的な視点カメラ５１によって撮像される仮想オブジェクトである、自由視点映像が生成される。
出力制御部１１１によって生成した自由視点映像が出力部１６０によって表示されることによって、ユーザＵに視野５３－１５が提供される。図１５を参照すると、視野５３－１５に写る仮想オブジェクト６０－４の例として、サッカー競技場（選手達を含む）が示されている。なお、仮想オブジェクト６０－４は、サッカー競技場に限定されない。例えば、仮想オブジェクト６０－４は、音楽が演奏されるライブ会場であってもよいし、監視カメラによって撮像される監視対象領域であってもよい。
本開示の第２の実施形態においては、注目情報検出部１２０が、ユーザＵが存在する空間におけるユーザＵの視線を検出し、当該空間におけるユーザＵの視線に対応する実空間２０－４におけるユーザＵの視線５２をユーザＵによる注目情報の例として検出する。そして、取得部１１２が、実空間２０－４におけるユーザＵの視線５２を取得するとともに、センサ部１４０から実空間２０－４における実オブジェクト４０－４の位置を取得する。
このとき、決定部１１３は、実空間２０－４における実オブジェクト４０－４の奥行き情報に対応する面と実空間２０－４におけるユーザＵの視線とに基づいて、注目対象、及び移動基準点を決定する。例えば、決定部１１３は、仮想空間２０－１におけるユーザＵの視線５２と実オブジェクト４０－４の表面との交点を注目対象としてもよいし、当該交点の近傍の領域を注目対象（注目領域）としてもよい。また、第１の例において、決定部１１３は、例えば実空間２０－４におけるユーザＵの視線５２と実オブジェクト４０－４の奥行き情報に対応する面との交点に存在する人物（サッカー選手）を、注目対象として決定してもよい。また、図１６には、実空間２０－４におけるユーザＵの視線５２が示されており、決定部１１３が、実空間２０－４におけるユーザＵの視線５２と実オブジェクト４０－４の奥行き情報に対応する面との交点を移動基準点４２－２として決定する例が示されている。視野５３－１５には、実空間２０－４における移動基準点４２－２に対応する点として、移動基準点６２－２が写っている。
回転制御部１１４、及び移動制御部１１５は、注目情報に基づいて、視点カメラ５１の非ズーム制御を行う。本明細書においては、回転制御部１１４、及び移動制御部１１５は、移動基準点４２－２が視野中心に移動するように、非ズーム制御を行う。回転制御部１１４は、視点カメラ５１を回転させる制御を行い、移動制御部１１５は、視点カメラ５１を視点カメラ５１の光軸と垂直方向に並進移動させる制御を行う。
例えば、回転制御部１１４による視点カメラ５１を回転させる制御は、図２～図４を参照して説明したカメラ回転速度ωＣによる制御であってもよい。また、移動制御部１１５による視点カメラ５１を並進移動させる制御は、図２～図４を参照して説明したカメラ並進移動速度ｖｈによる制御であってもよい。
さらに、本開示の第２の実施形態においても、ズーム制御部１１６は、回転制御部１１４、及び移動制御部１１５による非ズーム制御が行われるとき、非ズーム制御、及び注目情報に基づいて、カメラのズーム制御を行う。
例えば、ズーム制御部１１６は、図２～図４を参照して説明したように、ズーム速度を制御してもよい。非ズーム制御に係るパラメータに基づいて、カメラのズーム速度を制御することで、ズーム制御を行ってもよい。
ズーム制御部１１６は、ズーム速度に係る画角変更速度ωＺまたはカメラの光軸方向の並進移動速度ｖＺが、上述した条件を示す式（４）～式（７）、式（９）、式（１０）、式（１２）、式（１４）、のうち少なくともいずれか一つを満たすように、ズーム速度を制御してもよい。
係る構成により、本開示の第２の実施形態においても、ユーザＵは注目対象を見失いにくくなり、注目対象の視認性低下を抑制することが可能である。
なお、本開示の第２の実施形態においても、ズーム制御部１１６によるズーム制御は、回転制御部１１４、及び移動制御部１１５による非ズーム制御と略同時に行われてもよい。
＜２－２．応用例＞
以上、本開示の第２の実施形態に係る情報処理装置１０Ａの一例（第１の例）について説明したが、本開示の第２の実施形態に係る情報処理装置１０Ａは、上述した例以外にも応用可能である。以下では、応用例として、本開示の第２の実施形態に係る情報処理装置１０Ａの他の例について、図１７～図２８を参照して幾つか説明する。
図１７は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第２の例を示す図である。図１８は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第２の例において実空間に存在する実オブジェクトの例を示す図である。図１７に示すように、情報処理装置１０Ｂは、ユーザＵが存在する部屋内に据え置かれており、注目情報検出部１２０および出力部１６０を有している。
図１７に示すように、第２の例においても、情報処理装置１０Ｂがテレビジョン装置である場合を主に想定する。図１８を参照すると、実空間２０－５に実オブジェクト４０－５が存在し、実オブジェクト４０－５を異なる位置からそれぞれ撮像する実カメラ７１－１および実カメラ７１－２が存在している。実カメラ７１の数は特に限定されない。また、実空間２０－５には、実空間に対応する仮想空間に仮想的な視点カメラ５１が設置されている。そして、実カメラ７１－１および実カメラ７１－２それぞれによって実オブジェクト４０－５が撮像されて得られる映像が、出力制御部１１１によって繋ぎ合わされて、仮想的な視点カメラ５１によって撮像される仮想オブジェクトである、自由視点映像が生成される。
出力制御部１１１によって生成された自由視点映像が出力部１６０によって表示されることによって、ユーザＵに視野５３－１６が提供される。図１７を参照すると、視野５３－１６に写る実オブジェクト６０－５の例として、車両が示されている。なお、実オブジェクト６０－５は、車両に限定されない。本例においても、本開示の第２の実施形態の第１の例と同様に、視点カメラ５１の非ズーム制御、及びズーム制御が行われる。
図１９は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第３の例を示す図である。図２０は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第３の例において実空間に存在する実オブジェクトの例を示す図である。図１９に示すように、情報処理装置１０Ｂは、ユーザＵが存在する部屋内に据え置かれており、注目情報検出部１２０および出力部１６０を有している。
図１９に示すように、第３の例においても、情報処理装置１０Ｂがテレビジョン装置である場合を主に想定する。図２０を参照すると、実空間２０－６に実オブジェクト４０－６が存在し、実空間にステレオカメラ７２（実カメラの一例）が存在している。そして、ステレオカメラ７２によって実オブジェクト４０－６が撮像されて得られる映像が、出力部１６０によって表示されることによって、ユーザＵに視野５３－１７が提供される。図１９を参照すると、視野５３－１７に写る実オブジェクト６０－６の例として、機械が示されている。なお、実オブジェクト６０－６は、機械に限定されない。
本例においては、注目情報検出部１２０が、ユーザＵが存在する空間におけるユーザＵの視線を検出し、当該空間におけるユーザＵの視線に対応する実空間２０－６におけるユーザＵの視線５２をユーザＵによる注目情報の例として検出する。そして、取得部１１２が、実空間２０－６におけるユーザＵの視線５２を取得するとともに、ステレオカメラ７２から実空間２０－６における実オブジェクト４０－６の位置を取得する。
本例においては、制御部１１０がロボットアーム７３による並進移動と回転、またはステレオカメラ７２が有するズームレンズの駆動を制御することによって非ズーム制御、及びズーム制御が行われる。なお、ステレオカメラ７２を移動、または回転させるのは、ロボットアーム７３に限定されない。例えば、ロボットアーム７３の代わりに、移動可能なロボットがステレオカメラ７２を移動、または回転させてもよい。また、ズーム制御部１１６は、ステレオカメラ７２のズームレンズの駆動を制御することで、焦点距離を変更してもよい。
図２１は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第４の例を示す図である。図２１に示すように、情報処理装置１０Ｂは、ユーザＵが存在する手術室内に据え置かれており、注目情報検出部１２０および出力部１６０を有している。また、手術室内には、手術台７４が存在している。
図２１に示すように、第４の例においても、情報処理装置１０Ｂがモニタである場合を主に想定する。図２１を参照すると、実空間２０－７に実オブジェクト４０－７、及びステレオカメラ７２が存在している。そして、ステレオカメラ７２によって実オブジェクト４０－７が撮像されて得られる映像が、出力部１６０によって表示されることによって、ユーザＵに視野５３－１８が提供される。図２１を参照すると、視野５３－１８に写る実オブジェクト６０－７の例として、被手術者が示されている。
本例においては、注目情報検出部１２０が、ユーザＵの視線を検出し、ユーザＵの視線に対応する実空間２０－７におけるユーザＵの視線５２をユーザＵによる注目情報の例として検出する。そして、取得部１１２が、実空間２０－７におけるユーザＵの視線５２を取得するとともに、ステレオカメラ７２から実空間２０－７における実オブジェクト４０－７の位置を取得する。
本例においては、制御部１１０がロボットアーム７３、による並進移動と回転、またはステレオカメラ７２が有するズームレンズの駆動制御することによって非ズーム制御、及びズーム制御が行われる。なお、ステレオカメラ７２を移動、または回転させるのは、ロボットアーム７３に限定されない。例えば、ロボットアーム７３の代わりに、移動可能なロボットがステレオカメラ７２を移動、または回転させてもよい。また、ステレオカメラ７２は、ズームレンズの駆動機構を有し、ズーム制御部１１６は、ステレオカメラ７２のズームレンズの駆動を制御することで、焦点距離を変更してもよい。
また、本例において、カメラのズーム制御は、不図示のフットスイッチ（操作検出部１３０の一例）により検出されるユーザの操作に基づいて行われてもよい。例えば、ズーム量はフットスイッチの踏み込み量に応じた値であってもよい。また、ズーム速度は、ズーム量に応じて変化させてもよいし、一定であってもよい。また、係る場合、出力制御部１１１は、ユーザによるカメラのズーム操作に関するガイドを表示させてもよい。
図２２は出力制御部１１１が表示させるガイドの例を説明する説明図である。例えば、フットスイッチの踏み込み量が第１の閾値に達すると、ステレオカメラ７２はズームのためのスタンバイ状態となる。踏み込み量が第２の閾値以上になると、ステレオカメラ７２はズームを開始、すなわちズーム倍率を変化させる。本例では、第１の閾値は第２の閾値よりも小さく設定される。なお、上記踏み込み量に応じた段階的制御に代えて、フットスイッチに対する足の接触に応じてステレオカメラ７２をスタンバイ状態としてもよい。フットスイッチに対する足の接触の検出には、圧力センサ、静電容量センサ、デプスセンサ、画像センサ等、任意のセンサが用いられてよい。
また、例えば音声等による制御開始操作により非ズーム制御が開始される。なお、出力制御部１１１は、視線位置６２－２を示すポインタを表示させることが望ましい。
スタンバイ状態になると、ズーム範囲(ズーム制御完了後の表示範囲)に対応するガイド枠６３－１が表示される。フットスイッチの踏み込み量が増加するほどガイド枠は小さくなる。あるいは、踏み込み量に対し段階的にガイド枠を小さくしてもよい。例えば、踏み込み量に応じてガイド枠６３－１、ガイド枠６３－２（例えば踏み込み量２０％）、ガイド枠６３－３（例えば踏み込み量４０％）が表示され得る。
通常、踏み込みによるズーム操作完了よりもズーム完了は遅くなる。これに対し、ズーム操作に対するガイド枠の表示は遅延なく行われる。ガイド枠が遅延なく表示されるため、自身のズーム操作に応じたズーム制御により、注視対象がズーム制御中に表示範囲外に出てしまうことをユーザＵは認識可能である。したがって、係る構成によれば、ユーザは注目対象を見失わないように、ズーム操作を中断等の調整（踏み込み量を小さくする）を行うことができる。
図２３は出力制御部１１１が表示させるガイドの他の例を説明する説明図である。本例においても、音声指示後、ステレオカメラ７２の非ズーム制御が行われる。また、ズーム制御部１１６は、現在の非ズーム制御に係るパラメータと、ユーザＵのフットペダル操作により特定されるズーム速度に基づいて、注目点（注目対象の一例）６２－２がズーム後の表示範囲（視野）内に存在するか否かを判定できる。
現在のフットペダル操作（踏み込み量）ではズーム後の表示範囲（視野）から注目点６２－２が出てしまうと判定された場合、出力制御部１１１はガイド枠の表示を変更し、注目点６２－２が視野外に移動する恐れがあることを通知（注意喚起）させてもよい。出力制御部１１１による通知は、例えば、ガイド枠の色、線種（二重線、破線、点線等）を異ならせることによって行われてもよい。図２３の例においては、ガイド枠６３－３がガイド枠６３－１、ガイド枠６３－２とは異なる線種（破線）により表示されることで、現在のフットペダル操作では、ズーム制御中に注目対象が表示範囲から出てしまうことをユーザＵは把握できる。このため、ユーザＵは、例えば枠が赤色にならないようにカメラ移動中の踏み込み量をより正確に調整できる。
上述した例と同様、注目情報と非ズーム制御に基づき、注目対象が表示範囲に存在するようにズーム速度の制御（制限）を行っても良い。係る場合、フットペダル操作に基づく通常のズーム速度とは異なるズーム速度となり、画像変化が通常とは異なる態様を示す。このため、ユーザＵが操作に対する画像変化に違和感を覚える恐れがある。したがって、ズーム制御部１１６がズーム速度を制限する場合（通常よりもズーム速度を遅くする場合）、出力制御部１１１は、ズーム速度が制限されている旨の通知をユーザに行ってもよい。このような通知は、音声、表示その他種々の方法で行われ得る。音声、表示以外の態様として、例えばフットスイッチの操作に対し通常よりも抵抗感（負荷）を加えるといった例が挙げられる。
なお、ユーザＵは、ズーム速度が制限されている旨の通知に対し、制限のキャンセル（解除）操作を行ってもよく、制限のキャンセル操作は、例えば視線操作、ジェスチャ操作、音声操作、タッチ操作等であってもよい。ユーザＵにより制限のキャンセル操作が行われたことが検出された場合、ズーム制御部１１６は、ズーム速度の制限を解除してもよい。係る構成により、ユーザＵがキャンセル操作を行った場合、注目対象が表示領域からはみ出ても良いようにユーザＵが決定でき、ズーム速度に対する違和感を任意にコントロールすることが可能となる。また、上述したガイドの出力は、他の例にも適用可能である。
図２４は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第５の例を示す図である。図２５は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第５の例において実空間に存在する実オブジェクトの例を示す図である。図２４に示すように、情報処理装置１０Ｂは、ユーザＵが回転操作および移動操作などを入力可能なコントローラであり、注目情報検出部１２０および出力部１６０を有している。
図２５を参照すると、実空間２０－８に実オブジェクト４０－８、及び実カメラである視点カメラ５１が存在している。図２４および図２５に示す例では、実カメラである視点カメラ５１がドローンに搭載されている。そして、視点カメラ５１によって実オブジェクト４０－８が撮像されて得られる映像が、出力部１６０によって表示されることによって、ユーザＵに視野５３－１９が提供される。図２４を参照すると、視野５３－１９に写る実オブジェクト６０－８の例として、ロボットが示されている。なお、実オブジェクト６０－８は、ロボットに限定されない。
本例においては、注目情報検出部１２０が、ユーザＵが存在する空間におけるユーザＵの視線を検出し、当該空間におけるユーザＵの視線に対応する実空間２０－８におけるユーザＵの視線５２をユーザＵによる注目情報の例として検出する。そして、取得部１１２が、実空間２０－８におけるユーザＵの視線５２を取得するとともに、視点カメラ５１（例えば、デプスカメラ）から実空間２０－８における実オブジェクト４０－８の位置を取得する。
本例においては、視点カメラ５１を搭載するドローンの並進移動と回転、及び視点カメラ５１が有するズームレンズの駆動が制御部１１０により制御されることで、非ズーム制御、及びズーム制御が行われる。図２５には、視点カメラ５１を搭載するドローンの軌道５５が示されている。なお、図２４では、情報処理装置１０Ｂが、ユーザＵが操作するコントローラである場合を説明した。しかし、情報処理装置１０Ｂは、ユーザＵが操作するコントローラに限定されず、ウェアラブルデバイスであってもよい。そして、ウェアラブルデバイスが注目情報検出部１２０および出力部１６０を有していてもよい。
図２６は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第６の例を示す図である。図２７は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第６の例において実空間に存在する実オブジェクトの例を示す図である。図２４に示すように、情報処理装置１０Ｂは、ヘリコプターに搭乗しているユーザＵの頭部に装着されており、注目情報検出部１２０を有している。なお、情報処理装置１０Ｂは、出力部１６０を特に有していなくてよい。
図２７を参照すると、実空間２０－９に実オブジェクト４０－９、及び実カメラである視点カメラ５１が存在している。図２６および図２７に示す例では、視点カメラ５１がヘリコプターに搭載されている。本例では、視点カメラ５１がヘリコプターから見下ろして撮像する風景によって、視点カメラ５１の視野が形成される。図２７を参照すると、視野に写る実オブジェクト４０－９の例として、ロボットが示されている。なお、実オブジェクト４０－９は、ロボットに限定されない。
本例においては、注目情報検出部１２０が、ユーザＵの視線と注目情報検出部１２０の向きとに基づいて、実空間２０－９におけるユーザＵの視線５２をユーザＵによる注目情報の例として検出する。そして、取得部１１２が、実空間２０－９におけるユーザＵの視線５２を取得するとともに、視点カメラ５１（例えば、デプスカメラ）から実空間２０－９における実オブジェクト４０－９の位置を取得する。
本例においては、視点カメラ５１を搭載するヘリコプターの並進移動と回転、及び視点カメラ５１が有するズームレンズの駆動が制御部１１０により制御されることで、非ズーム制御、及びズーム制御が行われる。図２７には、視点カメラ５１を搭載するヘリコプターの軌道５５が示されている。なお、図２６では、情報処理装置１０Ｂが、ユーザＵの頭部に装着される場合を説明した。しかし、情報処理装置１０Ｂは、据え置き型のデバイスであってもよい。そして、据え置き型のデバイスが注目情報検出部１２０を有していてもよい。
図２８は、本開示の第２の実施形態に係る情報処理装置１０Ｂの第７の例を示す図である。図２８に示すように、情報処理装置１０Ｂは、ユーザＵの搭乗車両に設置されるドライブレコーダー（録画装置）であり、注目情報検出部１２０を有している。なお、情報処理装置１０Ｂは、出力部１６０を特に有していなくてよい。
図２８を参照すると、実空間２０－１０に実オブジェクト４０－１０、及び実カメラである視点カメラ５１が存在している。図２８に示す例では、視点カメラ５１がユーザＵの搭乗車両に搭載されている。本例では、視点カメラ５１がユーザＵの搭乗車両から撮像する風景によって、視点カメラ５１の視野が形成される。図２８を参照すると、視野に写る実オブジェクト４０－１０の例として、前方の車両が示されている。なお、実オブジェクト４０－１０は、前方の車両に限定されない。
本例においては、注目情報検出部１２０が、ユーザＵの視線と注目情報検出部１２０の向きとに基づいて、実空間２０－１０におけるユーザＵの視線５２をユーザＵによる注目情報の例として検出する。そして、取得部１１２が、実空間２０－１０におけるユーザＵの視線５２を取得するとともに、視点カメラ５１（例えば、デプスカメラ）から実空間２０－１０における実オブジェクト４０－１０の位置を取得する。
本例においては、ユーザＵの搭乗車両の並進移動、視点カメラ５１の回転、及び視点カメラ５１が有するズームレンズの駆動が制御部１１０により制御されることで、非ズーム制御、及びズーム制御が行われる。
＜＜３．ハードウェア構成例＞＞
次に、図２９を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成について説明する。図２９は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
図２９に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。
通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
なお、上述のような本実施形態に係る情報処理装置１０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜４．むすび＞＞
以上説明したように、本開示の実施形態によれば、カメラのズーム制御と非ズーム制御が行われ場合に、注目対象の視認性低下を抑制することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、非ズーム制御は、カメラの視野の所望の位置に注目対象を移動させるための制御である例を説明したが、本技術はかかる例に限定されない。例えば、非ズーム制御は、ズーム制御を含まない、カメラの並進移動制御、または回転制御であればよい。
また、上記では、ズーム制御と非ズーム制御が略同時に行われる場合に、注目対象がカメラの視野内に常に位置するような、カメラのズーム速度制御について説明したが、本技術は係る例に限定されない。例えば、制御部は、非ズーム制御が行われる間、注目対象に対応する視野内の位置が、カメラの視野中心から離間することを抑制するようにズーム速度を制御してもよい。例えば、カメラの画角よりも狭い角度を設定し、図２～図４を参照して説明した例と同様に、注目対象が当該角度内に常に位置するようなズーム速度の条件が満たされるように、ズーム速度が制御されてもよい。係る構成によれば、注目対象は、カメラの視野中心付近に位置するため、注目対象の視認性がより低下し難い。
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの注目対象に関する注目情報を取得する取得部と、
前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御を行うズーム制御部と、
を備える情報処理装置。
（２）
前記ズーム制御部は、前記非ズーム制御に基づいて、前記カメラのズーム速度を制御することで、前記ズーム制御を行う、前記（１）に記載の情報処理装置。
（３）
前記ズーム制御部は、前記カメラの視野内に前記注目対象が位置するように、前記ズーム速度を制御する、前記（２）に記載の情報処理装置。
（４）
前記ズーム制御部は、前記ズーム制御が行われる間、前記視野内に前記注目対象が常に位置するように、前記ズーム速度を制御する、前記（３）に記載の情報処理装置。
（５）
前記ズーム制御部は、前記ズーム速度に係る画角変更速度ωＺ、または前記カメラの光軸方向の並進移動速度ｖＺが所定の条件を満たすように、前記ズーム速度を制御する、前記（４）に記載の情報処理装置。
（６）
前記所定の条件は、前記ズーム制御の開始時刻における前記カメラの画角θＳ、前記ズーム制御が行われる期間ｔ、前記注目対象と前記カメラの光軸との距離ｈ、前記カメラと前記注目対象との前記光軸方向の距離ｄ、前記カメラの回転速度ωＣ、及び前記カメラの光軸と垂直方向の並進移動速度ｖｈを用いる式（Ａ）として表される、前記（５）に記載の情報処理装置。
Figure 0007059934000014
 （７）
前記所定の条件は、前記ズーム制御が行われる期間ｔ、前記注目対象と前記カメラの光軸との距離ｈ、前記カメラと前記注目対象との前記光軸方向の距離ｄ、前記カメラの回転速度ωＣ、及び前記カメラの光軸と垂直方向の並進移動速度ｖｈを用いる式（Ｂ）として表される、前記（５）に記載の情報処理装置。
Figure 0007059934000015
 （８）
前記ズーム制御部は、前記非ズーム制御が行われる間、前記注目対象に対応する前記カメラの視野内の位置が、前記カメラの視野中心から離間することを抑制するように前記ズーム速度を制御する、前記（２）～（７）のいずれか一項に記載の情報処理装置。
（９）
前記ズーム制御は、前記カメラに係る焦点距離の変更を含む、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
前記ズーム制御は、前記カメラと前記注目対象の相対距離の変更を含む、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
前記カメラは仮想空間に存在する仮想的なカメラであり、
前記非ズーム制御は、前記カメラと前記仮想空間に配置された仮想オブジェクトとの相対位置制御を含む、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記非ズーム制御は、前記カメラの光軸に対して垂直方向への前記カメラの並進移動制御、または前記カメラの回転制御のうち少なくとも一方を含む、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記ズーム制御は、前記非ズーム制御と略同時に行われる、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記情報処理装置は、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム操作に関するガイドを出力部に出力させる第１出力制御部をさらに備える、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記第１出力制御部は、前記ズーム制御において、前記カメラのズーム速度が制限される場合に、前記ガイドを前記出力部に出力させる、前記（１４）に記載の情報処理装置。
（１６）
前記非ズーム制御は、前記注目対象を前記カメラの視野内における所定の位置に移動させる制御である、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記カメラは仮想空間に存在する仮想的なカメラであり、
前記情報処理装置は、前記カメラによって得られる画像の表示を制御する第２出力制御部をさらに備える、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記カメラは実空間に存在し、
前記ズーム制御部は、前記カメラのレンズ駆動を制御する、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１９）
ユーザの注目対象に関する注目情報を取得することと、
前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御をプロセッサが行うことと、
を含む情報処理方法。
（２０）
コンピュータに、
ユーザの注目対象に関する注目情報を取得する機能と、
前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御を行う機能と、
を実現させるための、プログラム。
１０ 情報処理装置
２０ 空間（実空間，仮想空間）
４０ オブジェクト（実オブジェクト，仮想オブジェクト）
４２－２ 移動基準点
５１ 視点カメラ
５２ 視線
５３
５５ 軌道
６０ オブジェクト（実オブジェクト，仮想オブジェクト）
６１ 注目領域
６２ 移動基準点
６３ ガイド枠
７１ 実カメラ
７２ ステレオカメラ
７３ ロボットアーム
７４ 手術台
１１０ 制御部
１１１ 出力制御部
１１２ 取得部
１１３ 決定部
１１４ 回転制御部
１１５ 移動制御部
１１６ ズーム制御部
１２０ 注目情報検出部
１３０ 操作検出部
１４０ センサ部
１５０（１５０Ａ，１５０Ｂ）記憶部
１５１ ３Ｄモデル情報
１６０ 出力部

Claims (20)

  1. ユーザの注目対象に関する注目情報を取得する取得部と、
    前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御を行うズーム制御部と、
    を備え、
    前記ズーム制御部は、
    前記非ズーム制御に基づいて、前記カメラのズーム速度を制御することで、前記ズーム制御を行い、
    前記カメラの視野内に前記注目対象が位置するように、前記ズーム速度を制御する、情報処理装置。
  2. 前記ズーム制御部は、前記ズーム制御が行われる間、前記視野内に前記注目対象が常に位置するように、前記ズーム速度を制御する、請求項１に記載の情報処理装置。
  3. 前記ズーム制御部は、前記ズーム速度に係る画角変更速度ωＺ、または前記カメラの光軸方向の並進移動速度ｖＺが所定の条件を満たすように、前記ズーム速度を制御する、請求項２に記載の情報処理装置。
  4. 前記所定の条件は、前記ズーム制御の開始時刻における前記カメラの画角θＳ、前記ズーム制御が行われる期間ｔ、前記注目対象と前記カメラの光軸との距離ｈ、前記カメラと前記注目対象との前記光軸方向の距離ｄ、前記カメラの回転速度ωＣ、及び前記カメラの光軸と垂直方向の並進移動速度ｖｈを用いる式（Ａ）として表される、請求項３に記載の情報処理装置。
    Figure 0007059934000016
  5. 前記所定の条件は、前記ズーム制御が行われる期間ｔ、前記注目対象と前記カメラの光軸との距離ｈ、前記カメラと前記注目対象との前記光軸方向の距離ｄ、前記カメラの回転速度ωＣ、及び前記カメラの光軸と垂直方向の並進移動速度ｖｈを用いる式（Ｂ）として表される、請求項３に記載の情報処理装置。
    Figure 0007059934000017
  6. ユーザの注目対象に関する注目情報を取得する取得部と、
    前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御を行うズーム制御部と、
    を備え、
    前記ズーム制御部は、
    前記非ズーム制御に基づいて、前記カメラのズーム速度を制御することで、前記ズーム制御を行い、
    前記非ズーム制御が行われる間、前記注目対象に対応する前記カメラの視野内の位置が、前記カメラの視野中心から離間することを抑制するように前記ズーム速度を制御する、情報処理装置。
  7. 前記ズーム制御は、前記カメラに係る焦点距離の変更を含む、請求項１～６のいずれか一項に記載の情報処理装置。
  8. 前記ズーム制御は、前記カメラと前記注目対象の相対距離の変更を含む、請求項１～７のいずれか一項に記載の情報処理装置。
  9. 前記カメラは仮想空間に存在する仮想的なカメラであり、
    前記非ズーム制御は、前記カメラと前記仮想空間に配置された仮想オブジェクトとの相対位置制御を含む、請求項１～８のいずれか一項に記載の情報処理装置。
  10. 前記非ズーム制御は、前記カメラの光軸に対して垂直方向への前記カメラの並進移動制御、または前記カメラの回転制御のうち少なくとも一方を含む、請求項１～９のいずれか一項に記載の情報処理装置。
  11. 前記ズーム制御は、前記非ズーム制御と略同時に行われる、請求項１～１０のいずれか一項に記載の情報処理装置。
  12. 前記情報処理装置は、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム操作に関するガイドを出力部に出力させる第１出力制御部をさらに備える、請求項１～１１のいずれか一項に記載の情報処理装置。
  13. 前記第１出力制御部は、前記ズーム制御において、前記カメラのズーム速度が制限される場合に、前記ガイドを前記出力部に出力させる、請求項１２に記載の情報処理装置。
  14. 前記非ズーム制御は、前記注目対象を前記カメラの視野内における所定の位置に移動させる制御である、請求項１～１３のいずれか一項に記載の情報処理装置。
  15. 前記カメラは仮想空間に存在する仮想的なカメラであり、
    前記情報処理装置は、前記カメラによって得られる画像の表示を制御する第２出力制御部をさらに備える、請求項１～１４のいずれか一項に記載の情報処理装置。
  16. 前記カメラは実空間に存在し、
    前記ズーム制御部は、前記カメラのレンズ駆動を制御する、請求項１～１４のいずれか一項に記載の情報処理装置。
  17. ユーザの注目対象に関する注目情報を取得することと、
    前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御をプロセッサが行うことと、
    を含み、
    前記プロセッサは、
    前記非ズーム制御に基づいて、前記カメラのズーム速度を制御することで、前記ズーム制御を行い、
    前記カメラの視野内に前記注目対象が位置するように、前記ズーム速度を制御する、情報処理方法。
  18. ユーザの注目対象に関する注目情報を取得することと、
    前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御をプロセッサが行うことと、
    を含み、
    前記プロセッサは、
    前記非ズーム制御に基づいて、前記カメラのズーム速度を制御することで、前記ズーム制御を行い、
    前記非ズーム制御が行われる間、前記注目対象に対応する前記カメラの視野内の位置が、前記カメラの視野中心から離間することを抑制するように前記ズーム速度を制御する、情報処理方法。
  19. コンピュータに、
    ユーザの注目対象に関する注目情報を取得する機能と、
    前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御を行う機能と、
    を実現させるためのプログラムであって、
    前記ズーム制御を行う機能は、
    前記非ズーム制御に基づいて、前記カメラのズーム速度を制御することで、前記ズーム制御を行い、
    前記カメラの視野内に前記注目対象が位置するように、前記ズーム速度を制御する、プログラム。
  20. コンピュータに、
    ユーザの注目対象に関する注目情報を取得する機能と、
    前記注目情報に基づいて、カメラの非ズーム制御が行われるとき、前記非ズーム制御、及び前記注目情報に基づいて、前記カメラのズーム制御を行う機能と、
    を実現させるためのプログラムであって、
    前記ズーム制御を行う機能は、
    前記非ズーム制御に基づいて、前記カメラのズーム速度を制御することで、前記ズーム制御を行い、
    前記非ズーム制御が行われる間、前記注目対象に対応する前記カメラの視野内の位置が、前記カメラの視野中心から離間することを抑制するように前記ズーム速度を制御する、プログラム。
JP2018546163A 2016-10-17 2017-08-21 情報処理装置、情報処理方法、及びプログラム Active JP7059934B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016203349 2016-10-17
JP2016203349 2016-10-17
PCT/JP2017/029709 WO2018074045A1 (ja) 2016-10-17 2017-08-21 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018074045A1 JPWO2018074045A1 (ja) 2019-08-29
JP7059934B2 true JP7059934B2 (ja) 2022-04-26

Family

ID=62019124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018546163A Active JP7059934B2 (ja) 2016-10-17 2017-08-21 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US10771707B2 (ja)
EP (1) EP3528024B1 (ja)
JP (1) JP7059934B2 (ja)
CN (1) CN109844600B (ja)
WO (1) WO2018074045A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP6980470B2 (ja) * 2017-09-19 2021-12-15 キヤノン株式会社 電子機器およびその制御方法
US10997630B2 (en) * 2018-12-20 2021-05-04 Rovi Guides, Inc. Systems and methods for inserting contextual advertisements into a virtual environment
JP7452072B2 (ja) * 2020-02-19 2024-03-19 富士フイルムビジネスイノベーション株式会社 発光装置認識システムおよび発光装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093735A (ja) 2002-08-05 2003-04-02 Namco Ltd ゲーム装置および情報記憶媒体
JP2006229322A (ja) 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2008124812A (ja) 2006-11-13 2008-05-29 Fujinon Corp リモコン雲台システム
JP2010088076A (ja) 2008-10-03 2010-04-15 Canon Inc 撮像装置
JP2010272942A (ja) 2009-05-19 2010-12-02 Canon Inc 撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US277823A (en) * 1883-05-15 Car-coupling
JP4241742B2 (ja) * 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP4318724B2 (ja) * 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
CN102055897B (zh) * 2009-11-02 2013-01-23 华晶科技股份有限公司 摄像追踪方法
JP5773583B2 (ja) * 2010-06-11 2015-09-02 キヤノン株式会社 撮像装置およびその制御方法、コンピュータプログラム
JP5663283B2 (ja) * 2010-12-02 2015-02-04 オリンパス株式会社 内視鏡画像処理装置及びプログラム
JP2013157878A (ja) * 2012-01-31 2013-08-15 Jvc Kenwood Corp カメラ制御装置、カメラ制御方法及びプログラム
WO2013175837A1 (ja) * 2012-05-25 2013-11-28 ソニー株式会社 カメラ制御装置、カメラ制御方法、プログラムおよびカメラ装置
KR20140011215A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 촬영 장치, 그의 촬영 제어 방법 및 안구 인식 장치
US9253410B2 (en) * 2013-04-25 2016-02-02 Canon Kabushiki Kaisha Object detection apparatus, control method therefor, image capturing apparatus, and storage medium
JP2016115965A (ja) 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法
JP6618255B2 (ja) * 2014-12-24 2019-12-11 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093735A (ja) 2002-08-05 2003-04-02 Namco Ltd ゲーム装置および情報記憶媒体
JP2006229322A (ja) 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2008124812A (ja) 2006-11-13 2008-05-29 Fujinon Corp リモコン雲台システム
JP2010088076A (ja) 2008-10-03 2010-04-15 Canon Inc 撮像装置
JP2010272942A (ja) 2009-05-19 2010-12-02 Canon Inc 撮像装置

Also Published As

Publication number Publication date
US20190230290A1 (en) 2019-07-25
CN109844600A (zh) 2019-06-04
EP3528024B1 (en) 2023-04-19
EP3528024A4 (en) 2019-11-06
US10771707B2 (en) 2020-09-08
JPWO2018074045A1 (ja) 2019-08-29
WO2018074045A1 (ja) 2018-04-26
CN109844600B (zh) 2022-04-15
EP3528024A1 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
JP7059934B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10948993B2 (en) Picture-taking within virtual reality
US11170580B2 (en) Information processing device, information processing method, and recording medium
WO2017134886A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP6766824B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20130108643A (ko) 응시 및 제스처 인터페이스를 위한 시스템들 및 방법들
JP2015095802A (ja) 表示制御装置、表示制御方法、およびプログラム
JP2013258614A (ja) 画像生成装置および画像生成方法
US11151804B2 (en) Information processing device, information processing method, and program
WO2019187862A1 (ja) 情報処理装置、情報処理方法、および記録媒体
EP3407304A1 (en) Information processing device and user guide presentation method
KR20170062439A (ko) 제어 장치, 제어 방법 및 프로그램
US20210058609A1 (en) Information processor, information processing method, and program
WO2020179027A1 (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
CN107148614A (zh) 信息处理设备、信息处理方法和程序
US20190369807A1 (en) Information processing device, information processing method, and program
WO2018116582A1 (ja) 制御装置、制御方法、及び医療用観察システム
JP2018063567A (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2019087513A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2016151958A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
WO2020031493A1 (ja) 端末装置および端末装置の制御方法
CN113631477A (zh) 信息处理装置、信息处理方法和程序
WO2024185452A1 (ja) 情報処理装置、情報処理装置のシステム、情報処理装置の制御方法、プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R151 Written notification of patent or utility model registration

Ref document number: 7059934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151