JP2024075939A - 電子機器および電子機器の制御方法 - Google Patents
電子機器および電子機器の制御方法 Download PDFInfo
- Publication number
- JP2024075939A JP2024075939A JP2022187220A JP2022187220A JP2024075939A JP 2024075939 A JP2024075939 A JP 2024075939A JP 2022187220 A JP2022187220 A JP 2022187220A JP 2022187220 A JP2022187220 A JP 2022187220A JP 2024075939 A JP2024075939 A JP 2024075939A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- display
- electronic device
- reference direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 99
- 230000008859 change Effects 0.000 claims description 52
- 238000012937 correction Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 84
- 238000012545 processing Methods 0.000 description 74
- 238000003384 imaging method Methods 0.000 description 35
- 238000001514 detection method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】共有者が見せたい部分を表示させて、複数のVR画像を順次再生することができる。【解決手段】電子機器は、順次撮像された複数のVR画像を取得する取得手段と、前記複数のVR画像のそれぞれから、前記VR画像の基準方向を、前記VR画像において特定の被写体が存在する方向に補正したVR画像を生成する生成手段とを有することを特徴とする。また、電子機器は、順次撮像された複数のVR画像を取得する取得手段と、前記複数のVR画像を、特定の被写体を追尾して順次再生されるように補正した複数のVR画像を生成する生成手段とを有することを特徴とする。【選択図】図5
Description
本発明は、電子機器および電子機器の制御方法に関する。
全天球画像をネットワーク上のサーバに保存し、当該全天球画像を他のユーザが持つ表示デバイスでも閲覧できるようにする(共有する)際に、当該全天球画像の共有者が、閲覧者に特定の方向を視聴してもらうようにする技術が知られている。また、特許文献1は、動画を再生する場合に、表示部の姿勢に応じて表示範囲を変更し、異なる姿勢でも主被写体を表示部に表示するように制御する技術を開示している。
しかしながら、VR動画のように順次撮像された複数のVR画像を共有する場合に、表示部の姿勢に関わらず、共有者が見せたい部分を表示範囲として、複数のVR画像を順次再生することは難しい。
本発明は、共有者が見せたい部分を表示させて、複数のVR画像を順次再生することができる電子機器を提供することを目的とする。
本発明に係る電子機器は、順次撮像された複数のVR画像を取得する取得手段と、前記複数のVR画像のそれぞれから、前記VR画像の基準方向を、前記VR画像において特定の被写体が存在する方向に補正したVR画像を生成する生成手段とを有することを特徴とする。
本発明によれば、共有者が見せたい部分を表示させて、複数のVR画像を順次再生することができる。
以下、図面を参照して本発明の実施形態を説明する。図1(A)は、電子機器の一例であるデジタルカメラ100(撮像装置)の前面斜視図(外観図)である。図1(B)は、デジタルカメラ100の背面斜視図(外観図)である。デジタルカメラ100は、全方位
画像(全天球画像)を撮影するためのカメラ(全方位カメラ;全天球カメラ)である。
画像(全天球画像)を撮影するためのカメラ(全方位カメラ;全天球カメラ)である。
バリア102aは、デジタルカメラ100の前方を撮影範囲とした前方カメラ部のための保護窓である。前方カメラ部は、例えば、デジタルカメラ100の前側の上下左右180度以上の広範囲を撮影範囲とする広角カメラ部である。バリア102bは、デジタルカメラ100の後方を撮影範囲とした後方カメラ部のための保護窓である。後方カメラ部は、例えば、デジタルカメラ100の後ろ側の上下左右180度以上の広範囲を撮影範囲とする広角カメラ部である。
表示部28は各種情報を表示する。シャッターボタン61は撮影指示を行うための操作部(操作部材)である。モード切替スイッチ60は各種モードを切り替えるための操作部である。接続I/F25は、接続ケーブルをデジタルカメラ100に接続するためのコネクタであり、接続ケーブルを用いて、スマートフォン、パーソナルコンピュータ、テレビなどの外部装置がデジタルカメラ100に接続される。操作部70はユーザからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサ等である。電源スイッチ72は、電源のオン/オフを切り替えるための押しボタンである。
発光部21は発光ダイオード(LED)などの発光部材であり、デジタルカメラ100の各種状態を発光パターンや発光色によってユーザに通知する。固定部40は、例えば三脚ネジ穴であり、三脚などの固定器具でデジタルカメラ100を固定して設置するために使用される。
図1(C)は、デジタルカメラ100の構成例を示すブロック図である。バリア102aは、前方カメラ部の撮像系(撮影レンズ103a、シャッター101a、撮像部22a等)を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ103aはズームレンズおよびフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター101aは、撮像部22aへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部22aは光学像を電気信号に変換するCCDやCMOS素子などで構成される撮像素子(撮像センサー)である。A/D変換器23aは、撮像部22aから出力されるアナログ信号をデジタル信号に変換する。なお、バリア102aを設けずに、撮影レンズ103aの外側の面が露出し、撮影レンズ103aによって他の撮像系(シャッター101aや撮像部22a)の汚れや破損を防止してもよい。
バリア102bは、後方カメラ部の撮像系(撮影レンズ103b、シャッター101b、撮像部22b等)を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ103bはズームレンズおよびフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター101bは、撮像部22bへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部22bは、光学像を電気信号に変換するCCDやCMOS素子などで構成される撮像素子である。A/D変換器23bは、撮像部22bから出力されるアナログ信号をデジタル信号に変換する。なお、バリア102bを設けずに、撮影レンズ103bの外側の面が露出し、撮影レンズ103bによって他の撮像系(シャッター101bや撮像部22b)の汚れや破損を防止してもよい。
撮像部22aおよび撮像部22bにより、VR(Virtual Reality)画像が撮像される。VR画像とは、VR表示(表示モード「VRビュー」で表示)をすることのできる画像であるものとする。VR画像には、全方位カメラ(全天球カメラ)で撮像した全方位画像(全天球画像)や、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれるものとする。VR画像には、静止画だけでなく、動画やライブビュー画像(カメラからほぼリアルタイムで取得した画像)も含まれる。VR画像は、最大で上下方向(垂直角度、天頂からの角度、仰角、俯角、高度
角、ピッチ角)360度、左右方向(水平角度、方位角度、ヨー角)360度の視野分の映像範囲(有効映像範囲)を持つ。
角、ピッチ角)360度、左右方向(水平角度、方位角度、ヨー角)360度の視野分の映像範囲(有効映像範囲)を持つ。
また、VR画像は、上下360度未満、左右360度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角(視野範囲)、または、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つ画像も含むものとする。例えば、左右方向(水平角度、方位角度)360度、天頂(zenith)を中心とした垂直角度210度の視野分(画角分)の被写体を撮影可能な全天球カメラで撮影された画像はVR画像の一種である。また、例えば、左右方向(水平角度、方位角度)180度、水平方向を中心とした垂直角度180度の視野分(画角分)の被写体を撮影可能なカメラで撮影された画像はVR画像の一種である。すなわち、上下方向と左右方向にそれぞれ160度(±80度)以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はVR画像の一種である。
このVR画像をVR表示(表示モード「VRビュー」で表示)すると、左右回転方向に表示装置(VR画像を表示する表示装置)の姿勢を変化させることで、左右方向(水平回転方向)には継ぎ目のない全方位の映像を視聴することができる。上下方向(垂直回転方向)には、真上(天頂)から±105度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から105度を超える範囲は映像が存在しないブランク領域となる。VR画像は、「映像範囲が仮想空間(VR空間)の少なくとも一部である画像」とも言える。
VR表示(VRビュー)とは、VR画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法(表示モード)である。表示装置であるヘッドマウントディスプレイ(HMD)を装着して視聴する場合には、ユーザの顔の向きに応じた視野範囲の映像を表示することになる。例えば、VR画像のうち、ある時点で左右方向に0度(特定の方位、例えば北)、上下方向に90度(天頂から90度、すなわち水平)を中心とした視野角(画角)の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると(例えば、表示面を南向きから北向きに変更すると)、同じVR画像のうち、左右方向に180度(逆の方位、例えば南)、上下方向に90度(水平)を中心とした視野角の映像に、表示範囲が変更される。ユーザがHMDを視聴している場合で言えば、ユーザが顔を北から南に向ければ(すなわち後ろを向けば)、HMDに表示される映像も北の映像から南の映像に変わるということである。このようなVR表示によって、ユーザに、視覚的にあたかもVR画像内(VR空間内)のその場にいるような感覚(没入感)を提供することができる。VRゴーグル(ヘッドマウントアダプター)に装着されたスマートフォンは、HMDの一種と言える。
なお、VR画像の表示方法は上記に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどに対するユーザ操作に応じて、表示範囲を移動させてもよい。VR表示時(表示モード「VRビュー」時)において、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ、マウスなどへのドラッグ操作、方向ボタンの押下などに応じて表示範囲を変更できるようにしてもよい。
画像処理部24は、A/D変換器23a,23bからのデータ、または、メモリ制御部15からのデータに対し所定の処理(画素補間、縮小といったリサイズ処理、色変換処理など)を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行う。システム制御部50は、画像処理部24により得られた演算結果に基づいて露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、FE(フラッシュプリ発光)処理などが行われる。画像処理部24はさらに、撮像した画像データを用いて所定の演算処理を行い、得ら
れた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。また、画像処理部24は、A/D変換器23a,23bから得られた2つの画像(2つの魚眼画像;2つの広角画像)に基本的な画像処理を施し、基本的な画像処理が施された2つの画像を合成する繋ぎ画像処理を行って、単一のVR画像を生成する。また、画像処理部24は、ライブビューでのVR表示時、または再生時に、VR画像をVR表示するための画像切り出し処理、拡大処理、歪み補正などを行い、メモリ32における所定の記憶領域(VRAM)に処理結果を描画するレンダリングを行う。
れた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。また、画像処理部24は、A/D変換器23a,23bから得られた2つの画像(2つの魚眼画像;2つの広角画像)に基本的な画像処理を施し、基本的な画像処理が施された2つの画像を合成する繋ぎ画像処理を行って、単一のVR画像を生成する。また、画像処理部24は、ライブビューでのVR表示時、または再生時に、VR画像をVR表示するための画像切り出し処理、拡大処理、歪み補正などを行い、メモリ32における所定の記憶領域(VRAM)に処理結果を描画するレンダリングを行う。
繋ぎ画像処理では、画像処理部24は、2つの画像の一方を基準画像、他方を比較画像として用いて、パターンマッチング処理によりエリアごとに基準画像と比較画像のずれ量を算出し、エリアごとのずれ量に基づいて、2つの画像を繋ぐ繋ぎ位置を検出する。画像処理部24は、検出した繋ぎ位置と各光学系レンズ特性とを考慮して、幾何学変換により各画像の歪みを補正し、各画像を全天球形式(全天球イメージ形式)の画像に変換する。画像処理部24は、全天球形式の2つの画像を合成(ブレンド)することで、1つの全天球画像(VR画像)を生成する。生成された全天球画像は、例えば正距円筒図法を用いた画像であり、全天球画像の各画素の位置は球体(VR空間)の表面の座標と対応づけることができる。
A/D変換器23a,23bからの出力データは、画像処理部24およびメモリ制御部15を介して、または、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22a,22bによって得られA/D変換器23a,23bによりデジタルデータに変換された画像データや、接続I/F25から外部のディスプレイに出力するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に格納されている画像表示用のデータは、接続I/F25から外部のディスプレイに出力することが可能である。撮像部22a,22bで撮像され、画像処理部24で生成されてメモリ32に蓄積されたVR画像を外部ディスプレイに逐次転送して表示することで、電子ビューファインダとしての機能が実現され、ライブビュー表示(LV表示)が可能となる。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。また、メモリ32に蓄積されたVR画像を、通信部54を介して無線接続された外部装置(スマートフォンなど)に転送し、外部装置側で表示することでもライブビュー表示(リモートLV表示)が可能となる。
不揮発性メモリ56は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばEEPROM(Electrically Erasable Programmable Read-Only Memory)等である。不揮発性メモリ56は、システム制御部50の動作用の定数、プログラム等を記録する。ここでいう、プログラムは、各種処理を実行するためのコンピュータプログラムである。
システム制御部50は、少なくとも1つのプロセッサまたは回路を有する制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、不揮発性メモリ56に記録されたプログラムを実行することで、本実施形態の各処理を実現する。システムメモリ52は、例えばRAM(Random access memory)である。システム制御部50は、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等をシステムメモリ52に展開する。また、システム制御部50は、メモリ32、画像処理部24、メモリ制御部15を制御することにより表示制御も行う。システムタイマー53は、各種制御に用いる時間、および内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、シャッターボタン61、および操作部70は、システム制御部50に各種の動作指示を入力するために使用される。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモードがある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60より、ユーザは、これらのモードのいずれかに直接切り替えることができる。また、ユーザは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示部28に表示された複数のモードのいずれかを他の操作部材を用いて選択し、モードを切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、第1シャッタースイッチ62および第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でオンとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、FE(フラッシュプリ発光)処理などの撮影準備動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でオンとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22a,22bからの信号読み出しから記録媒体90に画像データを書き込むまでの一連の撮影処理の動作を開始する。
なお、シャッターボタン61は全押しと半押しの2段階の操作ができる操作部材に限るものではなく、1段階の押下だけができる操作部材であってもよい。その場合、1段階の押下によって撮影準備動作と撮影処理とが連続して行われる。これは、半押しと全押しが可能なシャッターボタンを全押しした場合(第1シャッタースイッチ信号SW1と第2シャッタースイッチ信号SW2とがほぼ同時に発生した場合)と同じ動作である。
操作部70は、表示部28に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面を見ながら操作部70を操作することで、直感的に各種設定を行うことができる。
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路などにより構成され、電池の装着の有無、電池の種類、電池残量などを検出する。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体90を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池などの一次電池、NiCd電池やNiMH電池、Li電池などの二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリーカードやハードディスク等の記録媒体90とのインターフェースである。記録媒体90は、撮影された画像を記録するためのメモリーカード等
の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記録媒体90は、デジタルカメラ100に対して着脱可能な交換記録媒体であってもよいし、デジタルカメラ100に内蔵された記録媒体であってもよい。
の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記録媒体90は、デジタルカメラ100に対して着脱可能な交換記録媒体であってもよいし、デジタルカメラ100に内蔵された記録媒体であってもよい。
通信部54は、無線または有線ケーブルによって接続された外部装置との間で、映像信号や音声信号などの送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットに接続可能であり、ネットワークを介して、ネットワーク上の外部装置(サーバ等)とも通信可能である。通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部装置と通信可能である。通信部54は、撮像部22a,22bで撮像した画像(LV画像を含む)や、記録媒体90に記録された画像を送信可能であり、外部機器から画像やその他の各種情報を受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検出された姿勢に基づいて、撮像部22a,22bで撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、撮像部22a,22bで撮影された画像が、ヨー方向、ピッチ方向、ロール方向の3軸方向(回転方向)にデジタルカメラ100をどの程度傾けて撮影された画像であるかを判別可能である。
システム制御部50は、姿勢検知部55で検出された姿勢に応じた向き情報を撮像部22a、22bで撮像されたVR画像の画像ファイルに付加したり、画像を回転(傾き補正するように画像の向きを調整)して記録したりすることが可能である。加速度センサ、ジャイロセンサ、地磁気センサ、方位センサ、高度センサなどのうちの1つのセンサまたは複数のセンサの組み合わせを、姿勢検知部55として用いることができる。姿勢検知部55を構成する加速度センサ、ジャイロセンサ、方位センサなどを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
マイク20は、動画であるVR画像(VR動画)の音声として記録されるデジタルカメラ100の周囲の音声を集音するマイクロフォンである。接続I/F25は、外部装置と接続して映像の送受信を行うための、HDMI(登録商標)ケーブルやUSBケーブルなどが接続される接続プラグである。
図2(A)は、表示制御装置200の前面斜視図である。表示制御装置200は、電子機器の一例であり、例えばスマートフォンまたはタブレット端末である。ディスプレイ205は画像および各種情報を表示する表示部である。ディスプレイ205はタッチパネル206aと一体的に構成されており、ディスプレイ205の表示面へのタッチ操作を検出できるようになっている。表示制御装置200は、VR画像(VRコンテンツ)をディスプレイ205においてVR表示することが可能である。操作部材206bは表示制御装置200の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部材206cと操作部材206dは、スピーカー212b、または音声出力端子212aに接続されたイヤホンまたは外部スピーカーから出力する音声のボリュームを増減するためのボリュームボタンである。操作部材206eは、ディスプレイ205にホーム画面を表示させるためのホームボタンである。音声出力端子212aはイヤホンジャックであり、イヤホンまたは外部スピーカーに音声信号を出力する端子である。スピーカー212bは音声を出力する本体内蔵スピーカーである。
図2(B)は、表示制御装置200の背面斜視図である。撮像部215は、現実空間を撮像可能なカメラである。
図2(C)は、表示制御装置200の構成の一例を示すブロック図である。内部バス250に対してCPU201、メモリ202、不揮発性メモリ203、画像処理部204、ディスプレイ205、操作部206、記録媒体I/F207、外部I/F209、および通信I/F210が接続されている。また、内部バス250に対して音声出力部212、姿勢検出部213、自己位置・周辺環境推定部214、および撮像部215も接続されている。内部バス250に接続される各部は、内部バス250を介して互いにデータのやりとりを行うことができる。
CPU201は、表示制御装置200の全体を制御する制御部であり、少なくとも1つのプロセッサまたは回路からなる。メモリ202は、例えばRAM(半導体素子を利用した揮発性のメモリ)である。CPU201は、例えば不揮発性メモリ203に格納されるプログラムに従い、メモリ202をワークメモリとして用いて、表示制御装置200の各部を制御する。不揮発性メモリ203は、画像データ、音声データ、その他のデータ、およびCPU201が動作するための各種プログラムといった様々な情報を格納する。不揮発性メモリ203は、例えばフラッシュメモリまたはROM(Read-Only Memory)である。
画像処理部204は、CPU201の制御に基づいて、不揮発性メモリ203または記録媒体208に格納された画像、外部I/F209を介して取得した映像信号、または通信I/F210を介して取得した画像に対して各種画像処理を施す。各種画像処理は、A/D変換処理、D/A変換処理、画像データの符号化処理、画像データの圧縮処理、画像データのデコード処理、画像データの拡大/縮小処理(リサイズ)、画像データのノイズ低減処理、および画像データの色変換処理を含む。また、各種画像処理は、全方位画像または全方位ではないにせよ広範囲の映像を有する広範囲画像であるVR画像のパノラマ展開、マッピング処理、および変換も含む。画像処理部204は、特定の画像処理を施すための専用の回路ブロックであってもよい。また、画像処理の種別によっては画像処理部204を用いずにCPU201がプログラムに従って画像処理を施すことも可能である。
ディスプレイ205は、CPU201の制御に基づいて、画像、およびGUI(Graphical User Interface)を構成するGUI画面を表示する。CPU201は、プログラムに従い表示制御信号を生成し、ディスプレイ205に表示するための映像信号を生成してディスプレイ205に出力するように表示制御装置200の各部を制御する。ディスプレイ205は、生成されて出力された映像信号に基づいて映像を表示する。なお、表示制御装置200自体が備える構成はディスプレイ205に表示させるための映像信号を出力するインターフェースまでとし、ディスプレイ205は外付けのモニタ(例えばテレビまたはヘッドマウントディスプレイなど)であってもよい。
操作部206は、ユーザ操作を受け付けるための様々な入力部を含む。例えば、操作部106は、文字情報入力デバイス(例えばキーボード)、ポインティングデバイス(例えばマウスまたはタッチパネル)、ボタン、ダイヤル、ジョイスティック、タッチセンサ、およびタッチパッドを含む。本実施形態では、操作部206は、タッチパネル206a、操作部材206b,206c,206d,206e、およびジェスチャ検出部206fを含む。
記録媒体I/F207には、メモリーカード、CD、DVDといった記録媒体208が着脱可能である。記録媒体I/F207は、CPU201の制御に基づいて、装着された記録媒体208からのデータの読み出し、および記録媒体208に対するデータの書き込みを行う。記録媒体108は、ディスプレイ105で表示するための画像を含む様々なデータを記憶する記憶部である。
外部I/F209は、有線または無線で外部装置と接続し、映像信号および音声信号の入出力を行うためのインターフェースである。通信I/F210は、外部装置またはインターネット211と通信して、ファイルおよびコマンドといった各種データの送受信を行うためのインターフェースである。通信I/F210は、コントローラ216とも通信が可能である。
音声出力部212は、表示制御装置200で再生する動画または音楽データの音声、操作音、着信音、および各種通知音などを出力する。音声出力部212には、イヤホンまたは外部スピーカーを接続する音声出力端子212a、およびスピーカー212bが含まれるが、音声出力部112は無線通信で外部スピーカーに音声データを出力してもよい。
姿勢検出部213は、重力方向に対する表示制御装置200の姿勢(傾き)、ヨー方向、ピッチ方向、ロール方向の各軸に対する表示制御装置200の姿勢を検出し、CPU201へ姿勢情報を通知する。姿勢検出部213で検出された姿勢に基づいて、表示制御装置200が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、および斜めの姿勢になったかを判別可能である。また、ヨー方向、ピッチ方向、およびロール方向といった回転方向における表示制御装置200の傾きの有無および大きさ、および当該回転方向に表示制御装置200が回転したかを判別可能である。加速度センサ、ジャイロセンサ、地磁気センサ、方位センサ、および高度センサのうちの1つのセンサ、または複数のセンサの組み合わせを、姿勢検出部213として用いることができる。
自己位置・周辺環境推定部214は、表示制御装置200または後述のVRゴーグル230の自己位置と周辺環境を推定する。
自己位置は、所定範囲の空間における表示制御装置200またはVRゴーグル230の位置である。自己位置は、所定範囲の空間内の所定の位置が原点となるように、当該所定の位置で互いに直交するX軸、Y軸、およびZ軸の3軸によって定義した座標系における位置を表す3つのパラメータによって表現される。自己位置は、姿勢(向き)を表す3つのパラメータをさらに用いて表現されてもよい。
周辺環境は、障害物領域を含む。障害物領域は、表示制御装置200またはVRゴーグル230の周辺に存在する物体のうち、表示制御装置200を所持したユーザ、またはVRゴーグル230を装着したユーザにとって障害物となる物体の領域である。例えば、障害物領域は、所定範囲の空間内の所定の位置が原点となるように当該所定の位置で互いに直交するX軸、Y軸、およびZ軸の3軸によって定義した座標系における位置を表す3つのパラメータの複数の組によって表現される。
撮像部215は、現実空間を撮像可能なカメラである。現実空間を撮像した画像は、種々の検出処理に用いることができ、例えばジェスチャ検出部206fおよび自己位置・周辺環境推定部214によって使用される。現実空間を撮像した画像は、ディスプレイ205に表示することができる。
操作部206は、タッチパネル206aを含む。タッチパネル206aは、ディスプレイ205に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。CPU201はタッチパネル206aへの以下の操作、または状態を検出できる。
・タッチパネル206aにタッチしていなかった操作体(例えば指またはペン)が新たにタッチパネル206aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン
(Touch-Down)と称する)
・タッチパネル206aを操作体がタッチしている状態(以下、タッチオン(Touch-On)と称する)
・操作体がタッチパネル206aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル206aへタッチしていた操作体がタッチパネル206aから離れたこと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル206aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
・タッチパネル206aにタッチしていなかった操作体(例えば指またはペン)が新たにタッチパネル206aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン
(Touch-Down)と称する)
・タッチパネル206aを操作体がタッチしている状態(以下、タッチオン(Touch-On)と称する)
・操作体がタッチパネル206aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル206aへタッチしていた操作体がタッチパネル206aから離れたこと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル206aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての操作体がタッチアップしたことが検出されると、タッチオフが検出される。
これらの操作および状態や、タッチパネル206a上に操作体がタッチしている位置座標とは内部バスを通じてCPU201に通知される。CPU201は通知された情報に基づいてタッチパネル206a上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについてはタッチパネル206a上で移動する操作体の移動方向についても、位置座標の変化に基づいて、タッチパネル106a上の垂直成分および水平成分のそれぞれについて判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定される。
タッチパネル206a上に操作体をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル206a上を操作体ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。
さらに、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインとを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル206aの方式は、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、および光センサ方式といった様々な方式のうちいずれの方式であってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する操作体の接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
操作部206は、ジェスチャ検出部206fを含む。ジェスチャ検出部106fは、CPU201の制御に基づき、撮像部215によって取得された画像(現実空間を撮像した画像)から、ユーザ(例えばユーザの手)のジェスチャを検出する。CPU201は、検出されたジェスチャに応じて各種処理(制御)を行う。
図2(D)は、表示制御装置200を装着可能なVRゴーグル(ヘッドマウントアダプター)230の外観図である。表示制御装置200は、VRゴーグル230に装着することによって、ヘッドマウントディスプレイとして使用することも可能である。挿入口231は、表示制御装置200を差し込むための挿入口である。ディスプレイ205の表示面を、VRゴーグル230をユーザの頭部に固定するためのヘッドバンド232側(すなわちユーザー側)に向けて表示制御装置200の全体をVRゴーグル230に差し込むこと
ができる。ユーザは、表示制御装置200が装着されたVRゴーグル230を頭部に装着した状態で、手で表示制御装置200を保持することなく、ディスプレイ205を視認することができる。この場合、ユーザが頭部または体全体を動かすと、表示制御装置200の姿勢も変化する。姿勢検出部213はこの時の表示制御装置200の姿勢変化を検出し、この姿勢変化に基づいてCPU201がVR表示(表示モード「VRビュー」での表示)のための処理を行う。この場合に、姿勢検出部213が表示制御装置200の姿勢を検出することは、ユーザの頭部の姿勢(ユーザーの視線が向いている方向)を検出することと同等である。VR表示(VRビュー)とは、VR画像のうち、表示制御装置200の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法(表示モード)である。
ができる。ユーザは、表示制御装置200が装着されたVRゴーグル230を頭部に装着した状態で、手で表示制御装置200を保持することなく、ディスプレイ205を視認することができる。この場合、ユーザが頭部または体全体を動かすと、表示制御装置200の姿勢も変化する。姿勢検出部213はこの時の表示制御装置200の姿勢変化を検出し、この姿勢変化に基づいてCPU201がVR表示(表示モード「VRビュー」での表示)のための処理を行う。この場合に、姿勢検出部213が表示制御装置200の姿勢を検出することは、ユーザの頭部の姿勢(ユーザーの視線が向いている方向)を検出することと同等である。VR表示(VRビュー)とは、VR画像のうち、表示制御装置200の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法(表示モード)である。
なお、表示制御装置200自体が、VRゴーグル無しでも頭部に到着可能なヘッドマウントディスプレイであってもよい。表示制御装置200はユーザの視線または表情を検出可能であってもよく、ユーザは視線または表情で表示制御装置200を操作できてもよい。
図3(A)は、表示制御装置200と通信可能なコントローラ216の一例であるコントローラ340,350の外観図である。コントローラ340は、ユーザが左手で操作するグリップ型コントローラである。ユーザは、コントローラ340のホールド部341を左手で握り、操作面342に配置された操作部材を左手の指(例えば親指)で操作する。コントローラ340は、ユーザによって行われた操作を表示制御装置200に通知する。コントローラ350は、ユーザが右手で操作するグリップ型コントローラであり、コントローラ340と同様の構成(例えばコントローラ340を左右反転させた形態)を有する。
なお、コントローラ216として、図3(B)に示すコントローラ360が使用されてもよい。コントローラ360は、ユーザが指に装着して操作するリング型コントローラである。コントローラ360は、ユーザの指253に装着するためのリング部361と、操作部材362とを有する。操作部材362は、例えば、押下式のボタン、回転式のダイヤル、またはオプティカルトラックパッドである。オプティカルトラックパッドは、指の接触または接近を検知可能な操作部材の一種である。
図4は、表示制御装置200における画像共有処理を例示するフローチャートである。画像共有処理は、不揮発性メモリ203に記録されたプログラム(例えば、記録媒体208に記録されたVR画像のVR表示および共有処理を行うための特定のアプリケーションのプログラム)をメモリ202に展開してCPU201が実行することで実現される。CPU201は、例えば、ユーザがVR画像を共有するために、ディスプレイ205に画像の一覧を表示させる操作をすることにより、画像共有処理を開始する。
表示制御装置200は、VR画像のVR表示を行う機能を有する。VR表示を行う場合は、VR画像の一部の範囲である表示範囲を表示する。また、表示制御装置200は、記録媒体208に記録されたVR画像の画像ファイルをネットワーク上のサーバ等に送信し、他のユーザがこのVR画像を閲覧できるようにする機能を有する。以下、他のユーザがVR画像を閲覧できるようにVR画像を外部装置に送信する機能を、共有機能と呼ぶ。
ユーザは、VR画像の共有機能を使用する場合に、画像の送信先(宛先)の外部装置、共有するVR画像の表示範囲(VR空間の中心から表示範囲の中心に向かう向きである表示方向)等を指定できる。そして、表示制御装置200は、指定された表示範囲(表示方向)に関する向き情報を含む付加情報を、メタデータなどとして、VR画像とともに外部装置に送信する。外部装置上のVR画像(共有画像)に別のユーザがアクセスしてVR表
示する場合には、当該VR表示の開始時に、送られた向き情報に応じた表示範囲が表示される。
示する場合には、当該VR表示の開始時に、送られた向き情報に応じた表示範囲が表示される。
画像共有処理が開始されると、ステップS401では、CPU201は、記録媒体208に格納されている画像データの一覧を取得する。ステップS402では、CPU201は、取得した一覧に基づいて、記録媒体208に格納されている画像データのサムネイル画像の一覧表示を、ディスプレイ205に指示する。
図5(A)は、表示制御装置200のディスプレイ205にサムネイル画像を一覧表示する画面例である。ディスプレイ205には、複数のサムネイル画像502が表示(配置)されている。ステップS403では、CPU201は、操作部206に対して、一覧表示されたサムネイル画像のいずれかを選択する選択操作が行われたか否かを判定する。サムネイル画像が選択された場合、CPU201はステップS407へ進み、選択操作に応じて選択されたサムネイル画像に対応するVR画像の共有処理を行う。サムネイル画像が選択されていない場合、処理はステップS404へ進む。
ステップS404では、CPU201は、操作部206に対して、ユーザによりその他の操作(画像選択以外の操作)が行われたか否かを判定する。その他の操作が行われた場合、処理はステップS405へ進み、その他の操作が行われていない場合、処理はステップS406へ進む。ステップS405では、CPU201は、ステップS404で行われたその他の操作に応じた処理(その他の処理)を実行する。その他の操作は、例えば、サムネイル画像の一覧表示に対し、表示されていないサムネイル画像を表示させるために画面表示をスクロールさせるスクロール操作、サムネイル画像に対応するVR画像を複製または削除するための操作などを含む。
ステップS406では、CPU201は、操作部206に対して、画像の一覧表示を終了させる終了操作が行われたか否かを判定する。終了操作が行われた場合、図4に示す画像共有処理は終了する。終了操作が行われていない場合、処理はステップS402に戻る。
ステップS407からステップS422までの処理は、ステップS403で選択されたサムネイル画像に対応するVR画像を共有する処理の例である。ステップS407では、CPU201は、記録媒体208から、選択されたサムネイル画像に対応するVR画像を読み出して取得する。
ステップS408では、CPU201は、ステップS407で取得したVR画像の基準範囲をディスプレイ205に表示する。基準範囲は、基準方向を正面にした状態で、ディスプレイ205に表示される範囲である。具体的には、CPU201は、取得したVR画像の画像ファイルの付加情報から、向き情報(例えば、VR画像が撮影されたときに撮像装置等で生成され、VR画像とともに記録された向き情報)を抽出する。以下、この向き情報により示される向き(VR表示のための向き;表示方向)を、基準方向と呼ぶ。基準方向は、例えば、撮像装置のレンズの光軸方向とすることができる。CPU201は、取得したVR画像の基準方向が示す位置を中心とし、ディスプレイ205のサイズに対応して表示される範囲を、表示範囲(基準範囲)として決定する。CPU201は、決定した表示範囲の画像をディスプレイ205に表示する。
図5(B)は、表示制御装置200のディスプレイ205に、図5(A)のサムネイル画像の一覧で選択されたVR画像を表示した画面例である。ディスプレイ205は、VR画像510を表示している。また、ディスプレイ205は、VR画像510を外部装置およびソーシャル・ネットワーキング・サービス(SNS)上で共有する共有指示を行うた
めの共有ボタン511を表示している。
めの共有ボタン511を表示している。
ステップS409では、CPU201は、操作部206に対して、VR表示の表示方向を変更する変更操作(変更指示)があったか否かを判定する。ユーザは、操作部206に対する操作を行うことにより変更指示を行ってもよいし、他の方法で変更指示を行ってもよい。例えば、ユーザは、図5(B)に示すように、タッチパネル206aに対する矢印512の向きへのタッチムーブ操作を行うことにより変更指示を行ってもよいし、表示制御装置200の姿勢を変更することにより変更指示を行ってもよい。変更操作があった場合、処理はステップS410へ進み、変更操作がない場合、処理はステップS411へ進む。
ステップS410では、CPU201は、ステップS409での変更操作に応じて、ディスプレイ205に表示されているVR画像510の表示範囲を変更する。図5(C)は、図5(B)に示す画面で、矢印512の向きにタッチムーブ操作が行われることによって、表示範囲が変更された画面例を示す。
ステップS411では、CPU201は、表示中のVR画像を共有画像として外部装置に送信するための共有指示があったか否かを判定する。ユーザは、例えば、タッチパネル206a上の共有ボタン511にタッチすることにより、VR画像の共有を指示することができる。共有指示があった場合、処理はステップS412へ進み、共有指示がない場合、処理はステップS420へ進む。
ステップS412では、CPU201は、共有メニュー画面の表示をディスプレイ205に指示する。図5(D)は共有メニュー画面の一例である。図5(B)または図5(C)の状態で共有ボタン511をタッチすると、ディスプレイ205の表示画面は図5(D)の画面に遷移する。図5(D)では、VR画像510に重畳して、共有メニュー画面520が表示されている。共有メニュー画面520は、ボタン521、ボタン622、ボタン623を含む。
ボタン521(「共有」)は、ステップS408で表示された基準方向(基準範囲)が表示されるように指示するためのボタンである。ボタン522(「この向きで共有」)は、ステップS410で変更された後の表示方向(表示範囲)が表示されるように指示するためのボタンである。ボタン523(「任意被写体で共有」)は、ユーザが指定する被写体を含む表示方向(表示範囲)が表示されるように指示するためのボタンである。ボタン523は、VR画像510が複数のフレームを含むVR動画である場合に表示される。
ステップS413では、CPU201は、ユーザが指定する被写体を含む表示方向が表示されるように指示するボタン523が選択されたか否かを判定する。ボタン523が選択された場合、処理はステップS414へ進む。ボタン523が選択されず、ボタン521またはボタン522が選択された場合、処理はステップS419へ進む。
ステップS414では、CPU201は、被写体選択画面を表示する。図5(E)は被写体選択画面の一例である。ディスプレイ205は、VR画像510に重畳して、動画の再生箇所を示すためのシークバー530、および現在の再生位置を示すスライダー531を表示する。
ステップS415では、CPU201は、ユーザが閲覧者に見せたい特定の被写体を選択する操作をしたか否かを判定する。被写体を選択する操作は、例えば、タッチパネル206a上で、所望の被写体が表示されている領域をタッチする操作、または所望の被写体を囲むように指を移動させる操作などを含む。図5(E)では、ユーザが選択(指定)し
た特定の被写体は、被写体選択枠532で囲むことにより示されている。
た特定の被写体は、被写体選択枠532で囲むことにより示されている。
ユーザが被写体を選択する操作をした場合、処理はステップS416へ進む。ユーザが被写体を選択していない場合、CPU201はステップS415に戻り、ユーザからの被写体の選択操作を受け付けるまで待機する。なお、所定時間が経過しても、ユーザが被写体を選択しない場合、CPU201は、ステップS419の処理に進んでもよい。
ステップS416では、CPU201は、ステップS415で選択された被写体に決定するか否かを判定する。CPU201は、選択された被写体に決定するか否かをユーザに確認するための確認画面を表示する。図5(F)は確認画面の一例である。ディスプレイ205は、VR画像510に重畳して、確認画面540、YESボタン541、およびNOボタン542を表示する。ユーザがYESボタン541を押下(タップ)し、選択された被写体に決定する場合、処理はステップS417に進む。ユーザがNOボタン542を押下(タップ)した場合、CPU201はステップS415に戻り、ユーザから被写体の選択操作を受け付けるまで待機する。
ステップS417では、CPU201は、ステップS415で選択された被写体のデータに基づいて、VR動画の各フレームから、当該被写体を検出する。CPU201は、VR動画の各フレームに対し、フレームの基準方向と被写体の検出位置の方向との角度の差分を、基準方向の補正データとして生成する。フレームの基準方向は、VR動画が撮影されたときにフレームごとに設定され、表示範囲の中心となる方向である。フレームの基準方向は、付加情報としてVR動画のファイルに付与されている。
ステップS418では、CPU201は、ステップS417で生成した補正データに基づいて、VR動画の各フレームの基準方向を変更(補正)する。CPU201は、VR動画の各フレームの基準方向を補正して再エンコードしたVR動画ファイルを生成し、記録媒体208へ格納する。CPU201は、VR動画の各フレームの基準方向を補正して再エンコードすることにより、初期状態において特定の被写体を追尾して順次再生されるように補正したVR動画を生成することができる。初期状態は、ユーザの操作または表示制御装置200の姿勢変化などにより表示方向(表示範囲)の変更が行われる前の状態である。なお、CPU201は、基準方向を補正した補正後のVR動画によって元のVR動画を置き換えて保存してもよく、補正後のVR動画を元のVR動画とは別のデータとして生成し、記録媒体208に保存してもよい。また、補正データを、VR動画のファイルに紐づけて記録媒体208に保存してもよいし、VR動画のファイルに付与して保存してもよい。
ステップS419では、CPU201は、ステップS418で生成したVR動画ファイル(画像データ)を外部装置に送信し、当該画像データを共有画像として共有する。なお、ステップS413でボタン521(「共有」)が選択された場合、CPU201は、撮影時に設定された基準方向を変更せずに、画像データを外部装置等に送信する。また、ステップS413でボタン522(「この向きで共有」)が選択された場合、CPU201は、各フレームの基準方向を、いずれも表示中の表示方向(現在の表示方向)に補正をして、画像データを外部装置等に送信する。表示中の表示方向は、ユーザがタッチムーブ操作等により、表示範囲を変更した後の現在の表示方向である。
ステップS420では、CPU201は、操作部206に対して、その他の操作(共有指示以外の操作)が行われた否かを判定する。その他の操作が行われた場合、処理はステップS421へ進み、その他の操作が行われていない場合、処理はステップS422へ進む。ステップS421では、CPU201は、ステップS420で行われたその他の操作に応じた処理(その他の処理)を実行する。その他の操作は、例えば、画像に対して色味
および明るさ等を調整する編集操作、VR画像から一部を切り出す操作などを含む。
および明るさ等を調整する編集操作、VR画像から一部を切り出す操作などを含む。
ステップS422では、CPU201は、ステップS403で選択したVR画像を共有するための処理を終了させる終了操作が行われた否かを判定する。終了操作が行われた場合、処理はS404へ進み、終了操作が行われていない場合、処理はステップS409へ戻る。
図6は、表示制御装置200における画像再生処理を例示するフローチャートである。また、図7は、一覧表示された画像から選択した画像の選択画像再生処理を例示するフローチャートである。図6および図7は、図4の画像共有処理において生成されたVR画像を、他の画像とともにソーシャル・ネットワーキング・サービス(SNS)上で共有画像として閲覧する際の処理の例を示す。画像再生処理および選択画像再生処理は、表示制御装置200を使用して実行することができる。
図6および図7の処理は、不揮発性メモリ203に記録されたプログラム(例えば、記録媒体208に記録されたVR画像のVR表示を行うための特定のアプリケーションのプログラム)をメモリ202に展開してCPU201が実行することで実現される。CPU201は、例えば、ユーザが共有されたVR画像を再生するために、ディスプレイ205に共有画像の一覧を表示させる操作をすることにより、画像再生処理を開始する。
画像再生処理が開始されると、ステップS601では、CPU201は、記録媒体208に格納されている画像データの一覧を取得する。ステップS602では、CPU201は、記録媒体208から読み出した画像のうち、VR画像の基準方向の情報を取得する。VR画像の基準方向の情報は、VR画像の画像データのファイルにメタデータとして付与されてもよく、画像データのファイルに関連づけられた別ファイルに保存されていてもよい。ステップS603では、CPU201は、ステップS601で取得した画像(共有画像)を一覧表示する。
図8(A)は、表示制御装置200のディスプレイ205に、ステップS601で取得した画像を一覧表示する画面例である。ディスプレイ205は、SNSのタイムライン700を表示し、タイムライン700は、縦方向に並べて表示される静止画701および全方位画像の静止画702を含む。ユーザは、タッチパネル206aに対し、矢印710aで示す方向にタッチムーブをするスクロール操作により、タイムライン700に含まれる画像をスクロール表示させることが可能である。
静止画701および静止画702には、画像の種類を示すGUIオブジェクトであるオブジェクト701aおよびオブジェクト702aが重畳して表示されている。オブジェクト701a(「STILL」)は、画像がVR画像ではない静止画であることを示す。オブジェクト702a(「360°STILL」)は、画像がVR画像(ここでは全方位画像)の静止画であることを示す。
ステップS604では、CPU201は、操作部206に対して、一覧表示された画像のいずれかを選択する選択操作が行われたか否かを判定する。画像が選択された場合、処理はステップS605へ進み、画像が選択されていない場合、処理はステップS606へ進む。
ステップS606では、CPU201は、画像の一覧表示に対して、スクロール操作が行われたか否かを判定する。スクロール操作が行われた場合、処理はステップS607へ進み、スクロール操作が行われていない場合、処理はステップS615へ進む。
ステップS607では、CPU201は、タイムライン700に含まれる画像一覧のうち、ディスプレイ205に表示されている画像がVR動画であるか否かを判定する。ディスプレイ205に表示されている画像がVR動画である場合、処理はステップS611へ進み、ディスプレイ205に表示されている画像がVR動画でない場合、処理はステップS608へ進む。
ステップS608では、CPU201は、スクロール操作の実行中であるか否かを判定する。スクロール操作の実行中である場合、処理はステップS609へ進み、スクロール操作が実行されていない場合、処理はステップS614へ進む。
ステップS609では、CPU201は、表示方向変更操作(所定の操作)を無効化する。すなわち、CPU201は、画像一覧をスクロールする操作が行われている間は、ユーザから表示方向変更操作を受け付けても、表示方向変更操作に基づく表示範囲の変更は行わないように制御する。表示方向変更操作を無効とするのは、ユーザがタイムライン700の画像一覧をスクロールしながら閲覧している間、VR画像の表示範囲は、当該VR画像の共有者が見せたい方向となるように制御されるためである。
表示方向変更操作は、例えば、VR画像上でのタッチパネル206aに対するタッチムーブ操作により表示範囲を変更する操作、および表示制御装置200の姿勢を変更する操作である。ユーザが表示制御装置200の姿勢を変更した場合、CPU201は、姿勢検出部213によって検出される表示制御装置200の位置姿勢に基づいて、VR画像の表示範囲を変更するように制御する。
ステップS610では、CPU201は、タイムライン700(画像一覧)に対するスクロール操作により、静止画のVR画像が表示されると、当該VR画像の表示範囲を、例えばディスプレイ205の横方向に移動させるパン表示を行う。CPU201は、パン表示をすることで、表示中の画像がVR画像であり、表示範囲の変更が可能であることをユーザに知らせることができる。
図8(B)は、タイムライン700のスクロール操作中に、全方位画像である静止画702がディスプレイ205に表示された場合の画面例である。矢印710bの向きへのタッチムーブによるスクロール操作に応じて静止画702がディスプレイ205に表示されると、CPU201は、静止画702の基準方向を中心とした表示範囲を表示してから、表示範囲を矢印711の向きへ移動させるパン表示を行う。静止画のVR画像の基準方向は、撮影時に設定された方向であってもよく、ユーザ(共有者)が指定した方向とすることも可能である。パン表示をすることにより、表示制御装置200は、VR画像の共有者が閲覧者に見せたい方向を表示するとともに、表示されている画像がVR画像であることをユーザに示すことができる。
ステップS610の処理では、CPU201は表示範囲を自動的に変更する制御をするため、ユーザの操作に基づいて、さらに表示範囲を変更すると、表示範囲の変更処理が重複する。表示範囲の変更処理が重複することによる予期しない視点移動を回避するため、CPU201は、ステップS609で、ユーザによる表示範囲の変更操作を無効化する。なお、ディスプレイ205に表示されている画像がVR画像でない場合、CPU201は、ステップS609およびステップS610の処理を実行しなくてもよい。
ステップS611では、CPU201は、VR動画の再生を自動的に開始する。図8(C)は、図8(B)の状態から、矢印710bの向きへのタッチムーブによるスクロール操作により、タイムライン700をさらに下方向にスクロールさせた場合の画面例である。スクロール後の画面では、全方位画像である動画703がディスプレイ205に表示さ
れている。
れている。
ディスプレイ205は、動画703に重畳させて、オブジェクト703aおよびシークバー703bを表示する。オブジェクト703a(「360°MOVIE」)は、画像の種類を示すGUIオブジェクトでありは、動画703がVR画像(ここでは全方位画像)の動画であることを示す。シークバー703bは、動画703の再生箇所を示している。
図8(D)は、図8(C)の状態から、矢印710bの向きへのタッチムーブによるスクロール操作により、タイムライン700をさらに下方向にスクロールさせた場合の画面例である。シークバー703bは、動画703の自動再生が、図8(C)の状態よりも進んでいる様子を示している。
被写体712は、ステップS416で決定された特定の被写体であり、動画703の各フレームにおいて、基準方向は、被写体712が存在する方向に補正されている。CPU201は、動画703の各フレームにおいて、基準方向が中心となるように表示範囲を決定することで、被写体712を正面に表示するように再生することができる。
ステップS612では、CPU201は、VR動画の自動再生中であるか否かを判定する。自動再生中である場合、処理はステップS613へ進み、自動再生中でない場合、処理はステップS614へ進む。
ステップS613では、CPU201は、ステップS609と同様に、表示方向変更操作を無効化する。CPU201は、図4のステップS417およびステップS418で補正した基準方向に基づいて各フレームの表示範囲を決定し、VR動画を再生する。すなわち、CPU201は、各フレームの基準方向を、VR動画の共有者が閲覧者に見せたい方向(例えば、特定の被写体が存在する方向)に補正することで、VR動画の再生時の表示範囲を見せたい範囲に変更することができる。VR動画の再生中に、ユーザの操作に基づいて、さらに表示範囲を変更すると、表示範囲の変更処理が重複する。表示範囲の変更処理が重複することによる予期しない視点移動を回避するため、CPU201は、VR動画の再生が終了するまで、ユーザによる表示範囲の変更操作を無効化する。
ステップS614では、ステップS609およびステップS613における表示方向変更操作の無効化を解除する。すなわち、CPU201は、ユーザから表示方向変更操作を受け付けた場合には、ユーザ操作に基づいてVR画像の表示範囲を変更する。
ステップS615およびステップS616は、図4に示す画像共有処理のステップS409およびステップS410とそれぞれ同様である。
ステップS617では、CPU201は、操作部206に対して、その他の操作(表示方向の変更操作以外の操作)が行われたか否かを判定する。その他の操作が行われた場合、処理はステップS618へ進み、その他の操作が行われていない場合、処理はステップS619へ進む。ステップS618では、CPU201は、ステップS617で行われたその他の操作に応じた処理(その他の処理)を実行する。その他の操作は、例えば、他人が投稿した内容に対して、コメントを投稿したり、リアクションアイコンを選択したりする操作を含む。
ステップS619では、CPU201は、図6に示す画像再生処理を終了させる終了操作が行われたか否かを判定する。終了操作が行われた場合、画像再生処理は終了する。終了操作が行われていない場合、処理はステップS601に戻る。
図7は、図6のステップS605の選択画像再生処理の詳細を例示するフローチャートである。ステップS620からステップS626までの処理は、ステップS604において、図8(A)~8(D)で説明した画像一覧から選択された画像を単独で表示再生するシングル再生処理である。
図8(E)は、図8(D)に示す画像一覧から選択された動画703を再生する画面の例である。CPU201は、例えば、ユーザが画像一覧から所望の共有画像をタッチ操作等によって選択した場合に、選択された共有画像を単体で表示する図8(E)の画面に切り替える。ディスプレイ205は、動画703を単体で表示し、さらにシークバー703dを表示する。また、ディスプレイ205は、戻るボタン713およびVR表示ボタン714を表示する。戻るボタン713は、図8(D)に示す画像一覧に戻るためのボタン(アイテム)である。VR表示ボタン714は、ディスプレイ205に表示している画像をVR表示するためのボタン(アイテム)である。
ステップS620では、CPU201は、ステップS604で選択された画像の再生を開始する。ステップS621では、CPU201は、VR表示ボタン714が操作(選択)されたか否かを判定する。VR表示ボタン714が操作された場合、処理はステップS627へ進み、VR表示ボタン714が操作されていない場合、処理はステップS622へ進む。
ステップS622では、CPU201は、操作部206に対して、VR表示の表示方向を変更する変更操作(変更指示)があったか否かを判定する。変更操作があった場合、処理はステップS623へ進み、変更操作がない場合、処理はステップS624へ進む。ステップS623では、CPU201は、ステップS622での変更操作に応じて、ディスプレイ205に表示されているVR画像の表示範囲を変更する。
ステップS624では、CPU201は、操作部206に対して、その他の操作(表示方向の変更操作以外の操作)が行われたか否かを判定する。その他の操作が行われた場合、処理はステップS625へ進み、その他の操作が行われていない場合、処理はステップS626へ進む。その他の操作は、例えば、画像に対する色味および明るさなどの編集操作を含む。ステップS625では、CPU201は、ステップS624で行われたその他の操作に応じた処理(その他の処理)を実行する。
ステップS626では、CPU201は、図7に示す選択画像再生処理を終了させる終了操作が行われたか否かを判定する。選択画像再生処理を終了させる操作は、例えば、戻るボタン713の選択操作である。終了操作が行われた場合、選択画像再生処理は終了し、図6のステップS606へ進む。終了操作が行われていない場合、処理はステップS621へ戻る。
ステップS627からステップS632までの処理は、VR画像をVRゴーグル230で視聴するためのVR表示によって再生する処理である。ステップS627では、CPU201は、VR表示によりVR画像を再生する。
図8(F)は、VR表示によりVR画像を再生する画面の例である。ディスプレイ205は、左目用画像723aおよび右目用画像723bを表示する。また、ディスプレイ205は、戻るボタン715およびシングル再生ボタン716を表示する。戻るボタン715は、VR表示を終了し、図8(D)に例示する画像一覧に戻るためのボタン(アイテム)である。シングル再生ボタン716は、ディスプレイ205に表示している画像のVR表示を終了して、ステップS622へ戻るためのボタン(アイテム)である。
ステップS628およびステップS629は、それぞれステップS622およびステップS623と同様である。VR表示によりVR画像を再生する場合には、CPU201は、VR表示の表示方向を変更する変更操作(表示制御装置200の姿勢を変更する操作を含む)を受け付けると、ディスプレイ205に表示されているVR画像の表示範囲を変更する。
ステップS630では、CPU201は、操作部206に対して、その他の操作(表示方向の変更操作以外の操作)が行われたか否かを判定する。その他の操作が行われた場合、処理はステップS631へ進み、その他の操作が行われていない場合、処理はステップS632へ進む。その他の操作は、例えば、図3(A)で説明したコントローラ340およびコントローラ350を使って、VR動画の再生位置を示すスライダーをシークバー上で動かす操作などを含む。この場合、図8(F)の画面は、図8(E)と同様にシークバーを表示してもよい。ステップS631では、CPU201は、ステップS630で行われたその他の操作に応じた処理(その他の処理)を実行する。
ステップS632では、CPU201は、VR画像のVR表示を終了させる終了操作が行われたか否かを判定する。VR表示を終了させる終了操作は、例えば、戻るボタン715またはシングル再生ボタン716の選択操作である。終了操作が行われた場合、処理はステップS622へ進む。なお、終了操作が行われた場合、CPU201はステップS606に進んでもよい。終了操作が行われていない場合、処理はステップS628に戻る。
なお、VR画像は、上下方向360°および左右方向360度の全天球画像に限られず、上下方向および左右方向がそれぞれ180度以下の画像であってもよい。さらにVR180規格に対応した画像は、当該規格に対応していることを示すGUIオブジェクトを重畳表示してもよい。
また、図4のステップS417およびステップS418の処理は、生成された補正データを用いて、VR動画の基準方向を補正して再エンコードする処理の例を示すが、これに限らない。表示制御装置200は、例えば、補正データをVR動画のファイルとは別ファイルとして保存し、補正データのファイルとVR動画のファイルとを対応づけて記録媒体208に記録してもよい。この場合、ステップS419では、表示制御装置200は、基準方向が変更されていない元のVR動画のファイルと、対応する補正データのファイルとを外部装置に送信すればよい。そして、図6のステップS611でVR動画を再生する際、表示制御装置200は、補正データを用いて、元のVR動画の各フレームの基準方向を補正しながらVR動画を再生する。
また、図4のステップS412で共有メニューを表示する際に、表示制御装置200は、ユーザが共有先を複数選択できるようにしてもよい。また、表示制御装置200は、VR動画の送信先である共有先ごとに、ボタン521(「共有」)、ボタン522(「この向きで共有」)、またはボタン523(「任意被写体で共有」)のいずれかの共有方法を、ユーザが選択できるようにしてもよい。
また、図4のステップS417で、ユーザが指定した特定の被写体が検出されない(存在しない)フレームについては、表示制御装置200は、他のフレームで検出された特定の被写体の位置に基づいて基準方向を補正することができる。他のフレームは、例えば、被写体が検出されなかったフレームの前後のフレームである。VR画像で直前まで検出されていた被写体が検出されなくなる原因は、例えば、被写体が後ろを向いて顔などの特徴的な部位が検出されなくなること、または被写体が遠ざかり検出されなくなることである。表示制御装置200は、直近のフレームで検出された被写体の位置を採用することで、被写体が検出されなかったフレームについても、適切に基準方向を補正することができる
。
。
また、ステップS415で追尾の対象となる特定の被写体は、固有の人物または動物などに限られず、人物、動物、車、飛行機などの追尾対象の種別によって指定されてもよい。また、特定の被写体は、固有の被写体と、追尾対象の種別とによって指定されてもよい。固有の被写体と追尾対象の種別との組み合わせによって指定されることで、特定の被写体の検出の精度は向上する。
また、図4のステップS419で、補正後のVR画像(VR動画の画像データ)を外部装置に送信して共有した場合に、記録媒体208に保持されている元のVR画像の基準方向は、共有したVR画像の基準方向で上書きされてもよい。
また、図6のステップS611で自動再生されるVR動画は、ループ再生されてもよい。自動再生中の動画が、タイムライン700のスクロール操作により非表示になるまでの間、表示方向の変更操作は無効化される。なお、表示制御装置200は、再生が1度終了した段階で表示方向変更操作の無効化を解除し、2回目以降の再生中は、ユーザによる表示方向変更操作に応じて表示範囲を変更するようにしてもよい。また、ステップS611では、ボタン523(「任意被写体で共有」)の操作により共有されたVR動画のみが自動再生されるようにしてもよい。
また、ボタン523(「任意被写体で共有」)は、図4のステップS407で取得した画像が静止画のVR画像である場合にも、表示されるようにしてもよい。特に、連写(連続撮影)または所定の時間間隔でのインターバル撮影などにより順次撮像された複数の静止画のVR画像を、1組の静止画の画像群として取得した場合に、表示制御装置200は、ボタン523を表示するようにしてもよい。
また、図6のステップS607からステップS614までの処理では、表示方向変更操作に対する処理は、ディスプレイ205に表示されている画像がVR動画の場合と静止画等(VR画像以外の画像を含む)の場合とで異なる。これに限られず、VR動画の中でも所定の秒数以下の動画(ショート動画)は、静止画等と同様に、表示方向変更操作に対する処理が実行されてもよい。例えば、ショート動画の再生は、所定の秒数以下で終了するため、タイムライン700のスクロール操作中は、ユーザによる表示方向変更操作を無効化するが、スクロール操作が終了すると無効化を解除してもよい。
また、本発明に係る電子機器の一例である表示制御装置200は、VRゴーグル230と一体型の筐体として構成されてもよい。また、表示制御装置200は、デジタルカメラ100と一体として構成されてもよい。
上記の実施形態では、表示制御装置200は、順次撮像された複数のVR画像(VR動画、インターバル撮影または連写による複数のVR画像を含む)のそれぞれの基準方向を、共有者が見せたい特定の被写体が存在する方向に補正する。基準方向を補正することで、補正後のVR画像は、初期状態において、共有者が指定した特定の被写体を追尾しながら順次再生される。また、特定の被写体を切り出して生成される動画とは異なり、本実施形態による補正後のVR画像では、ユーザは、元のVR画像と同様に表示範囲を変更することができる。
本発明をその好適な実施形態に基づいて詳述してきたが、本発明は、これら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も含む。また、上記の実施形態は本発明の一実施形態を示すものに過ぎず、各種形態を適宜組み合わせることも可能である。
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述の実施形態の機能を実現するソフトウェア(プログラム)は、ネットワークまたは各種記憶媒体を介してシステムまたは装置に供給される。システムまたは装置のコンピュータ(またはCPUやMPU等)は、供給されたプログラムをメモリに読み出して実行する。この場合、これらのプログラム、および該プログラムを記憶する記憶媒体は本発明を構成することになる。
なお、CPU201およびシステム制御部50が実行するものとして説明した各種制御(処理)は、1つのハードウェアによって実行されてもよく、複数のハードウェアが処理を分担することにより実行されてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本実施形態の開示は、以下の構成、方法およびプログラムを含む。
(構成1)
順次撮像された複数のVR画像を取得する取得手段と、
前記複数のVR画像のそれぞれから、前記VR画像の基準方向を、前記VR画像において特定の被写体が存在する方向に補正したVR画像を生成する生成手段と
を有することを特徴とする電子機器。
(構成2)
前記生成手段は、前記複数のVR画像のそれぞれに対して、前記VR画像の前記基準方向と、前記VR画像において前記特定の被写体が存在する方向との差分に基づいて、前記VR画像の前記基準方向を補正するための補正データを生成し、前記補正データを用いて、前記複数のVR画像のそれぞれの前記基準方向を補正する
ことを特徴とする構成1に記載の電子機器。
(構成3)
前記複数のVR画像と前記補正データとを外部装置に送信するか、または前記生成手段により前記複数のVR画像のそれぞれの前記基準方向を補正した複数のVR画像を前記外部装置に送信する送信手段をさらに有する
ことを特徴とする構成2に記載の電子機器。
(構成4)
前記複数のVR画像と前記補正データとを紐づけて記録媒体に保存するよう制御する保存手段をさらに有する
ことを特徴とする構成2または3に記載の電子機器。
(構成5)
前記取得手段は、前記複数のVR画像にそれぞれ対応する複数のフレームを含むVR動画を取得する
ことを特徴とする構成1~4のいずれかに記載の電子機器。
(構成6)
前記特定の被写体は、ユーザにより指定される
ことを特徴とする構成1~5のいずれかに記載の電子機器。
(構成7)
前記生成手段は、前記複数のVR画像のそれぞれの前記基準方向を補正し、前記複数のVR画像とは別のデータとして補正後の複数のVR画像を生成する
ことを特徴とする構成1~6のいずれかに記載の電子機器。
(構成8)
前記生成手段は、前記複数のVR画像のそれぞれの前記基準方向を補正し、前記複数のVR画像に置き換えて保存する
ことを特徴とする構成1~6のいずれかに記載の電子機器。
(構成9)
前記特定の被写体が存在する方向に基づいて前記VR画像の前記基準方向を補正するか、ユーザが指定した方向に基づいて前記VR画像の前記基準方向を補正するかを、前記ユーザの操作に基づいて指示する指示手段をさらに有する
ことを特徴とする構成1~8のいずれかに記載の電子機器。
(構成10)
前記指示手段は、前記複数のVR画像の送信先ごとに、前記特定の被写体が存在する方向に基づいて前記VR画像の前記基準方向を補正するか、前記ユーザが指定した方向に基づいて前記VR画像の前記基準方向を補正するかを、前記ユーザの操作に基づいて指示する
ことを特徴とする構成9に記載の電子機器。
(構成11)
前記生成手段は、前記特定の被写体が存在しない前記VR画像については、他のVR画像で検出された前記特定の被写体の位置に基づいて、前記VR画像の前記基準方向を補正する
ことを特徴とする構成1~10のいずれかに記載の電子機器。
(構成12)
複数の共有画像を一覧表示するか、前記複数の共有画像のうちいずれかを単体で表示するかを切り替える切替手段と、
前記複数の共有画像それぞれの表示範囲の変更を制御する表示制御手段と
をさらに有し、
前記表示制御手段は、
前記共有画像が前記生成手段により生成された補正後の複数のVR画像であり、前記共有画像を単体で表示している場合、前記共有画像の再生中は、ユーザから表示方向を変更するための所定の操作を受け付けても、前記所定の操作に基づく表示範囲の変更を行わないように制御し、
前記複数の共有画像を一覧表示している場合、前記ユーザにより前記複数の共有画像の一覧をスクロールする操作が行われている間は、前記所定の操作を受け付けても、前記所定の操作に基づく表示範囲の変更を行わないように制御する
ことを特徴とする構成1~11のいずれかに記載の電子機器。
(構成13)
前記所定の操作は、前記電子機器の姿勢を変更する操作である
ことを特徴とする構成12に記載の電子機器。
(構成14)
前記表示制御手段は、前記共有画像が前記生成手段により生成された補正後の複数のVR画像であり、前記共有画像を単体でVR表示している場合には、前記所定の操作に基づく表示範囲の変更を行うように制御する
ことを特徴とする構成12または13に記載の電子機器。
(構成15)
前記複数のVR画像は、連続撮影された複数の画像である
ことを特徴とする構成1~14のいずれかに記載の電子機器。
(構成16)
前記複数のVR画像は、所定の時間間隔で撮影された複数の画像である
ことを特徴とする構成1~14のいずれかに記載の電子機器。
(構成17)
順次撮像された複数のVR画像を取得する取得手段と、
前記複数のVR画像を、特定の被写体を追尾して順次再生されるように補正した複数のVR画像を生成する生成手段と
を有することを特徴とする電子機器。
(方法)
順次撮像された複数のVR画像を取得する取得ステップと、
前記複数のVR画像のそれぞれから、前記VR画像の基準方向を、前記VR画像において特定の被写体が存在する方向に補正したVR画像を生成する生成ステップと
を有することを特徴とする電子機器の制御方法。
(プログラム)
コンピュータを、構成1~17のいずれかに記載の電子機器の各手段として機能させるためのプログラム。
(構成1)
順次撮像された複数のVR画像を取得する取得手段と、
前記複数のVR画像のそれぞれから、前記VR画像の基準方向を、前記VR画像において特定の被写体が存在する方向に補正したVR画像を生成する生成手段と
を有することを特徴とする電子機器。
(構成2)
前記生成手段は、前記複数のVR画像のそれぞれに対して、前記VR画像の前記基準方向と、前記VR画像において前記特定の被写体が存在する方向との差分に基づいて、前記VR画像の前記基準方向を補正するための補正データを生成し、前記補正データを用いて、前記複数のVR画像のそれぞれの前記基準方向を補正する
ことを特徴とする構成1に記載の電子機器。
(構成3)
前記複数のVR画像と前記補正データとを外部装置に送信するか、または前記生成手段により前記複数のVR画像のそれぞれの前記基準方向を補正した複数のVR画像を前記外部装置に送信する送信手段をさらに有する
ことを特徴とする構成2に記載の電子機器。
(構成4)
前記複数のVR画像と前記補正データとを紐づけて記録媒体に保存するよう制御する保存手段をさらに有する
ことを特徴とする構成2または3に記載の電子機器。
(構成5)
前記取得手段は、前記複数のVR画像にそれぞれ対応する複数のフレームを含むVR動画を取得する
ことを特徴とする構成1~4のいずれかに記載の電子機器。
(構成6)
前記特定の被写体は、ユーザにより指定される
ことを特徴とする構成1~5のいずれかに記載の電子機器。
(構成7)
前記生成手段は、前記複数のVR画像のそれぞれの前記基準方向を補正し、前記複数のVR画像とは別のデータとして補正後の複数のVR画像を生成する
ことを特徴とする構成1~6のいずれかに記載の電子機器。
(構成8)
前記生成手段は、前記複数のVR画像のそれぞれの前記基準方向を補正し、前記複数のVR画像に置き換えて保存する
ことを特徴とする構成1~6のいずれかに記載の電子機器。
(構成9)
前記特定の被写体が存在する方向に基づいて前記VR画像の前記基準方向を補正するか、ユーザが指定した方向に基づいて前記VR画像の前記基準方向を補正するかを、前記ユーザの操作に基づいて指示する指示手段をさらに有する
ことを特徴とする構成1~8のいずれかに記載の電子機器。
(構成10)
前記指示手段は、前記複数のVR画像の送信先ごとに、前記特定の被写体が存在する方向に基づいて前記VR画像の前記基準方向を補正するか、前記ユーザが指定した方向に基づいて前記VR画像の前記基準方向を補正するかを、前記ユーザの操作に基づいて指示する
ことを特徴とする構成9に記載の電子機器。
(構成11)
前記生成手段は、前記特定の被写体が存在しない前記VR画像については、他のVR画像で検出された前記特定の被写体の位置に基づいて、前記VR画像の前記基準方向を補正する
ことを特徴とする構成1~10のいずれかに記載の電子機器。
(構成12)
複数の共有画像を一覧表示するか、前記複数の共有画像のうちいずれかを単体で表示するかを切り替える切替手段と、
前記複数の共有画像それぞれの表示範囲の変更を制御する表示制御手段と
をさらに有し、
前記表示制御手段は、
前記共有画像が前記生成手段により生成された補正後の複数のVR画像であり、前記共有画像を単体で表示している場合、前記共有画像の再生中は、ユーザから表示方向を変更するための所定の操作を受け付けても、前記所定の操作に基づく表示範囲の変更を行わないように制御し、
前記複数の共有画像を一覧表示している場合、前記ユーザにより前記複数の共有画像の一覧をスクロールする操作が行われている間は、前記所定の操作を受け付けても、前記所定の操作に基づく表示範囲の変更を行わないように制御する
ことを特徴とする構成1~11のいずれかに記載の電子機器。
(構成13)
前記所定の操作は、前記電子機器の姿勢を変更する操作である
ことを特徴とする構成12に記載の電子機器。
(構成14)
前記表示制御手段は、前記共有画像が前記生成手段により生成された補正後の複数のVR画像であり、前記共有画像を単体でVR表示している場合には、前記所定の操作に基づく表示範囲の変更を行うように制御する
ことを特徴とする構成12または13に記載の電子機器。
(構成15)
前記複数のVR画像は、連続撮影された複数の画像である
ことを特徴とする構成1~14のいずれかに記載の電子機器。
(構成16)
前記複数のVR画像は、所定の時間間隔で撮影された複数の画像である
ことを特徴とする構成1~14のいずれかに記載の電子機器。
(構成17)
順次撮像された複数のVR画像を取得する取得手段と、
前記複数のVR画像を、特定の被写体を追尾して順次再生されるように補正した複数のVR画像を生成する生成手段と
を有することを特徴とする電子機器。
(方法)
順次撮像された複数のVR画像を取得する取得ステップと、
前記複数のVR画像のそれぞれから、前記VR画像の基準方向を、前記VR画像において特定の被写体が存在する方向に補正したVR画像を生成する生成ステップと
を有することを特徴とする電子機器の制御方法。
(プログラム)
コンピュータを、構成1~17のいずれかに記載の電子機器の各手段として機能させるためのプログラム。
200:表示制御装置、201:CPU
Claims (19)
- 順次撮像された複数のVR画像を取得する取得手段と、
前記複数のVR画像のそれぞれから、前記VR画像の基準方向を、前記VR画像において特定の被写体が存在する方向に補正したVR画像を生成する生成手段と
を有することを特徴とする電子機器。 - 前記生成手段は、前記複数のVR画像のそれぞれに対して、前記VR画像の前記基準方向と、前記VR画像において前記特定の被写体が存在する方向との差分に基づいて、前記VR画像の前記基準方向を補正するための補正データを生成し、前記補正データを用いて、前記複数のVR画像のそれぞれの前記基準方向を補正する
ことを特徴とする請求項1に記載の電子機器。 - 前記複数のVR画像と前記補正データとを外部装置に送信するか、または前記生成手段により前記複数のVR画像のそれぞれの前記基準方向を補正した複数のVR画像を前記外部装置に送信する送信手段をさらに有する
ことを特徴とする請求項2に記載の電子機器。 - 前記複数のVR画像と前記補正データとを紐づけて記録媒体に保存するよう制御する保存手段をさらに有する
ことを特徴とする請求項2に記載の電子機器。 - 前記取得手段は、前記複数のVR画像にそれぞれ対応する複数のフレームを含むVR動画を取得する
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。 - 前記特定の被写体は、ユーザにより指定される
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。 - 前記生成手段は、前記複数のVR画像のそれぞれの前記基準方向を補正し、前記複数のVR画像とは別のデータとして補正後の複数のVR画像を生成する
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。 - 前記生成手段は、前記複数のVR画像のそれぞれの前記基準方向を補正し、前記複数のVR画像に置き換えて保存する
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。 - 前記特定の被写体が存在する方向に基づいて前記VR画像の前記基準方向を補正するか、ユーザが指定した方向に基づいて前記VR画像の前記基準方向を補正するかを、前記ユーザの操作に基づいて指示する指示手段をさらに有する
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。 - 前記指示手段は、前記複数のVR画像の送信先ごとに、前記特定の被写体が存在する方向に基づいて前記VR画像の前記基準方向を補正するか、前記ユーザが指定した方向に基づいて前記VR画像の前記基準方向を補正するかを、前記ユーザの操作に基づいて指示する
ことを特徴とする請求項9に記載の電子機器。 - 前記生成手段は、前記特定の被写体が存在しない前記VR画像については、他のVR画像で検出された前記特定の被写体の位置に基づいて、前記VR画像の前記基準方向を補正
する
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。 - 複数の共有画像を一覧表示するか、前記複数の共有画像のうちいずれかを単体で表示するかを切り替える切替手段と、
前記複数の共有画像それぞれの表示範囲の変更を制御する表示制御手段と
をさらに有し、
前記表示制御手段は、
前記共有画像が前記生成手段により生成された補正後の複数のVR画像であり、前記共有画像を単体で表示している場合、前記共有画像の再生中は、ユーザから表示方向を変更するための所定の操作を受け付けても、前記所定の操作に基づく表示範囲の変更を行わないように制御し、
前記複数の共有画像を一覧表示している場合、前記ユーザにより前記複数の共有画像の一覧をスクロールする操作が行われている間は、前記所定の操作を受け付けても、前記所定の操作に基づく表示範囲の変更を行わないように制御する
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。 - 前記所定の操作は、前記電子機器の姿勢を変更する操作である
ことを特徴とする請求項12に記載の電子機器。 - 前記表示制御手段は、前記共有画像が前記生成手段により生成された前記補正後の複数のVR画像であり、前記共有画像を単体でVR表示している場合には、前記所定の操作に基づく表示範囲の変更を行うように制御する
ことを特徴とする請求項12に記載の電子機器。 - 前記複数のVR画像は、連続撮影された複数の画像である
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。 - 前記複数のVR画像は、所定の時間間隔で撮影された複数の画像である
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。 - 順次撮像された複数のVR画像を取得する取得手段と、
前記複数のVR画像を、特定の被写体を追尾して順次再生されるように補正した複数のVR画像を生成する生成手段と
を有することを特徴とする電子機器。 - 順次撮像された複数のVR画像を取得する取得ステップと、
前記複数のVR画像のそれぞれから、前記VR画像の基準方向を、前記VR画像において特定の被写体が存在する方向に補正したVR画像を生成する生成ステップと
を有することを特徴とする電子機器の制御方法。 - コンピュータを、請求項1~4のいずれか1項に記載の電子機器の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022187220A JP2024075939A (ja) | 2022-11-24 | 2022-11-24 | 電子機器および電子機器の制御方法 |
US18/491,970 US20240176411A1 (en) | 2022-11-24 | 2023-10-23 | Electronic device and method for controlling electronic device |
CN202311573744.8A CN118075440A (zh) | 2022-11-24 | 2023-11-23 | 电子装置及其控制方法和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022187220A JP2024075939A (ja) | 2022-11-24 | 2022-11-24 | 電子機器および電子機器の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024075939A true JP2024075939A (ja) | 2024-06-05 |
Family
ID=91096150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022187220A Pending JP2024075939A (ja) | 2022-11-24 | 2022-11-24 | 電子機器および電子機器の制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240176411A1 (ja) |
JP (1) | JP2024075939A (ja) |
CN (1) | CN118075440A (ja) |
-
2022
- 2022-11-24 JP JP2022187220A patent/JP2024075939A/ja active Pending
-
2023
- 2023-10-23 US US18/491,970 patent/US20240176411A1/en active Pending
- 2023-11-23 CN CN202311573744.8A patent/CN118075440A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN118075440A (zh) | 2024-05-24 |
US20240176411A1 (en) | 2024-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7258482B2 (ja) | 電子機器 | |
JP7183033B2 (ja) | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 | |
US11295530B2 (en) | Electronic apparatus for playing back a virtual reality video image and control method therefor | |
US10924789B2 (en) | Display control apparatus, control method for display control apparatus, and non-transitory computer readable medium | |
JP2020042064A (ja) | 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体 | |
JP2021174317A (ja) | 電子機器及びその制御方法 | |
JP7267764B2 (ja) | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 | |
JP7214523B2 (ja) | 電子機器、電子機器の制御方法、プログラム | |
US11380075B2 (en) | Electronic apparatus for playing back a virtual reality video image and control method therefor | |
JP7204511B2 (ja) | 電子機器、電子機器の制御方法、プログラム | |
JP2024075939A (ja) | 電子機器および電子機器の制御方法 | |
JP2021069045A (ja) | 表示制御装置、表示制御方法、プログラムおよび記憶媒体 | |
JP7512055B2 (ja) | 電子機器及びその制御方法 | |
JP7336200B2 (ja) | 電子機器及びその制御方法 | |
JP7443100B2 (ja) | 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 | |
JP7086762B2 (ja) | 表示制御装置 | |
JP7214475B2 (ja) | 電子機器及びその制御方法 | |
JP7208002B2 (ja) | 電子機器及びその制御方法 | |
JP7204482B2 (ja) | 電子機器及びその制御方法 | |
JP7278774B2 (ja) | 電子機器及びその制御方法 | |
JP7327938B2 (ja) | 電子機器およびその制御方法およびプログラムおよび記憶媒体 | |
JP7313822B2 (ja) | 電子機器、その制御方法、プログラム及び記憶媒体 | |
JP2023121126A (ja) | 電子機器、電子機器の制御方法、プログラム | |
JP2023130045A (ja) | 情報処置装置、情報処理装置の制御方法、プログラム、記録媒体、およびシステム | |
JP2020205554A (ja) | 表示制御装置、その制御方法、プログラムおよび記憶媒体 |