JP7327938B2 - Electronic device and its control method, program and storage medium - Google Patents
Electronic device and its control method, program and storage medium Download PDFInfo
- Publication number
- JP7327938B2 JP7327938B2 JP2018247842A JP2018247842A JP7327938B2 JP 7327938 B2 JP7327938 B2 JP 7327938B2 JP 2018247842 A JP2018247842 A JP 2018247842A JP 2018247842 A JP2018247842 A JP 2018247842A JP 7327938 B2 JP7327938 B2 JP 7327938B2
- Authority
- JP
- Japan
- Prior art keywords
- range
- display
- image
- area
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、電子機器およびその制御方法およびプログラムおよび記憶媒体に関し、特に、広い映像範囲を有する画像を表示する際の技術に関する。 The present invention relates to an electronic device, its control method, program, and storage medium, and more particularly to technology for displaying an image having a wide video range.
近年、全方位画像、全天球画像といった、人間の視野角より広い範囲の映像を持つ画像を撮影することが可能な撮像装置が普及している。また、このような広い範囲の映像を持つ画像の一部をディスプレイに表示し、装置の姿勢の変化に追従してディスプレイに表示する映像の範囲(表示範囲)を変更することで、没入感や臨場感の高い表示(VRビュー)を行う方法も知られている。 2. Description of the Related Art In recent years, imaging apparatuses capable of capturing an image having a wider range than the human viewing angle, such as an omnidirectional image and an omnidirectional image, have become widespread. In addition, by displaying a part of the image with such a wide range of images on the display and changing the range of the image displayed on the display (display range) according to the change in the posture of the device, it is possible to create a sense of immersion and There is also known a method of displaying a highly realistic image (VR view).
全方位画像の撮影においては、撮影者自身など、不要な被写体が写り込んでしまうケースが多い。そのためユーザーが、必要な箇所のみを切出して、あるいは不要な部分を除いて、画像を表示できる機能を提供することは、全方位画像を再生可能な電子機器には有用である。 In taking an omnidirectional image, there are many cases in which an unnecessary subject such as the photographer himself is captured. Therefore, it is useful for electronic devices capable of reproducing an omnidirectional image to provide a function that allows the user to display an image by extracting only a necessary portion or excluding an unnecessary portion.
特許文献1,2には、全方位画像の任意の位置をユーザーが指定し、その任意位置を含む範囲を全方位画像から切出す技術が開示されている。
特許文献1,2では、全方位画像(VRコンテンツ)から、VRコンテンツではない通常の画像を切出す方法について開示されているが、全方位画像(VRコンテンツ)から、より狭い範囲のVRコンテンツを切出すことについて考慮されていない。VRコンテンツからより狭い範囲のVRコンテンツを切出す場合、切出し後のVRコンテンツの映像の範囲は切出し前より狭いとはいえ、その範囲は通常の倍率のVRビューで一度に表示される表示範囲よりも広い。そのため、VRコンテンツからより狭い範囲のVRコンテンツを切出す操作過程において、切出し後のVRコンテンツの映像の範囲の端に切出し前のVRコンテンツのどの範囲が含まれるのかを確認することが難しい。
そこで本発明は、VRコンテンツから、より狭い範囲のVRコンテンツを生成する際に、切り出されるVRコンテンツの映像の範囲をより容易に確認できるようにする技術を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a technique that makes it possible to more easily check the range of the cut-out video of VR content when generating VR content with a narrower range from VR content.
上記課題を解決するために、本願に係る発明の1つである電子機器は、第1の領域および前記第1の領域とは異なる第2の領域を含む画面を表示する表示手段と、第1の映像範囲を有するVRコンテンツの一部の範囲を表示範囲として前記第1の領域に表示するように制御し、前記電子機器の姿勢変化またはユーザーによる前記第1の領域に対する表示範囲変更操作に応じて前記表示範囲の位置を変更して前記第1の領域に表示するように制御する表示制御手段と、前記表示範囲の中央を中心として前記VRコンテンツのうち前記第1の映像範囲よりも狭い第2の映像範囲を有する編集済VRコンテンツを生成する生成手段とを有し、前記表示制御手段は、前記編集済VRコンテンツのうち前記第2の映像範囲よりも狭く、前記第2の映像範囲の端を含む一部の範囲を、前記端が識別できるようにして前記第2の領域に表示するように制御し、前記生成手段は、ユーザーによる前記第2の領域に対する表示範囲変更操作に応じて、前記VRコンテンツにおける前記第2の映像範囲の位置を変更することを特徴とする。 In order to solve the above problems, an electronic device according to one aspect of the present invention includes display means for displaying a screen including a first area and a second area different from the first area; control to display a partial range of the VR content having a video range of , as a display range in the first area, and in response to a change in posture of the electronic device or a user's operation to change the display range in the first area display control means for changing the position of the display range and displaying it in the first area; and and generating means for generating edited VR content having two video ranges, wherein the display control means controls the edited VR content to be narrower than the second video range and to have the second video range. controlling a partial range including an edge to be displayed in the second area so that the edge can be identified, and the generating means responds to a user's display range change operation on the second area and changing the position of the second video range in the VR content.
本発明によれば、VRコンテンツから、より狭い範囲のVRコンテンツを生成する際に、切り出されるVRコンテンツの映像の範囲をより容易に確認することができる。 Advantageous Effects of Invention According to the present invention, it is possible to more easily confirm the video range of VR content that is cut out when generating VR content with a narrower range from VR content.
以下、図面を参照して本発明の好適な実施形態を説明する。図1(a)は、デジタルカメラ100(撮像装置)の前面斜視図(外観図)である。図1(b)は、デジタルカメラ100の背面斜視図(外観図)である。デジタルカメラ100は、全方位カメラ(全天球カメラ)である。
Preferred embodiments of the present invention will be described below with reference to the drawings. FIG. 1A is a front perspective view (external view) of a digital camera 100 (imaging device). FIG. 1B is a rear perspective view (outside view) of the
バリア102aは、デジタルカメラ100の前方を撮影範囲とした前方カメラ部のための保護窓である。前方カメラ部は、例えば、デジタルカメラ100の前側の上下左右180度以上の広範囲を撮影範囲とする広角カメラ部である。バリア102bは、デジタルカメラ100の後方を撮影範囲とした後方カメラ部のための保護窓である。後方カメラ部は、例えば、デジタルカメラ100の後ろ側の上下左右180度以上の広範囲を撮影範囲とする広角カメラ部である。
The
表示部28は各種情報を表示する。シャッターボタン61は撮影指示を行うための操作部(操作部材)である。モード切替スイッチ60は各種モードを切り替えるための操作部である。接続I/F25は、接続ケーブルをデジタルカメラ100に接続するためのコネクタであり、接続ケーブルを用いて、スマートフォン、パーソナルコンピュータ、テレビなどの外部機器がデジタルカメラ100に接続される。操作部70は、ユーザーからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサー等である。電源スイッチ72は、電源のオン/オフを切り替えるための押しボタンである。
The
発光部21は、発光ダイオード(LED)などの発光部材であり、デジタルカメラ100の各種状態を発光パターンや発光色によってユーザーに通知する。固定部40は、例えば三脚ネジ穴であり、三脚などの固定器具でデジタルカメラ100を固定して設置するために使用される。
The light-emitting
図1(c)は、デジタルカメラ100の構成例を示すブロック図である。
FIG. 1C is a block diagram showing a configuration example of the
バリア102aは、前方カメラ部の撮像系(撮影レンズ103a、シャッター101a、撮像部22a等)を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ103aは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター101aは、撮像部22aへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部22aは、光学像を電気信号に変換するCCDやCMOS素子などで構成される撮像素子(撮像センサー)である。A/D変換器23aは、撮像部22aから出力されるアナログ信号をデジタル信号に変換する。なお、バリア102aを設けずに、撮影レンズ103aの外側の面が露出し、撮影レンズ103aによって他の撮像系(シャッター101aや撮像部22a)の汚れや破損を防止してもよい。
The
バリア102bは、後方カメラ部の撮像系(撮影レンズ103b、シャッター101b、撮像部22b等)を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ103bは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター101bは、撮像部22bへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部22bは、光学像を電気信号に変換するCCDやCMOS素子などで構成される撮像素子である。A/D変換器23bは、撮像部22bから出力されるアナログ信号をデジタル信号に変換する。なお、バリア102bを設けずに、撮影レンズ103bの外側の面が露出し、撮影レンズ103bによって他の撮像系(シャッター101bや撮像部22b)の汚れや破損を防止してもよい。
The
撮像部22aと撮像部22bにより、VR(Virtual Reality)画像が撮像される。VR画像とは、VR表示(表示モード「VRビュー」で表示)をすることのできる画像であるものとする。VR画像には、全方位カメラ(全天球カメラ)で撮像した全方位画像(全天球画像)や、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれるものとする。VR画像には、静止画だけでなく、動画やライブビュー画像(カメラからほぼリアルタイムで取得した画像)も含まれる。VR画像は、最大で上下方向(垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角)360度、左右方向(水平角度、方位角度、ヨー角)360度の視野分の映像範囲(有効映像範囲)を持つ。
A VR (Virtual Reality) image is captured by the
また、VR画像は、上下360度未満、左右360度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角(視野範囲)、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つ画像も含むものとする。例えば、左右方向(水平角度、方位角度)360度、天頂(zenith)を中心とした垂直角度210度の視野分(画角分)の被写体を撮影可能な全天球カメラで撮影された画像はVR画像の一種である。また、例えば、左右方向(水平角度、方位角度)180度、水平方向を中心とした垂直角度180度の視野分(画角分)の被写体を撮影可能なカメラで撮影された画像はVR画像の一種である。即ち、上下方向と左右方向にそれぞれ160度(±80度)以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はVR画像の一種である。 In addition, even if the VR image is less than 360 degrees vertically and 360 degrees horizontally, it can be displayed at a wide angle of view (viewing range) that is wider than the angle of view that can be taken with a normal camera, or on the display unit at once. An image having a video range (effective video range) wider than the display range is also included. For example, an image captured by an omnidirectional camera capable of capturing a subject with a field of view (angle of view) of 360 degrees in the horizontal direction (horizontal angle, azimuth angle) and a vertical angle of 210 degrees centered on the zenith is It is a kind of VR image. Also, for example, an image captured by a camera capable of capturing a subject with a field of view (angle of view) of 180 degrees in the horizontal direction (horizontal angle, azimuth angle) and 180 degrees in the vertical angle centered on the horizontal direction is a VR image. It is one kind. That is, an image that has a visual range of 160 degrees (±80 degrees) or more in the vertical direction and the horizontal direction and has a video range that is wider than the range that can be visually recognized by humans at once is a VR image. is a kind of
このVR画像をVR表示(表示モード「VRビュー」で表示)すると、左右回転方向に表示装置(VR画像を表示する表示装置)の姿勢を変化させることで、左右方向(水平回転方向)には継ぎ目のない全方位の映像を視聴することができる。上下方向(垂直回転方向)には、真上(天頂)から±105度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から105度を超える範囲は映像が存在しないブランク領域となる。VR画像は、「映像範囲が仮想空間(VR空間)の少なくとも一部である画像」とも言える。 When this VR image is displayed in VR (displayed in the display mode "VR view"), by changing the posture of the display device (display device that displays the VR image) in the left and right rotation direction, the left and right direction (horizontal rotation direction) You can watch a seamless omnidirectional video. In the vertical direction (vertical rotation direction), seamless omnidirectional images can be viewed within a range of ±105 degrees from directly above (zenith), but no images exist within a range exceeding 105 degrees from directly above. It becomes a blank area. A VR image can also be said to be "an image whose video range is at least part of a virtual space (VR space)".
VR表示(VRビュー)とは、VR画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法(表示モード)である。表示装置であるヘッドマウントディスプレイ(HMD)を装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、VR画像のうち、ある時点で左右方向に0度(特定の方位、例えば北)、上下方向に90度(天頂から90度、すなわち水平)を中心とした視野角(画角)の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると(例えば、表示面を南向きから北向きに変更すると)、同じVR画像のうち、左右方向に180度(逆の方位、例えば南)、上下方向に90度(水平)を中心とした視野角の映像に、表示範囲が変更される。ユーザーがHMDを視聴している場合で言えば、ユーザーが顔を北から南に向ければ(すなわち後ろを向けば)、HMDに表示される映像も北の映像から南の映像に変わるということである。このようなVR表示によって、ユーザーに、視覚的にあたかもVR画像内(VR空間内)のその場にいるような感覚(没入感)を提供することができる。VRゴーグル(ヘッドマウントアダプター)に装着されたスマートフォンは、HMDの一種と言える。 VR display (VR view) is a display method (display mode) that allows the display range to be changed by displaying an image within a viewing range corresponding to the posture of the display device. When the user wears a head-mounted display (HMD) as a display device to view the video, the video is displayed within the visual range corresponding to the orientation of the user's face. For example, in the VR image, at a certain point in time, the viewing angle (angle of view) is centered at 0 degrees in the horizontal direction (a specific direction, such as north) and 90 degrees in the vertical direction (90 degrees from the zenith, that is, horizontal). shall be displayed. From this state, if the posture of the display device is reversed (for example, if the display surface is changed from facing south to facing north), the same VR image can be displayed by 180 degrees in the left and right direction (opposite orientation, for example, south), and up and down. The display range is changed to an image with a viewing angle centered at 90 degrees (horizontal) in the direction. In the case where the user is viewing the HMD, if the user turns his face from north to south (that is, turns his back), the image displayed on the HMD will also change from the north image to the south image. be. With such VR display, it is possible to provide the user with a sense (immersive feeling) as if he or she were visually present in the VR image (inside the VR space). A smartphone attached to VR goggles (head mount adapter) can be said to be a kind of HMD.
なお、VR画像の表示方法は上記に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどに対するユーザー操作に応じて、表示範囲を移動(スクロール)させてもよい。VR表示時(表示モード「VRビュー」時)において、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ、マウスなどへのドラッグ操作、方向ボタンの押下などに応じて表示範囲を変更できるようにしてもよい。 Note that the display method of the VR image is not limited to the above. The display range may be moved (scrolled) according to the user's operation on the touch panel, direction buttons, or the like, instead of changing the posture. When displaying VR (in the display mode "VR view"), in addition to changing the display range by changing the posture, the display range can be changed according to the touch and move on the touch panel, the drag operation on the mouse, the pressing of the direction button, etc. You may do so.
画像処理部24は、A/D変換器23aやA/D変換器23bからのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行う。システム制御部50は、画像処理部24により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理などが行われる。画像処理部24は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。また、画像処理部24は、A/D変換器23aとA/D変換器23bから得られた2つの画像(2つの魚眼画像;2つの広角画像)に基本的な画像処理を施し、基本的な画像処理が施された2つの画像を合成する繋ぎ画像処理を行って、単一のVR画像を生成する。また、画像処理部24は、ライブビューでのVR表示時、あるいは再生時に、VR画像をVR表示するための画像切出し処理、拡大処理、歪み補正などを行い、メモリ32のVRAMへ処理結果を描画するレンダリングを行う。
The
繋ぎ画像処理では、画像処理部24は、2つの画像の一方を基準画像、他方を比較画像として用いて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、エリア毎のずれ量に基づいて、2つの画像を繋ぐ繋ぎ位置を検出する。画像処理部24は、検出した繋ぎ位置と各光学系のレンズ特性とを考慮して、幾何学変換により各画像の歪みを補正し、各画像を全天球形式(全天球イメージ形式)の画像に変換する。そして、画像処理部24は、全天球形式の2つの画像を合成(ブレンド)することで、1つの全天球画像(VR画像)を生成する。生成された全天球画像は、例えば正距円筒図法を用いた画像であり、全天球画像の各画素の位置は球体(VR空間)の表面の座標と対応づけることができる。
In the stitching image processing, the
A/D変換器23a,23bからの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22a,22bによって得られA/D変換器23a,23bによりデジタルデータに変換された画像データや、接続I/F25から外部のディスプレイに出力するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
Output data from the A/
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に格納されている画像表示用のデータは、接続I/F25から外部のディスプレイに出力することが可能である。撮像部22a,22bで撮像され、画像処理部24で生成されたVR画像であって、メモリ32に蓄積されたVR画像を外部ディスプレイに逐次転送して表示することで、電子ビューファインダとしての機能を実現でき、ライブビュー表示(LV表示)を行える。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。また、メモリ32に蓄積されたVR画像を、通信部54を介して無線接続された外部機器(スマートフォンなど)に転送し、外部機器側で表示することでもライブビュー表示(リモートLV表示)を行える。
The
不揮発性メモリ56は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばEEPROM等である。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、各種処理を実行するためのコンピュータプログラムのことである。
The
システム制御部50は、少なくとも1つのプロセッサーまたは回路を有する制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、各処理を実現する。システムメモリ52は例えばRAMであり、システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50は、メモリ32、画像処理部24、メモリ制御部15等を制御することにより表示制御も行う。システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
The
モード切替スイッチ60、シャッターボタン61、操作部70、及び、電源スイッチ72は、システム制御部50に各種の動作指示を入力するために使用される。
The
モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモードがある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60より、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り替えた後に、表示部28に表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
The
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理などの撮影準備動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22a,22bからの信号読み出しから記録媒体90に画像データを書き込むまでの一連の撮影処理の動作を開始する。
The
なお、シャッターボタン61は全押しと半押しの2段階の操作ができる操作部材に限るものではなく、1段階の押下だけができる操作部材であってもよい。その場合は、1段階の押下によって撮影準備動作と撮影処理が連続して行われる。これは、半押しと全押しが可能なシャッターボタンを全押しした場合(第1シャッタースイッチ信号SW1と第2シャッタースイッチ信号SW2とがほぼ同時に発生した場合)と同じ動作である。
It should be noted that the
操作部70は、表示部28に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面を見ながら操作部70を操作することで、直感的に各種設定を行うことができる。
The
電源スイッチ72は、電源のオン/オフを切り替えるための押しボタンである。電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路などにより構成され、電池の装着の有無、電池の種類、電池残量などの検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体90を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池などの一次電池、NiCd電池やNiMH電池、Li電池などの二次電池、ACアダプター等からなる。
The
記録媒体I/F18は、メモリーカードやハードディスク等の記録媒体90とのインターフェースである。記録媒体90は、撮影された画像を記録するためのメモリーカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記録媒体90は、デジタルカメラ100に対して着脱可能な交換記録媒体であってもよいし、デジタルカメラ100に内蔵された記録媒体であってもよい。
A recording medium I/
通信部54は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号などの送受信を行う。通信部54は、無線LAN(Local Area Network)やインターネットにも接続可能である。通信部54は撮像部22a,22bで撮像した画像(LV画像を含む)や、記録媒体90に記録された画像を送信可能であり、外部機器から画像やその他の各種情報を受信することができる。
The
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22a,22bで撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、撮像部22a,22bで撮影された画像が、ヨー方向、ピッチ方向、ロール方向の3軸方向(回転方向)にデジタルカメラ100をどの程度傾けて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22a,22bで撮像されたVR画像の画像ファイルに付加したり、画像を回転(傾き補正(天頂補正)するように画像の向きを調整)して記録したりすることが可能である。加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうちの1つのセンサーまたは複数のセンサーの組み合わせを、姿勢検知部55として用いることができる。姿勢検知部55を構成する加速度センサー、ジャイロセンサー、方位センサー等を用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
The
マイク20は、動画であるVR画像(VR動画)の音声として記録されるデジタルカメラ100の周囲の音声を集音するマイクロフォンである。接続I/F25は、外部機器と接続して映像の送受信を行うための、HDMI(登録商標)ケーブルやUSBケーブルなどが接続される接続プラグである。
The
図2(a)は、表示制御装置の一種である電子機器200の外観図である。電子機器200は、例えばスマートフォンなどの表示装置である。ディスプレイ205は画像や各種情報を表示する表示部である。ディスプレイ205はタッチパネル206aと一体的に構成されており、ディスプレイ205の表示面へのタッチ操作を検出できるようになっている。電子機器200は、VR画像(VRコンテンツ)をディスプレイ205においてVR表示することが可能である。操作部206bは電子機器200の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部206cと操作部206dは、スピーカー212bや、音声出力端子212aに接続されたイヤホンや外部スピーカーなどから出力する音声のボリュームを増減するボリュームボタンである。操作部206eは、ディスプレイ205にホーム画面を表示させるためのホームボタンである。音声出力端子212aはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声信号を出力する端子である。スピーカー212bは音声を出力する本体内蔵スピーカーである。
FIG. 2A is an external view of an
図2(b)は、電子機器200の構成例を示すブロック図である。内部バス250に対してCPU201、メモリ202、不揮発性メモリ203、画像処理部204、ディスプレイ205、操作部206、記録媒体I/F207、外部I/F209、及び、通信I/F210が接続されている。また、内部バス250に対して音声出力部212と姿勢検出部213も接続されている。内部バス250に接続される各部は、内部バス250を介して互いにデータのやりとりを行うことができるようにされている。
FIG. 2B is a block diagram showing a configuration example of the
CPU201は、電子機器200の全体を制御する制御部であり、少なくとも1つのプロセッサーまたは回路からなる。メモリ202は、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU201は、例えば、不揮発性メモリ203に格納されるプログラムに従い、メモリ202をワークメモリとして用いて、電子機器200の各部を制御する。不揮発性メモリ203には、画像データや音声データ、その他のデータ、CPU201が動作するための各種プログラムなどが格納される。不揮発性メモリ203は例えばフラッシュメモリやROMなどで構成される。
The
画像処理部204は、CPU201の制御に基づいて、不揮発性メモリ203や記録媒体208に格納された画像や、外部I/F209を介して取得した映像信号、通信I/F210を介して取得した画像などに対して各種画像処理を施す。画像処理部204が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲の映像を有する広範囲画像であるVR画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部204は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部204を用いずにCPU201がプログラムに従って画像処理を施すことも可能である。
Under the control of the
ディスプレイ205は、CPU201の制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU201は、プログラムに従い表示制御信号を生成し、ディスプレイ205に表示するための映像信号を生成してディスプレイ205に出力するように電子機器200の各部を制御する。ディスプレイ205は生成・出力された映像信号に基づいて映像を表示する。なお、電子機器200自体が備える構成としてはディスプレイ205に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ205は外付けのモニタ(テレビやHMDなど)で構成してもよい。
The
操作部206は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。本実施形態では、操作部206は、タッチパネル206a、操作部206b,206c,206d,206eを含む。
An
記録媒体I/F207には、メモリーカードやCD、DVDといった記録媒体208が着脱可能である。記録媒体I/F207は、CPU201の制御に基づき、装着された記録媒体208からのデータの読み出しや、記録媒体208に対するデータの書き込みを行う。記録媒体208は、ディスプレイ205で表示するための画像などのデータを記憶する。外部I/F209は、有線ケーブル(USBケーブルなど)や無線によって外部機器と接続し、映像信号や音声信号の入出力(データ通信)を行うためのインターフェースである。通信I/F210は、外部機器やインターネット211などと通信(無線通信)して、ファイルやコマンドなどの各種データの送受信(データ通信)を行うためのインターフェースである。
A
音声出力部212は、電子機器200で再生する動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部212には、イヤホンなどを接続する音声出力端子212a、スピーカー212bが含まれるものとするが、音声出力部212は無線通信などで外部スピーカーに音声データを出力してもよい。
The
姿勢検出部213は、重力方向に対する電子機器200の姿勢(傾き)や、ヨー方向、ピッチ方向、ロール方向の各軸に対する電子機器200の姿勢を検出し、CPU201へ姿勢情報を通知する。姿勢検出部213で検出された姿勢に基づいて、電子機器200が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。また、ヨー方向、ピッチ方向、ロール方向などの回転方向における電子機器200の傾きの有無や大きさ、当該回転方向に電子機器200が回転したかなどを判別可能である。加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうちの1つのセンサーまたは複数のセンサーの組み合わせを、姿勢検出部213として用いることができる。
上述したように、操作部206にはタッチパネル206aが含まれる。タッチパネル206aは、ディスプレイ205に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。CPU201はタッチパネル206aへの以下の操作、あるいは状態を検出できる。
・タッチパネル206aにタッチしていなかった指やペンが新たにタッチパネル206aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch-Down)と称する)
・タッチパネル206aを指やペンがタッチしている状態(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル206aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル206aへタッチしていた指やペンがタッチパネル206aから離れたこと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル206aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
As described above, the
- The
A state in which a finger or pen is touching the
・The finger or pen is moving while touching the
- The finger or pen touching the
A state in which nothing is touched on the
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。 When touchdown is detected, touchon is also detected at the same time. After touchdown, touchon continues to be detected unless touchup is detected. Touch-on is detected at the same time when touch-move is detected. Even if touch-on is detected, touch-move is not detected if the touch position does not move. Touch-off is detected when it is detected that all the fingers and pens that were in touch have touched up.
これらの操作・状態や、タッチパネル206a上に指やペンがタッチしている位置座標は内部バスを通じてCPU201に通知され、CPU201は通知された情報に基づいてタッチパネル206a上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについてはタッチパネル206a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル206a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。タッチムーブは、ユーザーがタッチパネル206aに対して行った移動操作である。後述するタッチムーブに応じた各種処理は、同じく移動操作であるマウスでのドラッグ操作に応じて行うことも可能である。
The
タッチパネル206a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル206a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。
An operation of touching the
更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル206aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式など、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
Further, a touch operation of simultaneously touching a plurality of points (for example, two points) to bring the touch positions closer to each other is called pinch-in, and a touch operation of moving the touch positions away from each other is called pinch-out. Pinch-out and pinch-in are collectively called pinch operation (or simply pinch). The
図2(c)は、電子機器200を装着可能なVRゴーグル(ヘッドマウントアダプター)230の外観図である。電子機器200は、VRゴーグル230に装着することで、ヘッドマウントディスプレイとして使用することも可能である。挿入口231は、電子機器200を差し込むための挿入口である。ディスプレイ205の表示面を、VRゴーグル230をユーザーの頭部に固定するためのヘッドバンド232側(すなわちユーザー側)に向けて電子機器200の全体をVRゴーグル230に差し込むことができる。ユーザーは、電子機器200が装着されたVRゴーグル230を頭部に装着した状態で、手で電子機器200を保持することなく、ディスプレイ205を視認することができる。この場合は、ユーザーが頭部または体全体を動かすと、電子機器200の姿勢も変化する。姿勢検出部213はこの時の電子機器200の姿勢変化を検出し、この姿勢変化に基づいてCPU201がVR表示のための処理を行う。この場合に、姿勢検出部213が電子機器200の姿勢を検出することは、ユーザーの頭部の姿勢(ユーザーの視線が向いている方向)を検出することと同等である。なお、電子機器200自体が、VRゴーグル無しでも頭部に到着可能なHMDであってもよい。
FIG. 2C is an external view of VR goggles (head mount adapter) 230 to which the
本実施形態では、最大で上下左右に360度の視野分の映像範囲(有効映像範囲)を持つVR画像から、上下左右に180度の視野分の映像範囲(有効映像範囲)をもつVR画像を切出す操作及び処理について説明する。なお、以下では、最大で上下左右に360度の視野分の映像範囲(有効映像範囲)を持つVR画像を、360度のVR画像と称する。また、上下左右に180度の視野分の映像範囲(有効映像範囲)をもつVR画像を、180度のVR画像と称する。360度のVR画像から180度のVR画像を切り出す処理は、概念としては、360度分の映像が全体にマッピングされた仮想的な球体から、半球を切出す処理である。本実施形態で説明する切出しは、通常の矩形画像(平面画像)を切出す処理ではなく、切出し後もVR画像として視聴可能(球体にマッピングしてVRビューで視聴可能)な画像を切出す処理である。切出し後の画像は上下左右180度分の有効映像範囲を有するため、球体にマッピングした場合には、半球分の有効な映像(撮影された画像など)がマッピングされる。残りの半球分は無効映像範囲となり、単色や所定パターンでの塗りつぶしや、何かしら補完された映像がマッピングされる。このような切出し後のVR画像をVRビューで視聴する場合、ユーザーは、前方の幅180度の範囲(中心から上下左右にそれぞれ90度の範囲)で画像を視認することができる。このような切出し処理を行う理由としては以下のようなものがある。 In this embodiment, a VR image having a visual range (effective video range) of 360 degrees vertically and horizontally at maximum is converted to a VR image having a visual range (effective video range) of 180 degrees vertically and horizontally. The extraction operation and processing will be described. In the following, a VR image having a video range (effective video range) corresponding to a field of view of 360 degrees vertically and horizontally at maximum is referred to as a 360-degree VR image. Also, a VR image having a video range (effective video range) corresponding to a field of view of 180 degrees vertically and horizontally is referred to as a 180-degree VR image. Conceptually, the process of cutting out a 180-degree VR image from a 360-degree VR image is a process of cutting out a hemisphere from a virtual sphere on which a 360-degree video is entirely mapped. The clipping described in this embodiment is not a process of clipping a normal rectangular image (planar image), but a process of clipping an image that can be viewed as a VR image even after clipping (mapped onto a sphere and viewable in a VR view). is. Since the clipped image has an effective video range of 180 degrees vertically and horizontally, when mapped on a sphere, a hemispherical effective video (photographed image, etc.) is mapped. The rest of the hemisphere becomes an invalid image range, and images that are filled with a single color or a predetermined pattern or that are complemented in some way are mapped. When viewing such a cut-out VR image in a VR view, the user can view the image within a range of 180 degrees in width in front (a range of 90 degrees to the left, right, top and bottom from the center). The reasons for performing such clipping processing are as follows.
第1に、画像のデータ量を削減することができる。360度のVR画像に対して、切出された180度のVR画像はデータ量が小さい。そのため、保存する際の記録媒体の容量圧迫を抑制できる。また、送受信する際の通信データ量の削減、表示する際の処理負荷の削減をすることができ、その分、処理速度や応答速度の向上、消費電力の削減といった効果を奏する。 First, the amount of image data can be reduced. The clipped 180-degree VR image has a smaller data amount than the 360-degree VR image. Therefore, it is possible to suppress the capacity pressure of the recording medium at the time of saving. In addition, it is possible to reduce the amount of communication data to be transmitted and received, and to reduce the processing load to display, thereby improving processing speed and response speed, and reducing power consumption.
第2に、不要な被写体を削除することができる。例えば360度の視野分の有効映像範囲を有するVR画像を撮像するほとんどの場合、撮影者自身が写り込むことが避けられない。しかし、撮影者が撮影したいものが撮影者自身でなく風景などである場合、撮影者自身は余計な被写体であり、意図しないものである。意図しない映像が写っていると、撮影者が主題と考えていた風景などの映像に視聴者の関心を集中させることを阻害してしまう。また、通行人の顔や通行する車のナンバープレートといった秘匿すべき情報が写ってしまうことも多く、プライバシーやセキュリティーの観点から望ましくない場合がある。切出し処理によって、撮影者が意図する範囲のみを切出し、その他の不要な範囲の映像を破棄することで、これらの問題を回避することができる。 Second, unnecessary subjects can be deleted. For example, in most cases of capturing a VR image having an effective video range of 360 degrees, it is inevitable that the photographer himself will appear in the picture. However, if what the photographer wants to photograph is not the photographer himself but a landscape or the like, the photographer himself is an unnecessary subject and is unintended. If an unintended image is captured, it hinders the viewer from concentrating on the image such as the landscape that the photographer considered to be the main subject. In addition, information that should be kept confidential, such as the face of a passerby or the license plate of a passing vehicle, is often captured, which is undesirable from the viewpoint of privacy and security. These problems can be avoided by clipping only the range intended by the photographer and discarding other unnecessary ranges of the image.
第3に、VRビューで視聴するユーザーの身体的負担を軽減することができる。360度のVR画像をVRビューで視聴する場合、視聴するユーザーの背後まで映像が存在する。前方の180度分の映像であれば、視聴者は自身の首の向きを変えるだけで概ね見渡すことができるが、背後を見ようとすれば、上半身を捻ったり、立つ向きを変えたりしなければならず、身体的負担がやや高い。このような背後を見ようとする身体的動きは、回転チェアでも無い限り、椅子に座って視聴する場合には不向きである。これに対し、180度のVR画像では自身の首の向きを変えるだけで概ね全体を見渡すことができるので、観賞する際の身体的負担が比較的小さい。ガイド表示や180度を超えた範囲が無効領域であることがわかるような表示によって、視聴者が180度のVR画像であることを認識していれば、視聴者は背後を見ようと試みることもない。そのため、背後を見るといった身体的動作を視聴者に行わせることを抑制することができる。 Thirdly, it is possible to reduce the physical burden on the user watching in the VR view. When viewing a 360-degree VR image in a VR view, the image exists even behind the viewing user. Viewers can see a 180-degree image in front by simply turning their head, but if they want to see behind them, they have to twist their upper body or change their standing direction. However, the physical burden is rather high. Such a physical movement to look behind is not suitable for viewing from a seat, unless it is a swivel chair. On the other hand, with a 180-degree VR image, the viewer can see the entire scene simply by changing the direction of his/her head, so the physical burden of viewing the image is relatively small. If the viewer recognizes that the VR image is 180 degrees through a guide display or a display that indicates that the range beyond 180 degrees is an invalid area, the viewer may try to look behind. do not have. Therefore, it is possible to prevent the viewer from performing physical actions such as looking behind.
第4に、360度のVR画像を、180度のVR画像のための記録フォーマットなどに対応させて表示させることができる。360度のVR画像の記録フォーマットと、180度分のVR画像のための記録フォーマットが異なる場合、180度分のVR画像の視聴にのみ対応した再生装置(再生アプリケーションソフト)では、360度のVR画像を視聴することができない。しかし360度のVR画像から切出して180度のVR画像を生成すれば、180度分のVR画像の視聴にのみ対応した再生装置でも視聴することが可能となる。また、180度のVR画像の視聴と360度のVR画像の視聴の双方に対応していても、180度のVR画像を視聴するモードと360度のVR画像を視聴するモードとを切り替える必要がある場合には、切替の操作が煩わしい。しかし360度のVR画像から切出して180度のVR画像を生成すれば、180度分のVR画像のための表示モードを切り替えることなく、複数のVR画像を次々と切り替えて表示させることができる。また、同一方向の被写体に向けて視差の分だけ離れた距離に設置された2つのカメラユニットによって撮影された、それぞれ右目用、左目用の2つの180度のVR画像を立体視できるように表示する表示モード(2眼VRビュー)が想定される。360度のVR画像から、右目用の180度のVR画像と左目用の180度のVR画像を切出して記録しておけば、このような2眼VRビューでも視聴可能となる。 Fourthly, a 360-degree VR image can be displayed in correspondence with a recording format for a 180-degree VR image. If the recording format for 360-degree VR images and the recording format for 180-degree VR images are different, a playback device (playback application software) that only supports viewing of 180-degree VR images will not be able to record 360-degree VR images. Images cannot be viewed. However, if a 180-degree VR image is generated by extracting a 360-degree VR image, it becomes possible to view even a playback device that can only view 180-degree VR images. Also, even if both 180-degree VR image viewing and 360-degree VR image viewing are supported, it is necessary to switch between the 180-degree VR image viewing mode and the 360-degree VR image viewing mode. In some cases, the switching operation is troublesome. However, if a 180-degree VR image is generated by extracting a 360-degree VR image, a plurality of VR images can be displayed by switching one after another without switching the display mode for the 180-degree VR image. In addition, two 180-degree VR images for the right eye and left eye, respectively, taken by two camera units installed at a distance equal to the parallax toward the subject in the same direction, are displayed so that they can be viewed stereoscopically. A display mode (dino VR view) is assumed. If a 180-degree VR image for the right eye and a 180-degree VR image for the left eye are cut out from a 360-degree VR image and recorded, it is possible to view even such a twin-lens VR view.
なお、本実施形態では、360度のVR画像から180度のVR画像を切出して生成する例を説明するが、切出し前のVR画像の有効映像範囲よりも狭い有効映像範囲のVR画像を切出す処理であれば他の視野角度のVR画像にも適用可能である。すなわち、切出し前のVR画像は360度のVR画像に限るものではなく、また、切出し後のVR画像は180度のVR画像に限るものではない。 In the present embodiment, an example in which a 180-degree VR image is generated by cutting out a 360-degree VR image will be described. The processing can also be applied to VR images with other viewing angles. That is, the VR image before clipping is not limited to a 360-degree VR image, and the VR image after clipping is not limited to a 180-degree VR image.
後述する各処理では、各種のタッチボタンを表示し、ユーザー操作として各種タッチボタンに対するタッチ操作を受け付けて処理を進める例を説明する。各種タッチボタンに対する指示を受け付けるタッチ操作とは、具体的にはタッチボタンに対応するタッチ反応領域からのタッチアップとしてもよいし、タッチボタンに対応するタッチ反応領域に対するタッチダウンとしてもよい。またこれに限るものではなく、後述するタッチボタンへの操作によって受け付けるものとして説明する各指示は、他のユーザー操作によって受け付けるものとしてもよい。例えば、各物理ボタンへの操作、方向キーを用いて表示アイテムを選択して決定ボタンを押下する操作、マウスを用いて表示アイテムを選択する操作、音声コマンド等であってもよい。 In each process to be described later, an example will be described in which various touch buttons are displayed, and a touch operation to the various touch buttons is accepted as a user operation to proceed with the process. A touch operation for receiving instructions for various touch buttons may specifically be a touch-up from a touch-responsive area corresponding to a touch button, or a touch-down from a touch-responsive area corresponding to a touch button. Further, the present invention is not limited to this, and each instruction explained as being received by operating a touch button to be described later may be received by another user's operation. For example, it may be an operation on each physical button, an operation of selecting a display item using a direction key and pressing an enter button, an operation of selecting a display item using a mouse, a voice command, or the like.
図3は、電子機器200におけるVRビュー表示(処理)のフローチャートである。この処理は、不揮発性メモリ203に記録されたプログラムをメモリ202に展開してCPU201が実行することにより実現する。電子機器200がオンの状態で、360度のVR画像をVRビューで表示可能で、かつ、180度のVR画像を切出す機能を有するアプリケーションソフトを起動すると、CPU201はフラグや制御変数等を初期化した後、図3の処理を開始する。
FIG. 3 is a flowchart of VR view display (processing) in
S301では、CPU201は、記録媒体208もしくは通信I/F210を介した通信先から、表示対象となるVR画像を読み込む(取得する)。また、VR画像の属性情報として付帯されている、映像範囲(有効映像範囲)を示す情報を取得する。有効映像範囲を示す情報とは、VR画像が、上下方向、左右方向にどの角度範囲分の有効な映像を有しているかという情報である。有効映像範囲を示す情報は、VR画像の有効映像範囲を特定できる情報であればよく、画角、視野角、方位角、仰角、左右の画素数や座標などの情報であってもよい。また、有効映像範囲を示す情報は、VR画像を撮像したカメラの機種情報(機種を特定することで撮影可能な範囲を特定可能)や撮影時のズームの情報等でもよい。CPU201は、有効映像範囲を示す情報を取得すると、上下左右360度との差分で無効映像範囲(非映像範囲)も特定(算出)する。なお、逆に、VR画像の属性情報から無効映像範囲を示す情報を取得し、そこから有効映像範囲を算出してもよいし、有効映像範囲を示す情報と無効映像範囲を示す情報の双方をVR画像の属性情報から取得してもよい。
In S<b>301 , the
S302では、CPU201は、S301で取得したVR画像のVRビューでの表示処理を行う。VR画像の元データ(画像データ)は、例えば正距円筒図法を用いた歪んだ画像であり、各画素の位置が球体の表面の座標と対応づけることが可能な形式の画像である。このVR画像の元画像を球体にマッピングし、一部を切出して表示する。すなわち、S302で表示される画像はVR画像の一部を切出して拡大した画像であり、かつ、元画像の歪みを除去(あるいは低減)した画像である。
In S302, the
S303では、CPU201は、S301で取得した情報を元に、S302での表示対象であるVR画像が、180度のVR画像を切出し可能なVR画像であるか否かを判定する。記録画素数が閾値未満である画像、有効映像範囲が閾値よりも狭い(小さい)画像、既に後述する切出しの処理が行われた画像、180度のVR画像の少なくともいずれかである場合には、切出し可能なVR画像ではないと判定してS305に進む。切出し可能なVR画像であると判定した場合にはS304に進む。
In S303, the
S304では、CPU201は、切出編集ボタンを表示する。図6(a)に、S304で表示されるVR画像と切出編集ボタンの表示例を示す。VR画像602は、S302で表示されたVR画像である。切出編集ボタン601は、VR画像の切出しを指示するためのタッチアイコンである。なお、S303で切出し可能なVR画像ではないと判定された場合は、切出編集ボタン601を表示しないものとするが、グレーアウトなどの選択不能状態であることが識別できるような表示形態で切出編集ボタン601を表示してもよい。
In S304, the
S305では、CPU201は、タッチパネル206aから通知された情報に基づいて、VR画像602が表示された領域に対するタッチムーブ(表示範囲変更操作)があったか否かを判定する。タッチムーブがあった場合にはS306に進み、そうでない場合にはS307に進む。S306では、CPU201は、タッチムーブされた方向と量に応じて、表示されたVR画像602をスクロールさせ、VR画像の表示範囲を変更する。具体的には、タッチムーブの移動成分のうち左右方向(水平方向)の成分に基づいて、VR画像がマッピングされた仮想球体の上下軸(天頂軸、重力軸)を中心として表示範囲が回転移動するように、VR画像を右または左方向にスクロールする。これはすなわち、仮想球体の中心に置かれた視聴者から見た視線(表示範囲の方向)の方位を変更する表示範囲の変更である。また、タッチムーブの移動成分のうち上下方向(垂直方向)の成分に基づいて、VR画像がマッピングされた仮想球体の水平軸(天頂軸と垂直な軸、重力と垂直な軸)を中心として表示範囲が回転移動するように、VR画像を上または下にスクロールする。これはすなわち、仮想球体の中心に置かれた視聴者から視線(表示範囲の方向)の仰角または俯角(以下、仰俯角と称する)を変更する表示範囲の変更である。
In S305, the
S307では、CPU201は、姿勢検出部213で、表示範囲を変更させるべき姿勢の変化を検知したか否かを判定する。表示範囲を変更させるべき姿勢の変化を検知した場合にはS308に進み、そうでない場合にはS309に進む。S308では、CPU201は、姿勢検出部213で検知した姿勢変化に応じて、VR画像602の表示範囲を変更(移動)する。
In S<b>307 , the
S309では、CPU201は、タッチパネル206aから通知された情報に基づいて、VR画像602が表示された領域に対するピンチインまたはピンチアウト(すなわち倍率変更操作)があったか否かを判定する。ピンチインまたはピンチアウトがあった場合はS310へ進み、そうでない場合はS311へ進む。S310では、CPU201は、ピンチ操作に応じてVR画像の表示倍率を(連続的または3以上の複数段階で段階的に)変更する。ピンチイン(縮小操作)の場合はVR画像の表示倍率を下げる。これに伴ってVR画像の表示範囲は広くなる。すなわち、被写体は小さくなるが、より広い範囲が表示される。ピンチアウト(拡大操作)の場合はVR画像の表示倍率を上げる。これに伴ってVR画像の表示範囲は狭くなる。すなわち、被写体は大きくなるが、より狭い範囲が表示される。
In S309, the
S311では、CPU201は、タッチパネル206aから通知された情報に基づいて、切出編集ボタン601を指定するタッチ操作があったか否かを判定する。切出編集ボタン601に対するタッチ操作があった場合はS312に進み、そうでない場合にはS313に進む。S312では、CPU201は、切出編集処理を行う。切出編集処理については図4を用いて後述する。
In S<b>311 , the
S313では、CPU201は、画像切替操作があったか否かを判定する。画像切替操作があった場合はS314に進み、そうでない場合にはS315に進む。画像切替操作には、例えば、操作部206に含まれる画像切替ボタンの操作や、ディスプレイ205に表示される画像切替アイコン(画像送りアイコン、画像戻しアイコン)へのタッチ操作、2点を同時にタッチして同方向へドラッグするダブルドラッグ等がある。S314では、CPU201は、画像切替操作に応じて、現在表示しているVR画像とは異なる画像ファイルのVR画像を次の表示対象として特定する。続いて、S301に戻って、次の表示対象のVR画像の取得、表示処理を行う。
In S313, the
S315では、CPU201は、その他の操作があったか否かを判定する。その他の操作があった場合はS316へ進み、そうでない場合はS317へ進む。S316では、CPU201は、その他の操作に応じた処理を実施する。その他の操作に応じた処理としては例えば、VR画像の2眼VRビューでの表示処理、表示しているVR画像のファイル削除、共有(SNSへの投稿やメール送信、他のアプリでの使用指示など)、色味調整などの編集処理などがある。
In S315, the
S317では、CPU201は、操作部206への終了操作があったか否かを判定する。終了操作が無い場合はS305に戻って処理を繰り返す。終了操作があった場合は、VR画像の表示アプリであるアプリケーションソフトを閉じ、図3の処理を終了する。
In S<b>317 , the
図4に、図3のS312で前述した切出編集処理のフローチャートを示す。この処理は、不揮発性メモリ203に記録されたプログラムをメモリ202に展開してCPU201が実行することにより実現する。図4の編集処理は、基本的には、VRビューで表示された360度のVR画像のうち、180度のVR画像として切出す範囲の中心をVRビューのまま指定する処理である。範囲指定の微調整を行うこともできるが、微調整を行わずに大まかに中心を決めるだけでも切出す範囲を決められるため、簡単に切出す範囲を指定することができる。VRビューでは、VR画像の全体が表示されていないケースが多く、かつ、切出す範囲の境界は平面画像の場合のような直線の境界とはならない。そのため、仮に、トリミング枠を表示し、表示したトリミング枠を調整するといった操作で切出範囲を決める方法とすると、ユーザーにとって煩雑であり、かつ、わかりにくい。これに対し本実施形態の切出編集処理によれば、360度のVR画像のうち、180度のVR画像として切出す範囲の中心をVRビューのまま指定するだけで切出す範囲の指定ができる。このため、直感的で分かりやすく、簡単な操作感によってユーザーが切出しを行うことができる。
FIG. 4 shows a flowchart of the cutout editing process described in S312 of FIG. This processing is realized by expanding the program recorded in the
S401では、CPU201は、ディスプレイ205に、切出範囲を指定するための画面である切出編集画面を表示する。図6(b)に、切出編集画面の表示例を示す。VR画像602は、切出編集画面に遷移する前にVRビュー表示で表示していた画像と同じVR画像である。ピンチ操作で表示範囲の拡大や縮小が可能であるが、例えば、切出編集画面の表示直後(デフォルトの状態)では、180度分の範囲よりも狭い表示範囲でVR画像602が表示される。ポインタ603は、切出範囲の中心(切出範囲の基準位置)を指定するためのインジケーターである。切出ボタン604は、現在の表示範囲(基準位置)に基づいて切出範囲を指定するための指示アイコンである。切出編集画面では、ポインタ603は画面中央部に固定された位置に表示され、VR画像602の表示範囲が変わっても、ディスプレイ205上におけるポインタ603の位置は変化しない。ユーザーは、切出し後のVR画像の中心とすべき所望の被写体の位置が、ポインタ603が示す位置となるように、VRビューで表示されたVR画像602の表示範囲を通常のVRビューでの操作とほぼ同じ操作によって変更する。そして、切出ボタン604をタッチすることで、現在の表示範囲(基準位置)に基づいた範囲を切出し後の範囲として指定(または仮指定)することができる。より詳しくは、ポインタ603が表示されている位置に対応するVR画像の位置が切出し後の中心、または中心の方位となるように、切出し後の範囲を指定することができる。
In S401, the
円形で示された表示方向ガイドのうち、扇型の表示範囲605は、円形で示したVR画像の全方位における、現在の表示範囲の方位の範囲(天頂軸回りの角度範囲)を示している。非表示範囲606は、円形で示したVR画像の全方位における、現在の表示範囲でない方位の範囲(天頂軸回りの角度範囲)を示している。基準方向607は、VR画像602の表示を開始する際に最初に(すなわち表示範囲を変更する操作と姿勢変化が起こる前に)表示する表示範囲の中央となる方向(以下、表示開始方向)を示している。 Of the circular display direction guides, a fan-shaped display range 605 indicates the azimuth range (angular range around the zenith axis) of the current display range in all directions of the circular VR image. . A non-display range 606 indicates a range of azimuths (angular range around the zenith axis) that is not the current display range in all directions of the VR image indicated by a circle. The reference direction 607 is the direction (hereinafter referred to as the display start direction) that is the center of the display range that is displayed first when the display of the VR image 602 is started (that is, before the operation to change the display range and the attitude change). showing.
角度情報608(角度目盛)は、表示開始方向に対する現在のポインタ603の角度(方位角)を示しており、表示範囲の変更と共に表示が更新される。半球全体表示ボタン609は、VR画像602の表示倍率を、切出し後の範囲として指定される全範囲が含まれる倍率にワンタッチで切り替えるための指示アイコンである。2画面確認ボタン610は、切出範囲として指定される範囲と、切出範囲として指定されておらず切出し後のVR画像では破棄される削除範囲との双方を同時に表示する表示モードへ切り替えるための指示アイコンである。端微調整ボタン611は、切出範囲の微調整を行うために切出範囲の端部(境界部分)を表示する表示モードへ切り替えるための指示アイコンである。不要箇所指定ボタン612は、切出範囲に含めたくない被写体である不要箇所を指定するモードに切り替えるための指示アイコンである。不要箇所を指定すると、不要箇所を含めないように切出範囲の中央を指定する場合に、指定できる範囲と、指定できない範囲とが識別可能に表示されるようになる。 The angle information 608 (angle scale) indicates the current angle (azimuth angle) of the pointer 603 with respect to the display start direction, and the display is updated as the display range is changed. An entire hemisphere display button 609 is an instruction icon for switching the display magnification of the VR image 602 to a magnification that includes the entire range specified as the range after cropping with one touch. A two-screen confirmation button 610 is used to switch to a display mode in which both the range designated as the cutout range and the deletion range that is not designated as the cutout range and is discarded in the cutout VR image are displayed at the same time. It is an instruction icon. The edge fine adjustment button 611 is an instruction icon for switching to a display mode for displaying the edge (boundary portion) of the extraction range in order to finely adjust the extraction range. An unnecessary portion designation button 612 is an instruction icon for switching to a mode for designating an unnecessary portion of a subject that is not desired to be included in the cropping range. When specifying the unnecessary part, when specifying the center of the extraction range so as not to include the unnecessary part, the specifiable range and the non-specifiable range are displayed so as to be identifiable.
仰俯角有効/無効ボタン613は、現在の表示範囲に対応する仰俯角(球体にマッピングしたVR画像全体のうち、ポインタ603が示す位置の仰俯角)を切出範囲の中心として有効とするか無効とするかを切り替えるための指示アイコンである。また、仰俯角有効/無効ボタン613は、現在の設定状態も表しており、現在の設定状態が有効であれば有効を示す表示形態のアイコンとして表示され、現在の設定状態が無効であれば無効を示す表示形態のアイコンとして表示される。有効とした場合は、ポインタ603が示す方位、仰俯角を中心として、周囲それぞれ90度、計180度の範囲(半球の範囲)を切出範囲にする。無効とした場合は、ポインタ603が示す仰俯角には基づかず、仰俯角0度、すなわち水平面上でポインタ603が示す位置を中心として、周囲それぞれ90度、計180度の範囲(半球の範囲)を切出範囲にする。ユーザーが指定操作をする前の初期設定では、仰俯角有効/無効の設定は無効であるものとする。 An elevation/depression angle enable/disable button 613 is used to enable or disable the elevation/depression angle corresponding to the current display range (the elevation/depression angle at the position indicated by the pointer 603 in the entire VR image mapped onto the sphere) as the center of the extraction range. This is an instruction icon for switching between . The elevation/depression angle enable/disable button 613 also indicates the current setting state. is displayed as an icon in the form of display indicating . When it is enabled, a range of 90 degrees around the azimuth and elevation/depression angle indicated by the pointer 603 and a total of 180 degrees (hemispherical range) is set as the extraction range. When disabled, the elevation/depression angle is not based on the elevation/depression angle indicated by the pointer 603, and the elevation/depression angle is 0 degrees, that is, a range of 90 degrees around the center of the position indicated by the pointer 603 on the horizontal plane, and a total of 180 degrees (hemispherical range). is the extraction range. It is assumed that the elevation/depression angle valid/invalid setting is invalid in the initial setting before the user performs the designation operation.
姿勢検知ON/OFFボタン614は、姿勢変化によるVR画像602の表示範囲の変更を有効とするか無効とするかを切り替えるための指示アイコンである。また、姿勢検知ON/OFFボタン614は、現在の設定状態も表しており、現在の設定状態が有効であれば有効を示す表示形態のアイコンとして表示され、現在の設定状態が無効であれば無効を示す表示形態のアイコンとして表示される。有効とした場合には、電子機器200の姿勢を変更させるだけで切出範囲の中心を決められるので簡単で直感的である一方、姿勢変化だけで頻繁に表示範囲が変わってしまうため、所望の表示範囲に調整しづらい場合がある。無効とすることで、姿勢変化による表示範囲の変更を行わないようにすることができ、意図しない表示範囲の変更を防ぎ、タッチムーブによる操作(スライド操作)で、よりユーザーの意図通りの表示範囲への調整が可能となる。ユーザーが指定操作をする前の初期設定では、姿勢検知ON/OFFの設定は無効(オフ)としてもよい。
A posture detection ON/OFF button 614 is an instruction icon for switching between validating and invalidating changes in the display range of the VR image 602 due to posture changes. The posture detection ON/OFF button 614 also indicates the current setting state, and if the current setting state is valid, it is displayed as an icon in a display form indicating valid, and if the current setting state is invalid, it is invalid. is displayed as an icon in the form of display indicating . When enabled, the center of the extraction range can be determined simply by changing the posture of
S402、S403では、CPU201は、VR画像602が表示された領域に対するタッチムーブに応じて表示範囲を変更する。処理の詳細は前述の図3のS305、S306と同様である。なお、前述の通り、表示範囲が変わってもポインタ603のディスプレイ205における表示位置は変わらない。VR画像の表示範囲が変われば、VR画像に対するポインタ603の相対的な位置関係は変わることになる。また、この処理によって、S502、S503で後述する切出しの処理における切出範囲の広さ(180度)は変わらず、切出し前のVR画像における切出範囲の位置が変更される。
In S402 and S403, the
図6(c)に、図6(b)の状態から左にタッチムーブして表示範囲を変更した場合の表示例を示す。VR画像602の表示範囲が変わっており、それに追従して、角度情報608と、表示方向ガイドのうち表示範囲605と非表示範囲606が示す範囲も変更されている。VR画像602は、図6(b)に比べて左側に移動するようにスクロールされており、図6(b)の状態と比べてVR画像のうち右側の領域が新たに表示範囲となっている。すなわち、表示範囲は右側に移動している。図6(c)の例では角度情報608と表示方向ガイドからわかるように、図6(b)の表示範囲と比べて、右にほぼ90度を向いた方向に表示範囲が変更されている。この表示範囲にはナンバープレートが見える向きで通行する車が被写体として写っている。ユーザーは例えば、このような通行する車のナンバープレートは公開すべき情報ではなく、切出し後の画像には含まれないようにしたい、と考える。 FIG. 6(c) shows a display example when the display range is changed by touch-moving to the left from the state of FIG. 6(b). The display range of the VR image 602 is changed, and accordingly, the angle information 608 and the range indicated by the display range 605 and non-display range 606 of the display direction guide are also changed. The VR image 602 has been scrolled to the left as compared to FIG. 6B, and the area on the right side of the VR image has become a new display range compared to the state of FIG. 6B. . That is, the display range has moved to the right. As can be seen from the angle information 608 and the display direction guide in the example of FIG. 6(c), the display range has been changed to the right by approximately 90 degrees compared to the display range of FIG. 6(b). In this display range, a passing car with a license plate visible is shown as a subject. For example, the user thinks that the license plate of a passing car is not information that should be disclosed, and that he/she would like to prevent it from being included in the extracted image.
図6(d)に、図6(c)の状態から更に左にタッチムーブして表示範囲を変更した場合の表示例を示す。VR画像602の表示範囲が変わっており、それに追従して、角度情報608と、表示方向ガイドのうち表示範囲605と非表示範囲606が示す範囲も変更されている。VR画像602は、図6(c)に比べて左側に移動するようにスクロールされており、図6(c)の状態と比べてVR画像のうち右側の領域が新たに表示範囲となっている。すなわち、表示範囲は右側に移動している。図6(d)の例では角度情報608と表示方向ガイドからわかるように、図6(b)の表示範囲と比べて、ほぼ真後ろ(右側に180度)を向いた方向に表示範囲が変更されている。この表示範囲には、撮影者自身が被写体として写っている。ユーザーは例えば、このような撮影者自身は、撮影したかった主要被写体ではなく、切出し後の画像には含まれないようにしたい、と考える。 FIG. 6(d) shows a display example when the display range is changed by further touch-moving from the state of FIG. 6(c) to the left. The display range of the VR image 602 is changed, and accordingly, the angle information 608 and the range indicated by the display range 605 and non-display range 606 of the display direction guide are also changed. The VR image 602 has been scrolled to move to the left compared to FIG. 6C, and the area on the right side of the VR image has become a new display range compared to the state of FIG. 6C. . That is, the display range has moved to the right. As can be seen from the angle information 608 and the display direction guide in the example of FIG. 6(d), the display range is changed to a direction facing almost directly behind (180 degrees to the right) compared to the display range of FIG. 6(b). ing. In this display range, the photographer himself appears as a subject. For example, the user thinks that such a photographer himself is not the main subject that he wanted to photograph, and that he would like to avoid being included in the cropped image.
S404では、CPU201は、メモリ202に保持された設定情報を参照し、姿勢検知に応じた表示範囲の変更機能が有効(オン)になっているか否かを判定する。姿勢検知に応じた表示範囲の変更機能の有効(オン)/無効(オフ)は、前述の姿勢検知ON/OFFボタン614へのタッチ操作によって設定される設定項目である。姿勢検知に応じた表示範囲の変更機能が有効(オン)である場合にはS405に進み、そうでない場合にはS407に進む。S405、S406では、CPU201は、姿勢検出部213で検知された姿勢の変化に応じてVR画像602の表示範囲の変更を行う。この処理は前述の図3のS307、S308と同様の処理であるため、詳述は省略する。なお、この処理によって、S502、S503で後述する切出しの処理における切出範囲の広さ(180度)は変わらず、切出し前のVR画像における切出範囲の位置が変更される。S404で姿勢検知に応じた表示範囲の変更機能が無効(オフ)であると判定した場合はS405、S406に進むことなくS407に進み、姿勢検出部213で姿勢の変化を検知しても、姿勢の変化に応じた表示範囲の変更は行わない。
In S<b>404 , the
S407、S408では、CPU201は、ピンチ操作(倍率変更指示)に応じたVR画像602の表示倍率の変更を行う。この処理は前述の図3のS309、S310と同様の処理であるため、詳述は省略する。
In S407 and S408, the
S409では、CPU201は、タッチパネル206aから通知された情報に基づいて、半球全体表示ボタン609に対するタッチ操作(半球全体指示;倍率変更指示)があったか否かを判定する。半球全体表示ボタン609を指定するタッチ操作があった場合にはS410に進み、そうでない場合にはS413に進む。S410では、CPU201は、現在の表示倍率が既に半球全体表示の倍率(半球倍率)となっているか否かを判定する。現在の表示倍率を参照して判定してもよいし、現在の表示モードを参照して判定してもよい。既に半球倍率になっている場合は、元の表示倍率に戻すためにS412に進む。半球倍率になっていなかった場合は、S411に進み、半球倍率での表示に切り替える。すなわち、半球全体表示ボタン609に対するタッチ操作がある度に、半球全体表示(半球倍率表示)のオンとオフを切り替える。
In S409, the
S411では、CPU201は、半球全体表示となる前の現在の表示倍率をメモリ202に記録してから、半球全体表示を行う。半球全体表示は、ポインタ603が現在示している位置を中心として切出した場合の切出範囲の全体がディスプレイ205における表示範囲内となる倍率での表示である。本実施形態では180度の範囲を切出範囲とするため半球の範囲が含まれる表示倍率を半球倍率とするが、切出範囲が180度でない場合には半球の範囲に限るものではなく、切出範囲の全体が表示範囲に収まる倍率で表示される。
In S411, the
図7(a)に、切出編集画面における半球全体表示の表示例を示す。図6(b)のようなVRビューでの通常の表示倍率(VRビューでの表示を開始して最初に表示される初期倍率)から、半球全体表示の指示を行うと、図7(a)の表示倍率(初期倍率よりも低い倍率)にワンタッチで(他の倍率で止まることなく)切り替わる。図7(a)におけるVR画像602は、図6(b)で表示していたVR画像602と同じ画像を、半球全体表示での倍率で表示したものである。本来は球体にマッピングされる180度以上の広い範囲を、平面の表示範囲に収めているため、魚眼レンズで撮影したような周辺が歪んだVR画像602が表示される。VR画像602には、斜線部702が重畳して表示される。斜線部702は、表示されたVR画像602のうち、切出範囲の外(ポインタ603が示す位置から180度の範囲外)となる範囲を示しており、切出し後の画像では削除される範囲(除外範囲)を示している。ユーザーは、VR画像602のうち、中心部分の斜線の無い部分701を見て切出範囲に含まれる部分を確認するとともに、斜線部702を見て除外範囲を確認することができる。従って、どこまでの範囲が切出範囲に含まれ、どこからが切出範囲に含まれないのかを確認しながら切出範囲を指定することができる。これによって、主要被写体である川を切出範囲内に収めながらも、通行する車と人物が除外範囲となるように切出範囲を設定する、といった操作が容易に行える。 FIG. 7(a) shows a display example of the whole hemisphere display on the cutout editing screen. From the normal display magnification in the VR view as shown in FIG. display magnification (lower magnification than the initial magnification) with one touch (without stopping at another magnification). A VR image 602 in FIG. 7A is the same image as the VR image 602 displayed in FIG. Since a wide range of 180 degrees or more, which is originally mapped on a sphere, is contained in a plane display range, a VR image 602 with its periphery distorted as if photographed with a fisheye lens is displayed. A shaded area 702 is superimposed on the VR image 602 and displayed. A shaded area 702 indicates a range outside the clipping range (outside the range of 180 degrees from the position indicated by the pointer 603) in the displayed VR image 602, and the range to be deleted in the clipped image ( exclusion range). The user can see the non-slanted central portion 701 of the VR image 602 to confirm the portion included in the extraction range, and can also see the shaded portion 702 to confirm the exclusion range. Therefore, it is possible to specify the extraction range while confirming to what extent the range is included in the extraction range and from where it is not included in the extraction range. This makes it easy to set the cropping range so that the river, which is the main subject, is within the cropping range while the passing cars and people are excluded.
なお、斜線部702は除外範囲であることが分かればよいので、表示形態は斜線に限るものではく、半透過マスク、網掛け、モノクロ表示などの他の表示形態で除外範囲を示してもよい。また、除外範囲を示さなくとも、切出範囲と除外範囲の境界だけを円形の線などで示す表示としてもよい。更に、除外範囲は表示せずに、切出範囲内の全体が表示範囲内となるように表示してもよい。半球全体表示中も、図4の処理で説明する各種操作に応じた処理が可能である。すなわち、姿勢変化やタッチムーブによる表示範囲の変更を行って所望の範囲が切出範囲となるように調整することができる。また、S425~S431で後述する切出ボタン604へのタッチ操作に応じた処理によって、切出範囲を決定することが可能である。除外範囲を示す斜線部702は、半球全体表示ボタン609に対するタッチ操作に応じた半球全体表示の場合に表示し、ピンチインで通常倍率から表示倍率を下げた場合には表示しないようにしてもよい。また、除外範囲を示す斜線部702を、半球全体表示ボタン609に対するタッチ操作に応じた半球全体表示の場合に表示し、ピンチインで通常倍率から表示倍率を下げた場合にも表示するようにしてもよい。 Note that the shaded area 702 only needs to be known to be the exclusion range, so the display form is not limited to the diagonal lines, and the exclusion range may be indicated by other display forms such as a translucent mask, hatching, and monochrome display. . Further, even if the exclusion range is not indicated, only the boundary between the extraction range and the exclusion range may be displayed by a circular line or the like. Furthermore, the exclusion range may not be displayed, and the entire cutout range may be displayed within the display range. Even while the entire hemisphere is being displayed, processing according to various operations described in the processing of FIG. 4 is possible. That is, it is possible to change the display range by posture change or touch move so that the desired range can be adjusted to be the extraction range. In addition, it is possible to determine the cutout range by processing corresponding to a touch operation on the cutout button 604 described later in S425 to S431. The shaded area 702 indicating the exclusion range may be displayed when the whole hemisphere is displayed in response to the touch operation on the whole hemisphere display button 609, and may not be displayed when the display magnification is reduced from the normal magnification by pinch-in. Also, the shaded area 702 indicating the exclusion range may be displayed when the whole hemisphere is displayed in response to the touch operation on the whole hemisphere display button 609, and may also be displayed when the display magnification is reduced from the normal magnification by pinching in. good.
S412では、CPU201は、半球全体表示を行っていた状態から、メモリ202に保持していた切り替え前の元の表示倍率を参照し、元の表示倍率での表示状態に戻す。すなわち、例えば図7(a)の表示状態から、図6(b)の表示状態に切り替わる。これによって、周辺部が歪んで小さく表示されていた状態から、歪みの無い、あるいは歪の少ない、切出範囲に含まれる中央部分を大きく表示した表示状態に切り替えられる。
In S412, the
S413では、CPU201は、タッチパネル206aから通知された情報に基づいて、2画面確認ボタン610に対するタッチ操作があったか否かを判定する。2画面確認ボタン610を指定するタッチ操作があった場合にはS414に進み、そうでない場合にはS415へ進む。S414では、CPU201は、2画面表示処理を行う。2画面表示処理については、図8、図9を用いて後述する。
In S413, the
S415では、CPU201は、タッチパネル206aから通知された情報に基づいて、端微調整ボタン611に対するタッチ操作(表示範囲の微調整を開始するための微調整指示)があったか否かを判定する。端微調整ボタン611を指定するタッチ操作があった場合にはS416に進み、そうでない場合にはS417へ進む。S416では、CPU201は、端微調整処理を行う。端微調整処理については、図10、図11を用いて後述する。
In S415, the
S417では、CPU201は、タッチパネル206aから通知された情報に基づいて、不要箇所指定ボタン612に対するタッチ操作があったか否かを判定する。不要箇所指定ボタン612を指定するタッチ操作があった場合にはS418に進み、そうでない場合にはS419へ進む。S418では、CPU201は、不要箇所指定処理を行う。不要箇所指定処理については、図12~図14を用いて後述する。
In S417, the
S419では、CPU201は、タッチパネル206aから通知された情報に基づいて、仰俯角有効/無効ボタン613に対するタッチ操作(仰俯角有効/無効を切り替えるための切り替え指示)があったか否かを判定する。仰俯角有効/無効ボタン613を指定するタッチ操作があった場合にはS420に進み、そうでない場合にはS423へ進む。S420では、CPU201は、メモリ202に保持された設定情報を参照し、仰俯角有効/無効ボタン613に対するタッチ操作を受け付ける前の現在の設定が、仰俯角有効であるか否かを判定する。仰俯角有効であると判定するとS421に進み、無効である場合にはS422に進む。S421では、CPU201は、仰俯角有効/無効の設定を有効から無効に変更して設定し、設定状態をメモリ202に記録する。S422では、CPU201は、仰俯角有効/無効の設定を無効から有効に変更して設定し、設定状態をメモリ202に記録する。仰俯角有効/無効の設定を変更すると、変更後の設定状態を示すように、仰俯角有効/無効ボタン613の表示形態も更新する。なお、S421で仰俯角有効/無効の設定を無効に設定した場合、S403、S406においてVR画像602の表示範囲を変更できる方向を方位角方向だけに制限し、仰俯角方向には表示範囲を変更できないようにしてもよい。すなわち、タッチムーブあるいは姿勢変化に応じて左右のスクロール(方位角方向への表示範囲の変更)はするが、上下のスクロール(仰俯角方向への表示範囲の変更)はしないように制限しても良い。
In S419, the
S423では、CPU201は、タッチパネル206aから通知された情報に基づいて、姿勢検知ON/OFFボタン614に対するタッチ操作があったか否かを判定する。姿勢検知ON/OFFボタン614を指定するタッチ操作があった場合にはS424に進み、そうでない場合にはS425に進む。S424では、CPU201は、姿勢検知に応じた表示範囲の変更機能の設定状態を変更する。変更前が有効(オン)であった場合は無効(オフ)に変更し、変更後の設定を示す設定情報をメモリ202に記録する。変更前が無効(オフ)であった場合には有効(オン)に変更し、変更後の設定を示す設定情報をメモリ202に記録する。姿勢検知に応じた表示範囲の変更機能の設定状態を変更すると、変更後の設定状態を示すように、姿勢検知ON/OFFボタン614の表示形態も更新する。
In S423, the
S425では、CPU201は、タッチパネル206aから通知された情報に基づいて、切出ボタン604に対するタッチ操作(切出し指示、基準位置の指定操作)があったか否かを判定する。切出ボタン604を指定するタッチ操作があった場合(切出し指示を受付した場合)にはS426に進み、そうでない場合にはS432に進む。
In S425, the
S426では、CPU201は、後述する不要箇所指定処理によって不要箇所が登録されているか否かを判定する。不要箇所が登録されている場合にはS428に進み、不要箇所が登録されていない場合にはS427に進む。S427では、CPU201は、切出プレビュー処理を行う。切出プレビュー処理については、図5を用いて後述する。なお、S426の処理を行わずに、S425で切出ボタン604に対するタッチ操作があったと判定するとS427に進むようにしてもよい。さらに、S426の処理、S427の処理を行わずに、S425で切出ボタン604に対するタッチ操作があったと判定すると、後述する図5のS535に進んで切出し済みVR画像保存の処理を行うようにしてもよい。S428~S431の処理は、不要箇所が登録されている場合の処理であり、後述する図12のS1215~S1218と同様の処理であるため、詳細は省略する。
In S426, the
S432では、CPU201は、切出編集処理を終了して図3のVRビュー表示の処理に戻る操作が行われたか否かを判定する。戻る操作が行われていない場合にはS402に戻って処理を繰り返し、戻る操作が行われた場合には図4の処理を終了して元のVRビュー表示を行い、図3のS313へ進む。
In S<b>432 , the
図5に、図4のS427で前述した切出プレビュー処理のフローチャートを示す。この処理は、不揮発性メモリ203に記録されたプログラムをメモリ202に展開してCPU201が実行することにより実現する。図5の切出プレビュー処理は、図4の切出編集処理でユーザーに指定された切出範囲で確定してよいかどうかを確認するための処理である。
FIG. 5 shows a flowchart of the extraction preview process described in S427 of FIG. This processing is realized by expanding the program recorded in the
S501では、CPU201は、メモリ202に保持された設定情報を参照し、現在の設定が、仰俯角有効であるか否かを判定する。なお、ここで参照するのは、仰俯角有効/無効ボタン613に対するタッチ操作で設定変更可能な設定項目である。仰俯角有効であると判定するとS502に進み、無効である場合にはS503に進む。
In S501, the
S502では、CPU201は、現在の表示範囲(図4で説明した処理の切出編集画面、または後述のプレビュー画面で切出ボタン604がタッチされる直前の表示範囲)の方位角及び仰俯角に基づいて切出範囲を決定し、切出し処理を行う。より具体的には、360度のVR画像から、表示範囲の中央(ポインタ603が表示された位置)を中心とした180度の範囲(中心から全方向にそれぞれ90度の範囲)を切出して、180度のVR画像(編集済VRコンテンツ)を生成する。この処理については図16(a)、図16(c)を用いて後述する。
In S502, the
S503では、CPU201は、現在の表示範囲(図4で説明した処理の切出編集画面、または後述のプレビュー画面で切出ボタン604がタッチされる直前の表示範囲)の方位角及び水平方向(仰俯角0度)に基づいて切出範囲を決定し、切出し処理を行う。この際、切出し前の表示範囲の仰俯角には関わらず、水平な方向(天頂軸と垂直な方向)に基づいて切出範囲が決定される。より具体的には、360度のVR画像から、水平方向のうち表示範囲の中央(ポインタ603が表示された位置)に対応する方位角で決まる1点を中心とした180度の範囲を切出して、180度のVR画像(編集済VRコンテンツ)を生成する。この処理については図16(a)、図16(b)を用いて後述する。
In S503, the
S504では、CPU201は、S502またはS503での切出し結果を確認できる、プレビュー画面をディスプレイ205に表示する。図6(e)、図6(f)、図6(g)に、プレビュー画面の表示例を示す。
In S504, the
図6(e)は、図6(b)の状態(VR画像602のうち表示範囲が図6(b)の範囲となっている状態)で切出ボタン604がタッチされ、切出プレビュー処理に遷移した場合のプレビュー画面の表示例である。画面右下部の円形の表示方向ガイドには、扇型の表示範囲605、非表示範囲606に加えて、切出範囲外(除外領域)の範囲を示す除外範囲622(図6(e)の黒塗り部)が表示される。これによってユーザーは、VR画像602の360度の全方位のうち、除外範囲622に対応する範囲には画像が無い状態となったことを識別することができる。また、ポインタ603の表示形態を変更し、ポインタ621として表示する。プレビュー画面では、ポインタ621は、指定済みの切出範囲の中央を示すインジケーターとして表示される。従って、ポインタ621は、ディスプレイ205の中央に固定されず、VR画像602の切出範囲(有効映像範囲)の中央を示す位置に表示される。このため、表示範囲の変更に伴い、VR画像602の切出範囲(有効映像範囲)の中央の表示位置の移動に連動して、ポインタ621の表示位置も移動する。その他の図6(b)と同じ符号の表示アイテムは、切出編集画面と同様の表示アイテムである。2画面確認ボタン610、不要箇所指定ボタン612はプレビュー画面では非表示となる。切出編集画面では表示されておらず、プレビュー画面で表示される表示アイテムとして、再生開始方向指定ボタン623、保存ボタン624、キャンセルボタン625が表示される。再生開始方向指定ボタン623は、切出し後のVR画像を次回最初に表示する際に表示範囲となる箇所を指定するための指示アイコンである。再生開始方向指定ボタン623に対するタッチ操作(再生開始方向を指定するための方向指定指示)があった時点での表示範囲の中央が、切出し後のVR画像を次回最初に表示する際の表示範囲の中央、即ち切出し後のVR画像における前述の表示開始方向となる。保存ボタン624は、切出範囲を確定して切出し後のVR画像の画像ファイルを記録する指示を行うための指示アイコンである。キャンセルボタン625は、現在の切出範囲でのVR画像の保存をせずに切出編集画面に戻るための指示アイコンである。
FIG. 6(e) shows that the clipping button 604 is touched in the state of FIG. 6(b) (the display range of the VR image 602 is the range of FIG. 6(b)), and the clipping preview process is started. It is a display example of the preview screen when the transition is made. In addition to the fan-shaped display range 605 and non-display range 606, the circular display direction guide in the lower right part of the screen includes an exclusion range 622 (black painted part) is displayed. This allows the user to recognize that there is no image in the range corresponding to the exclusion range 622 in all 360 degrees of the VR image 602 . Also, the display form of the pointer 603 is changed and displayed as a pointer 621 . On the preview screen, the pointer 621 is displayed as an indicator that indicates the center of the designated extraction range. Therefore, the pointer 621 is not fixed at the center of the
S505、S506では、CPU201は、VR画像602が表示された領域に対するタッチムーブに応じて表示範囲を変更する。処理の詳細は前述の図3のS305、S306と同様である。なお、前述の通り、表示範囲が変わるとポインタ621のディスプレイ205における表示位置も変わる。VR画像の表示範囲が変わっても、VR画像に対するポインタ621の相対的な位置関係は変わらない。
In S505 and S506, the
図6(f)に、図6(e)の状態から左にタッチムーブして表示範囲を変更した場合の表示例を示す。VR画像602の表示範囲が変わっており、それに追従して、角度情報608と、表示方向ガイドのうち表示範囲605と非表示範囲606が示す範囲も変更されている。表示方向ガイドのうち、表示範囲に含まれている除外範囲の部分をパターン626で識別可能に表示している。VR画像602は、図6(e)に比べて左側に移動するようにスクロールされており、図6(e)の状態と比べてVR画像のうち右側の領域が新たに表示範囲となっている。すなわち、表示範囲は右側に移動している。図6(f)の例では角度情報608と表示方向ガイドからわかるように、図6(e)の表示範囲と比べて、右にほぼ90度を向いた方向に表示範囲が変更されている。ポインタ621が示していた位置を中心とした180度の範囲で切出しが行われているため、除外範囲630が表示範囲内に見え始める。除外範囲630は、有効な映像が存在しない範囲であることが識別できればよく、例えば単色での表示や、所定のパターン、グラデーションでの表示形態となる。図6(c)においてユーザーが切出し後の画像から除外したいと考える例として説明した、ナンバープレートが見える向きで通行する車は、図6(f)では除外範囲630として除外されており、切出し後のVR画像には含まれていないことが確認できる。 FIG. 6(f) shows a display example when the display range is changed by touch-moving to the left from the state of FIG. 6(e). The display range of the VR image 602 is changed, and accordingly, the angle information 608 and the range indicated by the display range 605 and non-display range 606 of the display direction guide are also changed. Of the display direction guide, the portion of the exclusion range included in the display range is displayed in a pattern 626 so as to be identifiable. The VR image 602 is scrolled to the left compared to FIG. 6(e), and the area on the right side of the VR image has become the new display range compared to the state of FIG. 6(e). . That is, the display range has moved to the right. As can be seen from the angle information 608 and the display direction guide in the example of FIG. 6(f), the display range has been changed to the right by approximately 90 degrees compared to the display range of FIG. 6(e). Since the cutout is performed in the range of 180 degrees around the position indicated by the pointer 621, the exclusion range 630 begins to appear within the display range. The excluded range 630 may be identified as a range in which no valid image exists, and may be displayed in a single color, a predetermined pattern, or a gradation, for example. In FIG. 6(c), the car passing with the license plate visible, which was described as an example that the user wants to exclude from the image after clipping, is excluded as an exclusion range 630 in FIG. 6(f). It can be confirmed that it is not included in the VR image of.
図6(g)に、図6(f)の状態から更に左にタッチムーブして表示範囲を変更した場合の表示例を示す。VR画像602の表示範囲が変わっており、それに追従して、角度情報608と、表示方向ガイドが示す範囲も変更されている。図6(g)の例では角度情報608と表示方向ガイドからわかるように、図6(e)の表示範囲と比べて、ほぼ真後ろ(右側に180度)を向いた方向に表示範囲が変更されている。表示範囲内にVR画像602は含まれておらず、除外範囲630が表示範囲の全体を占めている。図6(d)においてユーザーが切出し後の画像から除外したいと考える例として説明した撮影者自身は、図6(g)では除外範囲630として除外されており、切出し後のVR画像には含まれていないことが確認できる。 FIG. 6(g) shows a display example when the display range is changed by further touch-moving from the state of FIG. 6(f) to the left. The display range of the VR image 602 has changed, and accordingly, the angle information 608 and the range indicated by the display direction guide have also changed. As can be seen from the angle information 608 and display direction guide in the example of FIG. ing. The VR image 602 is not included within the display range, and the exclusion range 630 occupies the entire display range. In FIG. 6(d), the photographer himself explained as an example that the user wants to exclude from the clipped image is excluded as an exclusion range 630 in FIG. 6(g), and is not included in the clipped VR image. It can be confirmed that the
S507~S515の処理は、姿勢変化に応じた表示範囲の変更処理、ピンチ操作に応じた表示倍率の変更処理、半球全体指示に応じた半球倍率での表示処理であり、前述した図4のS404~S412と同様の処理であるため説明を省略する。なお、S514での半球全体表示では、S411での半球全体表示とは異なり、除外範囲(図7(a)において斜線部702で示していた部分)は表示されない。図7(b)に、プレビュー画面における半球全体表示の表示例を示す。除外範囲を除く切出し後のVR画像の有効な映像範囲のみを表示するため、図7(a)において斜線部702で示していた部分は表示されない。すなわち、切出し前のVR画像のうち切出し後の有効な映像範囲の外は非表示となる。この表示によってユーザーは、切出し後のVR画像の中央部分にどのような被写体が位置するのか、及び、切出範囲内にどの被写体までが含まれるのかを1画面内で確認することができる。図7(a)の表示状態で、切出ボタン604に対するタッチ操作があると、図7(b)の表示状態に遷移する。図6(e)~図6(g)の表示状態で、半球全体表示ボタン609に対するタッチ操作があった場合も、図7(b)の表示状態に遷移する。 The processing of S507 to S515 is processing for changing the display range according to the posture change, processing for changing the display magnification according to the pinch operation, and display processing at the hemisphere magnification according to the entire hemisphere instruction. Since the processing is the same as that of S412, description thereof will be omitted. Note that in the hemisphere whole display in S514, unlike the hemisphere whole display in S411, the exclusion range (the hatched portion 702 in FIG. 7A) is not displayed. FIG. 7B shows a display example of the whole hemisphere display on the preview screen. Since only the effective video range of the cut-out VR image excluding the excluded range is displayed, the shaded portion 702 in FIG. 7A is not displayed. That is, the VR image before clipping is not displayed outside the effective image range after clipping. With this display, the user can confirm what kind of subject is located in the central part of the VR image after clipping, and what subject is included in the clipping range within one screen. When the extraction button 604 is touched in the display state shown in FIG. 7A, the display state is changed to that shown in FIG. 7B. In the display states of FIGS. 6(e) to 6(g), when there is a touch operation on the whole hemisphere display button 609, the display state transitions to the display state of FIG. 7(b).
S516、S517の処理は、端微調整ボタン611に対するタッチ操作に応じた処理であり、前述のS415、S416と同様の処理であるため説明を省略する。 The processes of S516 and S517 are processes in response to the touch operation on the edge fine adjustment button 611, and are the same as the above-described processes of S415 and S416, so description thereof will be omitted.
S518~S521は、仰俯角有効/無効ボタン613に対するタッチ操作に応じた処理であり、前述のS419~S422と同様の処理であるため説明を省略する。なお、S520で仰俯角有効から無効に切り替えると、S503に進んで切出範囲を変更する。なお、S520からS503に進んだ場合には、その時点での表示範囲に基づいて切出範囲を設定するのではなく、S520の時点での切出範囲を決める要因となった切出ボタン604の操作があった際の表示範囲に基づいて行われる。すなわち、S520の時点での切出範囲の中央の方位はそのままで、切出範囲の中央の仰俯角が水平方向となるように、360度のVR画像(全球の範囲)から180度の範囲(半球の範囲)の切出しが行われる。また、S521で仰俯角無効から有効に切り替えると、S502に進んで切出範囲を変更する。なお、S521からS502に進んだ場合には、その時点での表示範囲に基づいて切出範囲を設定するのではなく、S521の時点での切出範囲を決める要因となった切出ボタン604の操作があった際の表示範囲に基づいて行われる。即ち、S521の時点での切出範囲の中央の方位はそのままで、切出範囲の中央の仰俯角が、S521の時点での切出範囲の決定要因となった切出ボタン604の操作時の表示範囲の仰俯角となるよう、360度のVR画像から180度のVR画像が切出される。 S518 to S521 are processes in response to a touch operation on the elevation/depression angle enable/disable button 613, and are the same as the above-described processes of S419 to S422, so description thereof will be omitted. Note that if the elevation/depression angle is switched from valid to invalid in S520, the process proceeds to S503 to change the extraction range. Note that when proceeding from S520 to S503, the extraction range is not set based on the display range at that time, but the extraction button 604 that was the factor in determining the extraction range at S520 is set. It is performed based on the display range when there is an operation. That is, the azimuth of the center of the cutout range at the time of S520 remains the same, and the elevation/depression angle at the center of the cutout range becomes horizontal, so that the 360-degree VR image (global range) to the 180-degree range ( Hemispheric range) segmentation is performed. Also, if the elevation/depression angle is switched from invalid to valid in S521, the process advances to S502 to change the extraction range. Note that when proceeding from S521 to S502, the extraction range is not set based on the display range at that time, but the extraction button 604 that was the factor in determining the extraction range at the time of S521 is displayed. It is performed based on the display range when there is an operation. That is, the azimuth at the center of the cutout range at the time of S521 remains unchanged, and the elevation/depression angle at the center of the cutout range is the determining factor of the cutout range at the time of S521. A VR image of 180 degrees is cut out from a VR image of 360 degrees so that the elevation/depression angle is within the display range.
S522、S523の処理は、姿勢検知ON/OFFボタン614に対するタッチ操作に応じた処理であり、前述のS423、S424と同様の処理であるため説明を省略する。 The processes of S522 and S523 are processes in response to a touch operation on the posture detection ON/OFF button 614, and are the same as the above-described processes of S423 and S424, so description thereof will be omitted.
S524では、CPU201は、タッチパネル206aから通知された情報に基づいて、再生開始方向指定ボタン623へのタッチ操作が行われたか否かを判定する。再生開始方向指定ボタン623へのタッチ操作が行われた場合はS525へ進み、そうでない場合にはS526に進む。S525では、CPU201は、切出し後のVR画像の表示開始方向を現在の表示範囲の中心に決定し、VR画像のうち現在の表示範囲の中心を示す位置情報をメモリ202に記録する。この位置情報は、後述するS535において、切出し済みVR画像の画像ファイルの属性情報に、表示開始方向を示す情報として記録される。
In S524, the
S526では、CPU201は、タッチパネル206aから通知された情報に基づいて、切出ボタン604に対するタッチ操作があったか否かを判定する。切出ボタン604を指定するタッチ操作があった場合にはS527に進み、そうでない場合にはS532に進む。
In S526, the
S527では、CPU201は、後述する不要箇所指定処理によって不要箇所が登録されているか否かを判定する。不要箇所が登録されている場合にはS528に進み、不要箇所が登録されていない場合にはS501に進む。続いてS501からS502またはS503に進み、S526で切出ボタン604に対するタッチ操作があったと判定した時点の表示範囲に基づいて切出範囲を変更する。このように本実施形態では、プレビュー画面において切出範囲を変更したくなった場合は、切出ボタン604に対するタッチ操作を行うことで、その時点の表示範囲、より具体的にはその時点の表示範囲の中央の位置に基づいて切出範囲を修正することができる。S502またはS503で改めて切出しを行うと、修正された切出範囲を示すように、S504でプレビュー画面が更新される。なお、プレビュー画面では切出範囲の修正はできないようにしてもよい。この場合、プレビュー画面には切出ボタン604は非表示とするかグレーアウトなどの操作不能を示す表示形態で表示し、S526の判定は行わないようにする。そうであっても、ユーザーは、プレビュー画面を見て切出範囲の変更を行いたくなった場合に、キャンセルボタン625に対するタッチ操作を行い、切出編集画面に戻ってから切出範囲を再指定することで切出範囲を変更できる。S528~S531の処理は、不要箇所が登録されている場合の処理であり、後述する図12のS1215~S1218と同様の処理であるため、詳細は省略する。
In S527, the
S532では、CPU201は、タッチパネル206aから通知された情報に基づいて、キャンセルボタン625に対するタッチ操作があったか否かを判定する。キャンセルボタン625に対するタッチ操作があった場合はS533に進み、図4で前述した切出編集処理(切出編集画面)へ戻る。キャンセルボタン625に対するタッチ操作が無かった場合にはS534へ進む。
In S532, the
S534では、CPU201は、タッチパネル206aから通知された情報に基づいて、保存ボタン624へのタッチ操作が行われたか否かを判定する。保存ボタン624へのタッチ操作が行われた場合はS535へ進み、そうでない場合にはS505に進んで処理を繰り返す。
In S534, the
S535では、CPU201は、プレビュー画面で確認した切出範囲で切出し済みのVR画像から、VRビューでの表示が可能な画像ファイルを生成して記録媒体208に記録する。ここでは、切出し前の360度のVR画像からS502またはS503で切出しの処理が施され、メモリ202または記録媒体208に保持されていた画像を画像ファイルとして記録するものとする。ただし、S535の時点で切出し前の360度のVR画像から画像処理部204を制御して改めて180度のVR画像を切出して記録するようにしてもよい。また、切出し済みのVR画像の画像ファイルは、新規保存ファイルとして記録するものとする。ただし、切出し前の360度のVR画像の画像ファイルに上書き保存するものとしてもよい。切出し済みのVR画像の画像ファイルは、VR180の規格に準拠したフォーマットで記録する。切出し済みのVR画像の画像ファイルを記録すると図5の処理を終了し、図3のS301に戻り、切出し元の360度のVR画像のVRビュー表示を行う。なお、図5の処理の終了後に、新規に保存された切出し済みの180度のVR画像のVRビュー表示を行うようにしてもよい。
In S<b>535 , the
S535で記録する切出し済みのVR画像(VRビューでの表示が可能な画像ファイル)について説明する。切出し済みのVR画像が静止画であれば、切出範囲内の画像を正距円筒図法で矩形内に変形して収めた画像がマルチピクチャーフォーマットで1ファイル内に複数枚格納されたファイルを生成して記録する。切出し前の360度のVR画像(元画像)を、VRビューではなく通常の平面画像として表示した場合には、図18(a)のような長方形内に正距円筒図法で描画された画像となる。この元画像から前述の処理によって180度の範囲が切出されると、VRビューではなく通常の平面画像として表示した場合に図18(b)に示すようにほぼ正方形内に正距円筒図法で描画された画像が記録される。この際、切出範囲内の画像をコピーした同一の画像を、視差が無いにせよ、右目用画像、左目用画像としてそれぞれ同一ファイル内に記録する。なお、疑似的に視差を有するように(すなわち左目用画像と右目用画像の範囲がやや異なるように)、切出し前の1つの360度のVR画像から2つの180度の範囲を切出して生成してもよい。この場合も、切出範囲は切出ボタン604がタッチ操作された際の表示範囲に基づいて決定される。切出し済みの静止画のVR画像のファイル名は例えば“123456.vr.jpg”となり、拡張子“.jpg”の手前に3文字の文字列“.vr”が記述される。このように静止画ファイルとして保存された画像をVRビューで再生表示すると、図18(b)の画像が半球にマッピングされて表示される。切出し済みの静止画のVR画像ファイルを、2眼VRビューで再生して表示した例(VRゴーグルに装着していない状態のディスプレイ205における表示例)を図18(d)に示す。
The clipped VR image (image file that can be displayed in the VR view) recorded in S535 will be described. If the clipped VR image is a still image, the image within the clipped range is deformed into a rectangle using the equirectangular projection method, and multiple images are stored in one file in a multi-picture format. to record. When the 360-degree VR image (original image) before cropping is displayed as a normal planar image instead of a VR view, it is an image drawn in an equirectangular projection within a rectangle as shown in FIG. 18(a). Become. When a 180-degree range is cut out from this original image by the above-described processing, when displayed as a normal planar image instead of a VR view, it is drawn in an equirectangular projection within a substantially square as shown in FIG. 18(b). The captured image is recorded. At this time, the same image obtained by copying the image within the clipping range is recorded in the same file as the image for the right eye and the image for the left eye, respectively, even if there is no parallax. Two 180-degree ranges are extracted from one 360-degree VR image before extraction so as to have a pseudo parallax (that is, the ranges of the image for the left eye and the image for the right eye are slightly different). may Also in this case, the extraction range is determined based on the display range when the extraction button 604 is touch-operated. The file name of the extracted still image VR image is, for example, "123456.vr.jpg", and the three-letter string ".vr" is written before the extension ".jpg". When an image saved as a still image file is reproduced and displayed in a VR view, the image in FIG. 18(b) is mapped to a hemisphere and displayed. FIG. 18D shows an example of reproducing and displaying a clipped still image VR image file in a twin-lens VR view (an example of display on the
切出し済みのVR画像が動画であれば、切出範囲内の画像を正距円筒図法ではなく円または楕円内にマッピングした映像(動画)が1つの動画の映像内の左右に(サイドバイサイドで)並べられた動画ファイルを生成して記録する。この際、切出範囲内の画像をコピーした同一の画像を、視差が無いにせよ、右目用画像、左目用画像としてそれぞれ左右に並べて記録する。このような動画をVRビューではなく通常の平面画像として表示すると図18(c)のように表示される。なお、疑似的に視差を有するように(すなわち左目用画像と右目用画像の範囲がやや異なるように)、切出し前の1つの360度のVR画像から2つの180度の範囲を切出して生成してもよい。この場合も、切出範囲は切出ボタン604がタッチ操作された際の表示範囲に基づいて決定される。切出し済みの動画のVR画像のファイル名は例えば“123456.vr.mp4”となり、拡張子“.mp4”の手前に3文字の文字列“.vr”が記述される。切出し済みの動画のVR画像ファイルを、2眼VRビューで再生して表示した場合のあるフレームの表示例(VRゴーグルに装着していない状態のディスプレイ205における表示例)は図18(d)に示した例と同様である。
If the clipped VR image is a video, the video (video) in which the images within the clipped range are mapped in a circle or ellipse instead of the equirectangular projection is arranged side by side in the video of one video. generate and record a video file At this time, the same image obtained by copying the image within the clipping range is recorded side by side as an image for the right eye and an image for the left eye, respectively, even if there is no parallax. When such a moving image is displayed not as a VR view but as a normal planar image, it is displayed as shown in FIG. 18(c). Two 180-degree ranges are extracted from one 360-degree VR image before extraction so as to have a pseudo parallax (that is, the ranges of the image for the left eye and the image for the right eye are slightly different). may Also in this case, the extraction range is determined based on the display range when the extraction button 604 is touch-operated. The file name of the VR image of the clipped moving image is, for example, "123456.vr.mp4", and the three-character string ".vr" is written before the extension ".mp4". FIG. 18D shows a display example of a frame (display example on the
図8に、前述した図4のS414の2画面表示処理のフローチャートを示す。この処理は、不揮発性メモリ203に記録されたプログラムをメモリ202に展開してCPU201が実行することにより実現する。
FIG. 8 shows a flowchart of the two-screen display process of S414 in FIG. 4 described above. This processing is realized by expanding the program recorded in the
S801では、CPU201は、ディスプレイ205において2画面表示の初期表示を行う。図9(a)に、ディスプレイ205における2画面表示の初期表示の表示例を示す。2画面表示の表示画面は、VR画像602のうち切出範囲903内を表示する上領域901と、同じVR画像602のうち除外範囲904内を示す下領域902に区分される。初期表示では、上領域901の円形の表示領域に、切出範囲の全体が表示範囲内となるように歪曲円形画像が表示される。この表示範囲は、図7(b)で説明した半球全体表示と同様の表示範囲である。さらに、初期表示では、下領域902の円形の表示領域に、除外範囲の全体が表示範囲内となるように歪曲円形画像が表示される。この表示範囲は、切出し後に破棄される半球の範囲に対応する。その他の、前述と同じ符号の表示アイテムは、前述したものと同様である。ユーザーはこのように切出範囲全体と除外範囲全体が同時に表示された画面を見ることで、切出し前の360度のVR画像のうち、切出し後に含まれる切出範囲にどのような被写体が含まれ、除外範囲にどのような被写体が含まれるかを簡単に確認できる。通常の切出編集画面のVRビューにおける、半球全体表示よりも大きい表示倍率では、切出し範囲内の一部しか表示されず、表示範囲は常に切出範囲の中央となるため、切出範囲と除外範囲の境界は表示されない。従って境界を確認することはできない。また、プレビュー画面における、半球全体表示よりも大きい表示倍率では、切出し範囲内の一部しか表示しないため、切出範囲と除外範囲の境界は1部分しか確認することはできない。境界を1部分しか見ずに切出範囲の調整を行った場合、表示している境界において切出し範囲の内部に思った通りの部分を収めたとしても、表示していない境界付近において逆に収めたい被写体が切出範囲からはみ出てしまうといったことが起こり得る。全ての境界付近において思った通りの部分が収まっているか否かを確認するには、表示範囲を複数回または大きく変更する必要がある。一方、図9(a)のような2画面表示では、ユーザーは、表示範囲を変更せずに切出範囲全体と除外範囲全体を確認できる。さらに、ユーザーは、そのような確認を行いながら、タッチムーブによって切出範囲と除外範囲を調整することができる。従って、切出範囲に収めるべき被写体を存在に気づかずに除外範囲に収めてしまったり、切出範囲から除外すべき被写体を存在に気付かずに切出範囲内に収めてしまったりといったミスを防止することができる。なお、下領域902に表示される除外範囲については、切出し後に破棄される部分であることが理解しやすいように、所定色の半透過マスク、モノクロやセピアなどで表示するといった色変換、網掛け等を施してもよい。
In S<b>801 , the
S802では、CPU201は、上領域901または下領域902においてタッチムーブ(映像範囲変更操作)があったか否かを判定する。タッチムーブがあったと判定するとS803に進み、そうでない場合にはS804に進む。S803では、CPU201は、VR画像602のうち切出範囲となる部分と除外範囲となる部分をそれぞれ変更する。具体的には、CPU201は、上領域901と下領域902のうちタッチムーブが行われた片方の領域に表示されるVR画像602の表示範囲を、タッチ位置の移動に追従して変更する。なおこの時、仰俯角有効の設定であれば、タッチムーブの横移動成分及び縦移動成分の双方に追従して表示範囲を変更する。仰俯角無効の設定であれば、タッチムーブの横移動成分に応じて表示範囲を移動するが、縦移動成分に応じては表示範囲を移動せず、ポインタ603が常に仰俯角0度(水平方向)を示し、表示範囲は上下には移動しない。また、他方の領域に表示されるVR画像602の表示範囲を、VR画像602のうち、タッチムーブのあった領域での表示範囲の変更に連動して変更し、タッチムーブのあった領域での表示範囲となっていない反対側の半球部分とする。これらによって、ディスプレイ205上の固定位置(ディスプレイ205の画面上の所定位置)に表示されたポインタ603(上領域の中央位置)のVR画像602に対する相対的な位置が変わる。CPU201は、VR画像602のうちポインタ603に対応する位置を中心とした半球の範囲を、切出範囲に設定する。
In S<b>802 , the
S804では、CPU201は、上領域901でピンチ操作があったか否かを判定する。上領域901でピンチ操作があったと判定した場合にはS805に進み、そうでない場合にはS807に進む。S805では、CPU201は、後述するS809で下領域902における除外範囲の画像をS801の初期表示よりも拡大または縮小していた場合に、除外範囲の画像の表示倍率を、除外範囲の全体が表示される倍率、つまり初期表示の倍率にリセットする。S806では、CPU201は、上領域901で行われたピンチ操作に応じて、上領域901に表示される、VR画像602のうち切出範囲の部分の画像の表示倍率を変更し、当該画像を拡大または縮小して表示する。切出範囲の画像を拡大して表示すれば、ユーザーは、切出範囲に含まれている被写体の詳細を確認することができる。
In S<b>804 , the
S807では、CPU201は、下領域902でピンチ操作があったか否かを判定する。下領域902でピンチ操作があったと判定した場合にはS808に進み、そうでない場合にはS810に進む。S808では、CPU201は、前述したS806で上領域901における切出範囲の画像をS801の初期表示よりも拡大または縮小していた場合に、切出範囲の画像の表示倍率を、切出範囲の全体が表示される倍率、つまり初期表示の倍率にリセットする。S809では、CPU201は、下領域902で行われたピンチ操作に応じて、下領域902に表示される、VR画像602のうち除外範囲の部分の画像の表示倍率を変更し、当該画像を拡大または縮小して表示する。除外範囲の画像を拡大して表示すれば、ユーザーは、除外範囲に含まれている被写体の詳細を確認することができる。
In S<b>807 , the
図9(b)に、下領域902でピンチアウトを行ったことに応じて下領域902に表示される画像を拡大した場合の表示例を示す。下領域902に表示される範囲は、除外範囲の全体ではなく一部となってしまうが、図9(a)の初期表示より拡大しているため、被写体の様子を確認しやすい。この状態から上領域901でピンチ操作が行われると、S805の処理によって表示倍率がリセットされ、下領域902における表示倍率は図9(a)に示した初期表示の表示倍率に戻る。このようにして、切出範囲と除外範囲のどちらかは必ず全体が収まる表示倍率で表示することで、必ずどちらかの歪曲円形画像で、切出範囲と除外範囲の境界部分が確認できるようにする。 FIG. 9B shows a display example when the image displayed in the lower area 902 is enlarged in response to pinching out in the lower area 902 . The range displayed in the lower area 902 is not the entire exclusion range but a part of it, but since it is enlarged from the initial display in FIG. 9A, it is easy to check the state of the subject. When a pinch operation is performed in the upper area 901 from this state, the display magnification is reset by the process of S805, and the display magnification in the lower area 902 returns to the display magnification of the initial display shown in FIG. 9A. In this way, either the cutout range or the excluded range is always displayed at a display magnification that fits the entire area, so that the boundary between the cutout range and the excluded range can always be confirmed in one of the distorted circular images. do.
なお、S804~S809の、2画面表示処理におけるピンチ操作に応じた倍率の変更では、表示倍率だけが変更され、切出範囲の変更は行われない。すなわち、VR画像602に対するポインタ603の相対的な位置は変わらない。 It should be noted that in the change of the magnification in accordance with the pinch operation in the two-screen display processing in S804 to S809, only the display magnification is changed, and the clipping range is not changed. That is, the relative position of the pointer 603 with respect to the VR image 602 remains unchanged.
S810では、CPU201は、切出ボタン604に対するタッチ操作があったか否かを判定する。切出ボタン604を指定するタッチ操作があった場合にはS811に進み、CPU201は、前述の図5の切出プレビュー処理を行う。この場合には、切出プレビュー処理での1回目のS502またはS503で、CPU201は、切出ボタン604がタッチされた時点で上領域901に表示された表示範囲の中央(ポインタ603が示す位置)が切出範囲の中央となるように切出しを行う。なお、不要箇所が登録されている場合は、前述の図4のS426~S431と同様の処理を行ってもよい。
In S<b>810 , the
S812では、CPU201は、保存ボタン624に対するタッチ操作があったか否かを判定する。保存ボタン624を指定するタッチ操作があった場合にはS813に進み、そうでない場合にはS814へ進む。S813では、CPU201は、保存ボタン624がタッチされた時点で上領域901に表示された表示範囲の中央(ポインタ603が示す位置)が切出範囲の中央となるように、切出しを行う。より具体的には、CPU201は、360度のVR画像から、上領域901での表示範囲の中央を中心とした180度の範囲(中心から全方向にそれぞれ90度の範囲)を切出す。そして、CPU201は、切出し済みのVR画像をVRビューでの表示が可能な画像ファイルとして記録媒体208に記録する。切出し後の記録処理は、前述したS535と同様の処理である。S813の処理を終えると、2画面表示処理を終了して図3のS301に戻る。
In S<b>812 , the
S814では、CPU201は、キャンセルボタン625に対するタッチ操作があったか否かを判定する。キャンセルボタン625を指定するタッチ操作があった場合には2画面表示処理を終了し、S415に戻って切出編集画面を表示する。この際、2画面表示処理で調整した表示範囲(ポインタ603のVR画像602に対する相対的な位置関係)は、切出編集画面へと引き継がれる。キャンセルボタン625に対するタッチ操作が無い場合にはS802に戻って処理を繰り返す。
In S<b>814 , the
なお、2画面表示処理は、切出編集画面でユーザーが2画面確認ボタン610に対するタッチ操作を行った場合に表示するものとして説明したが、切出範囲の仮設定指示があったことに応じて、切出範囲のプレビュー表示として2画面表示を行ってもよい。例えば、図4のS425で切出ボタン604がタッチ操作されたことに応じて、図5の切出プレビュー処理の代わりに、図8の2画面表示処理を行うようにしてもよい。 Note that the two-screen display processing has been described as being displayed when the user performs a touch operation on the two-screen confirmation button 610 on the cutout edit screen. , two-screen display may be performed as a preview display of the clipping range. For example, in response to the touch operation of the clipping button 604 in S425 of FIG. 4, the two-screen display processing of FIG. 8 may be performed instead of the clipping preview processing of FIG.
図10に、前述した図4のS416と図5のS517の端微調整処理のフローチャートを示す。この処理は、不揮発性メモリ203に記録されたプログラムをメモリ202に展開してCPU201が実行することにより実現する。図10の端微調整処理は、VR画像の切出範囲と除外範囲の境界付近を拡大して表示し、切出範囲をユーザーが微調整するための処理である。
FIG. 10 shows a flow chart of the edge fine adjustment processing of S416 in FIG. 4 and S517 in FIG. This processing is realized by expanding the program recorded in the
S1001では、CPU201は、VRビューからの画像切出し用に端微調整画面の初期表示を行う。
In S1001, the
図11(a)に、端微調整処理へ遷移した直後にディスプレイ205に表示される端微調整画面の表示例を示す。図11(a)は、水平方向表示と垂直方向表示の2種類ある端微調整画面のうち、水平方向表示の例である。メイン領域1101には、切出編集画面またはプレビュー画面で表示されていたものと同じVR画像602の一部である、切出範囲の中央部分が表示される。メイン領域1101では、VR画像602は周辺部が歪まない程度の表示倍率で表示されるため、切出範囲の端部(切出範囲と除外範囲の境界)までは表示されない。ポインタ603はメイン領域1101の固定位置(メイン領域1101の中央)に表示される。ポインタ603がVR画像に対して切出編集画面で表示されていた位置と同じ位置となるように、背景のVR画像の表示位置が決まる。ユーザーはメイン領域1101を見ることで、切出範囲の中心に何が写っているかを確認することができる。メイン領域1101の下側に、左右に並べて、端表示領域である左側領域1102と右側領域1103が表示される。左側領域1102と右側領域1103には、切出範囲のうち、切出範囲と除外範囲の境界を含む部分が表示される。
FIG. 11A shows a display example of the edge fine adjustment screen displayed on the
左側領域1102には、切出範囲のうち一部の境界部分(切出範囲の端を含む一部の範囲)が表示される。初期表示およびリセット直後であれば、ポインタ603が示す垂直位置(ポインタ603が示す仰俯角の位置)における左側の境界部分が表示される。左側領域1102には切出範囲内を示す画像領域1102aと切出範囲外(除外範囲内)を示す除外領域1102bが左右に区分けして互いに隣接して表示され、切出範囲と除外範囲の境界がどうなっているかを確認できるようになっている。左側領域1102における画像領域1102aと除外領域1102bの位置関係は固定であり、後述するタッチムーブがあっても変わらない。 A left area 1102 displays a partial boundary portion (partial range including the edge of the extraction range) of the extraction range. Immediately after initial display and resetting, the left boundary portion at the vertical position indicated by the pointer 603 (position of elevation/depression angle indicated by the pointer 603) is displayed. In the left area 1102, an image area 1102a indicating the inside of the cutout range and an exclusion area 1102b indicating the outside of the cutout range (within the exclusion range) are divided left and right and displayed adjacent to each other. You can check what is going on. The positional relationship between the image area 1102a and the exclusion area 1102b in the left area 1102 is fixed, and does not change even if there is a touch move, which will be described later.
右側領域1103には、切出範囲のうち、左側領域1102に表示される範囲とは180度反対側の一部の境界部分(左側領域1102に表示される範囲とは不連続な境界部分)が表示される。初期表示およびリセット直後であれば、ポインタ603が示す垂直位置(ポインタ603が示す仰俯角の位置)における右側の境界部分が表示される。右側領域1103には切出範囲内を示す画像領域1103aと切出範囲外(除外範囲内)を示す除外領域1103bが左右に区分けして互いに隣接して表示され、切出範囲と除外範囲の境界がどうなっているかを確認できるようになっている。右側領域1103における画像領域1103aと除外領域1103bの位置関係は固定であり、後述するタッチムーブがあっても変わらない。すなわち、ユーザー操作に応じて切出し前のVR画像における切出範囲の位置を変更しても、切出範囲の端に対応するディスプレイ205における位置を変更しない。切出範囲の端に対応するディスプレイ205における位置とは、画像領域1103aと除外領域1103bとの境界位置、及び画像領域1102aと除外領域1102bとの境界位置である。
In the right area 1103, there is a part of the boundary portion on the side 180 degrees opposite to the range displayed in the left area 1102 (a boundary portion that is discontinuous with the range displayed in the left area 1102). Is displayed. Immediately after initial display and resetting, the right boundary portion at the vertical position indicated by the pointer 603 (position of elevation/depression angle indicated by the pointer 603) is displayed. In the right area 1103, an image area 1103a indicating the inside of the cutout range and an exclusion area 1103b indicating the outside of the cutout range (within the exclusion range) are divided left and right and displayed adjacent to each other. You can check what is going on. The positional relationship between the image area 1103a and the exclusion area 1103b in the right side area 1103 is fixed, and does not change even if there is a touch move, which will be described later. That is, even if the position of the cropping range in the VR image before cropping is changed according to the user's operation, the positions on the
ユーザーはこのような表示を見て、例えば、VR画像602のうち車道部分を除外範囲とし、歩道部分を切出範囲内に収めたい場合に、切出範囲内に思った通りの部分が収まっているか否かを簡単に確認して、切出範囲の微調整を好適に行うことができる。通常の切出編集画面のVRビューにおける、半球全体表示よりも大きい表示倍率では、切出し範囲内の一部しか表示されず、表示範囲は常に切出範囲の中央となるため、切出範囲と除外範囲の境界は表示されない。従って境界を確認することはできない。また、プレビュー画面における、半球全体表示よりも大きい表示倍率では、切出し範囲内の一部しか表示しないため、切出範囲と除外範囲の境界は1箇所しか確認することはできない。境界を1箇所しか見ずに切出範囲の調整を行った場合、表示している境界において切出し範囲の内部に思った通りの部分を収めたとしても、他方の境界付近において逆に収めたい被写体が切出範囲からはみ出てしまうといったことが起こり得る。双方の境界付近において思った通りの部分が収まっているか否かを確認するには、表示範囲を複数回または大きく変更する必要がある。一方で、図11(a)のような端微調整画面では、ユーザーは、表示範囲を変更せずに、切出範囲と除外範囲の境界を確認して、切出範囲内に思った通りの部分が収まっているか否か確認できる。さらに、図11(a)のような端微調整画面では、ユーザーは、複数の境界部分(両端の境界部分)を同時に確認でき、切出範囲内に思った通りの部分が収まっているか否かの確認などを短時間や少ない操作回数で行える。 When the user sees such a display, for example, when the roadway portion of the VR image 602 is excluded and the sidewalk portion is to be included in the clipping range, the desired portion is included in the clipping range. It is possible to easily confirm whether or not there is, and preferably perform fine adjustment of the extraction range. In the VR view of the normal cutout editing screen, at a display magnification larger than the whole hemisphere display, only a part of the cutout range is displayed, and the display range is always the center of the cutout range, so the cutout range and exclusion Range boundaries are not displayed. Therefore, the boundary cannot be confirmed. In addition, when the preview screen is displayed at a display magnification higher than that for displaying the whole hemisphere, only a part of the clipping range is displayed, so only one boundary between the clipping range and the exclusion range can be confirmed. If you adjust the cropping range by looking at only one boundary, even if you fit the desired part inside the cropping range on the displayed boundary, the object you want to fit around the other boundary is the opposite. may protrude from the clipping range. It is necessary to change the display range a plurality of times or significantly to check whether or not the desired portions are contained near the boundaries of both sides. On the other hand, on the edge fine adjustment screen as shown in FIG. 11( a ), the user can confirm the boundary between the extraction range and the exclusion range without changing the display range, and find the desired image within the extraction range. You can check if the part fits. Furthermore, on the edge fine-tuning screen as shown in FIG. 11(a), the user can check a plurality of boundary portions (boundary portions at both ends) at the same time, and check whether or not the desired portion is within the cropping range. can be confirmed in a short time or with a small number of operations.
左側領域1102の左上部(除外領域1102bの上部)には、タッチアイコンである水平/垂直切替ボタン1104を表示する。この位置に水平/垂直切替ボタン1104を表示することで、画像領域1102aに表示された切出範囲内の映像の視認性を妨げることがない。また、水平方向表示と垂直方向表示を切り替えた場合にも、水平/垂直切替ボタン1104は、表示位置を変更せずに、切替後の切出範囲内の映像の視認性を妨げない位置に表示する。なお、水平/垂直切替ボタン1104は、右側領域1103の右下部(除外領域1103bの下部)に表示してもよい。この位置でも、水平方向表示と垂直方向表示の双方で切出範囲内の映像の視認性を妨げることなく表示できる。また、右側領域1103の右下部(除外領域1103bの下部)には、タッチアイコンであるリセットボタン1105を表示する。この位置であれば、水平方向表示と垂直方向表示の双方で切出範囲内の映像の視認性を妨げることなくリセットボタン1105を表示できる。なお、リセットボタン1105は、同様の理由で左側領域1102の左上部(除外領域1102bの上部)に表示してもよい。 A horizontal/vertical switching button 1104, which is a touch icon, is displayed in the upper left part of the left area 1102 (above the exclusion area 1102b). Displaying the horizontal/vertical switching button 1104 at this position does not interfere with the visibility of the image within the clipping range displayed in the image area 1102a. Also, even when the horizontal display and the vertical display are switched, the horizontal/vertical switching button 1104 does not change the display position, and is displayed at a position that does not interfere with the visibility of the image within the cutout range after switching. do. Note that the horizontal/vertical switching button 1104 may be displayed in the lower right portion of the right area 1103 (under the exclusion area 1103b). Even at this position, the image within the clipping range can be displayed in both the horizontal direction and the vertical direction without obstructing the visibility. A reset button 1105, which is a touch icon, is displayed in the lower right portion of the right area 1103 (under the exclusion area 1103b). At this position, the reset button 1105 can be displayed without interfering with the visibility of the image within the clipping range in both horizontal display and vertical display. Note that the reset button 1105 may be displayed in the upper left portion of the left area 1102 (above the exclusion area 1102b) for the same reason.
図11(c)に、水平方向表示と垂直方向表示の2種類ある端微調整画面のうち、垂直方向表示の表示例を示す。メイン領域1101の表示内容は水平方向表示と同様である。メイン領域1101の下側に、左右に並べて、端表示領域である左側領域1112と右側領域1113が表示される。左側領域1112と右側領域1113には、切出範囲のうち、切出範囲と除外範囲の境界を含む部分が表示される。 FIG. 11(c) shows a display example of the vertical display of the two types of edge fine adjustment screens, horizontal display and vertical display. The display contents of the main area 1101 are the same as those of the horizontal display. Below the main area 1101, a left area 1112 and a right area 1113, which are end display areas, are displayed side by side. A left region 1112 and a right region 1113 display a portion of the extraction range that includes the boundary between the extraction range and the exclusion range.
左側領域1112には、切出範囲のうち一部の境界部分が表示される。初期表示およびリセット直後であれば、ポインタ603が示す水平位置(ポインタ603が示す方位角の位置)における上側の境界部分が表示される。左側領域1112には切出範囲内を示す画像領域1112aと切出範囲外(除外範囲内)を示す除外領域1112bが上下に区分けして互いに隣接して表示され、切出範囲と除外範囲の境界がどうなっているかを確認できるようになっている。左側領域1112における画像領域1112aと除外領域1112bの位置関係は固定であり、後述するタッチムーブがあっても変わらない。 A left area 1112 displays a part of the boundary portion of the extraction range. Immediately after initial display and resetting, the upper boundary portion at the horizontal position indicated by the pointer 603 (position of the azimuth angle indicated by the pointer 603) is displayed. In the left area 1112, an image area 1112a indicating the inside of the cutout range and an exclusion area 1112b indicating the outside of the cutout range (within the exclusion range) are divided vertically and displayed adjacent to each other. You can check what is going on. The positional relationship between the image area 1112a and the exclusion area 1112b in the left area 1112 is fixed, and does not change even if there is a touch move, which will be described later.
右側領域1113には、切出範囲のうち、左側領域1112に表示される範囲とは180度反対側の一部の境界部分が表示される。初期表示およびリセット直後であれば、ポインタ603が示す水平位置(ポインタ603が示す方位角の位置)における下側の境界部分が表示される。右側領域1113には切出範囲内を示す画像領域1103aと切出範囲外(除外範囲内)を示す除外領域1103bが上下に区分けして互いに隣接して表示され、切出範囲と除外範囲の境界がどうなっているかを確認できるようになっている。右側領域1113における画像領域1113aと除外領域1113bの位置関係は固定であり、後述するタッチムーブがあっても変わらない。 A right area 1113 displays a part of the boundary portion of the cutout range that is 180 degrees opposite to the range displayed in the left area 1112 . Immediately after initial display and resetting, the lower boundary portion at the horizontal position indicated by the pointer 603 (position of the azimuth angle indicated by the pointer 603) is displayed. In the right area 1113, an image area 1103a indicating the inside of the cutout range and an exclusion area 1103b indicating the outside of the cutout range (within the exclusion range) are divided vertically and displayed adjacent to each other. You can check what is going on. The positional relationship between the image area 1113a and the exclusion area 1113b in the right side area 1113 is fixed, and does not change even if there is a touch move, which will be described later.
左側領域1112の左上部(除外領域1112bの上部)には、タッチアイコンである水平/垂直切替ボタン1104を表示する。この表示位置は図11(a)と同じである。この表示位置は、図11(a)の除外領域1102bと図11(c)の除外領域1112bとが重複(オーバーラップ)する領域である。また、右側領域1113の右下部(除外領域1113bの下部)には、リセットボタン1105を表示する。この表示位置は図11(a)と同じである。この表示位置は、図11(a)の除外領域1103bと図11(c)の除外領域1113bとが重複(オーバーラップ)する領域である。 A horizontal/vertical switching button 1104, which is a touch icon, is displayed in the upper left portion of the left area 1112 (above the exclusion area 1112b). This display position is the same as in FIG. 11(a). This display position is an area where the exclusion area 1102b in FIG. 11A and the exclusion area 1112b in FIG. 11C overlap. Also, a reset button 1105 is displayed in the lower right portion of the right area 1113 (below the exclusion area 1113b). This display position is the same as in FIG. 11(a). This display position is an area where the excluded area 1103b in FIG. 11A and the excluded area 1113b in FIG. 11C overlap.
S1002では、CPU201は、タッチパネル206aから通知された情報に基づいて、リセットボタン1105に対するタッチ操作があったか否かを判定する。リセットボタン1105を指定するタッチ操作があった場合はS1001へ進み、後述するS1014またはS1020で変更された表示位置を元の表示位置に戻す。このリセットによって、水平方向表示であれば切出範囲の上下中央部分の左境界、右境界の表示となり、垂直方向表示であれば切出範囲の左右中央の上境界、下境界の表示となる。リセットボタン1105に対するタッチ操作が無い場合にはS1103に進む。
In S1002, the
S1003では、CPU201は、タッチパネル206aから通知された情報に基づいて、水平/垂直切替ボタン1104に対するタッチ操作があったか否かを判定する。水平/垂直切替ボタン1104を指定するタッチ操作があった場合はS1004へ進み、そうでない場合はS1005へ進む。
In S1003, the
S1004では、CPU201は、端微調整画面(端表示領域)が水平方向表示であった場合には垂直方向表示に、垂直方向表示であった場合には水平方向表示に切り替える。例えば、図11(a)のように表示していた状態で水平/垂直切替ボタン1104に対するタッチ操作があると図11(c)の表示に切り替わる。また、図11(c)のように表示していた状態で水平/垂直切替ボタン1104に対するタッチ操作があると図11(a)の表示に切り替わる。
In S1004, the
S1005では、CPU201は、タッチパネル206aから通知された情報に基づいて、メイン領域1101でタッチムーブが行われたか否かを判定する。より詳しくは、メイン領域1101にタッチダウンされてタッチムーブが行われたか否かを判定する。メイン領域1101を起点としたタッチムーブが行われた場合はS1006へ進み、そうでない場合はS1008へ進む。
In S1005, the
S1006では、CPU201は、タッチムーブによるスライド操作に応じて、メイン領域1101に表示されるVR画像の表示範囲を変更する。この処理は、前述した図3のS306の処理と同様である。
In S1006, the
S1007では、CPU201は、タッチムーブによるスライド操作に応じて、水平方向表示であれば左側領域1102と右側領域1103におけるVR画像の表示範囲(すなわち、画像領域1102aと画像領域1103aに表示される部分)を変更する。垂直方向表示であれば左側領域1112と右側領域1113におけるVR画像の表示範囲(すなわち、画像領域1112aと画像領域1113aに表示される部分)を変更する。これは、メイン領域1101でのタッチムーブに応じて切出範囲が変更され、VR画像における切出範囲と除外範囲の位置関係が変わるためである。
In S1007, the
S1008では、CPU201は、タッチパネル206aから通知された情報に基づいて、タッチボタンの表示領域を除く左側領域1102、右側領域1103、左側領域1112、右側領域1113のいずれかに対するタッチダウンがあったか否かを判定する。タッチボタンの表示領域を除く左側領域1102、右側領域1103、左側領域1112、右側領域1113のいずれかに対するタッチダウンがあった場合はS1009に進み、そうでない場合にはS1023に進む。
In S1008, the
S1009では、CPU201は、メモリ202に保持された、上下タッチムーブまたは左右タッチムーブであることを示すムーブフラグをクリア(オフ)して初期化する。
In S<b>1009 , the
S1010では、CPU201は、タッチパネル206aから通知された情報に基づいて、ディスプレイ205の上下方向にタッチムーブが行われたか否かを判定する。例えば、単位移動量のタッチムーブがある毎に、上下方向の移動成分が左右方向の移動成分よりも大きければ上下方向にタッチムーブが行われたと判定する。上下方向にタッチムーブが行われた場合はS1011へ進み、そうでない場合はS1016へ進む。
In S1010, the
S1011では、CPU201は、メモリ202に保持された、左右方向へのタッチムーブの途中であることを示す左右ムーブフラグがオンとなっているか否かを判定する。左右ムーブフラグがONであると判定した場合は上下方向の移動成分は無視するため、S1016へ進む。左右ムーブフラグがオフであると判定した場合にはS1012に進む。
In S1011, the
S1012では、CPU201は、上下方向へのタッチムーブの途中であることを示す上下ムーブフラグをオンに設定(オンとしてメモリ202に記録)し、S1013へ進む。
In S<b>1012 , the
S1013では、CPU201は、端微調整画面(端表示領域)の水平方向表示と垂直方向表示のうち、現在の表示モードが水平方向表示であるか否かを判定する。水平方向表示である場合にはS1014に進み、そうでなく垂直方向表示である場合にはS1015に進む。
In S1013, the
S1014では、CPU201は、左側領域1102、右側領域1103におけるVR画像の表示位置を切出範囲の境界に沿って更新する。これは、360度のVR画像がマッピングされた全球のうち切出範囲として半球が指定されていた場合に、円形となる半球の切出し境界に沿って表示範囲が移動するということである。従ってVR画像における切出範囲と除外領域の位置関係は変わらず、画像領域1102a内に表示されるVR画像の範囲と画像領域1103a内に表示されるVR画像の範囲が変わる。画像領域1102aと画像領域1103aは表示範囲が変わっても互いに切出し境界の180度異なる部分を表示するという関係を保つ。従って、ユーザーが上下に180度分のタッチムーブを行うと、現在設定されている切出範囲の境界の全ての範囲を確認することができる。S1014の処理では切出範囲は変更されないため、メイン領域1101の表示内容は変更されない。
In S1014, the
図11(b)に、図11(a)の状態から左側領域1102に対する下向きのタッチムーブを行い、画像領域1102aに表示される画像部分を下に移動(表示範囲を上に移動)するようにスクロールした場合の表示例を示す。左側領域1102に表示される部分は、VR画像のうち水平方向(地平線方向)の境界部分を表示していた図11(a)の状態から、切出範囲の境界に沿って移動し、図11(b)では左側領域1102に空の方向の境界部分が表示されている。右側領域1103に表示される部分は、切出範囲の境界のうち、左側領域1102に表示される空の方向と180度反対側の地面方向の画像となっている。 In FIG. 11B, a downward touch move is performed on the left side area 1102 from the state of FIG. A display example when scrolling is shown. The portion displayed in the left area 1102 moves along the boundary of the extraction range from the state of FIG. In (b), the boundary portion in the direction of the sky is displayed in the left area 1102 . The portion displayed in the right area 1103 is an image of the ground direction that is 180 degrees opposite to the sky direction displayed in the left area 1102 in the boundary of the extraction range.
S1015では、CPU201は、画像領域1112a、画像領域1113aに表示されるVR画像の表示範囲を、上下のタッチムーブに応じて変更する。これは、切出し前のVR画像に対する切出範囲の境界の位置が上下のタッチムーブに応じて移動するということである。切出範囲の角度は180度に維持されるため、左側領域1112と右側領域1113のどちらの位置から上下のタッチムーブが行われても、画像領域1112aと画像領域1113aの両方の表示範囲が変わる。例えば、切出範囲を狭める方向への境界の移動により画像領域1112aの表示範囲が変わると、切出範囲の角度を180度に維持するような、切出範囲を広げる方向への境界の移動により画像領域1113aの表示範囲も変わる。これによって切出範囲が変わり、メイン領域1101に表示される範囲も変更される。ユーザーは、どこまでが切出範囲内となり、どこまでが除外範囲となるのかを境界付近(画像領域1112aと画像領域1113a)で確認しながら上下にタッチムーブを行って、切出範囲を厳密に調整することができる。この処理においては、切出範囲の広さ(180度)は変わらず、切出し前のVR画像における切出範囲の位置が変更される。
In S1015, the
S1016では、CPU201は、タッチパネル206aから通知された情報に基づいて、ディスプレイ205の左右方向にタッチムーブが行われたか否かを判定する。例えば、単位移動量のタッチムーブがある毎に、左右方向の移動成分が上下方向の移動成分よりも大きければ左右方向にタッチムーブが行われたと判定する。左右方向にタッチムーブが行われた場合はS1017へ進み、そうでない場合はS1022へ進む。
In S1016, the
S1017では、CPU201は、メモリ202に保持された、上下方向へのタッチムーブの途中であることを示す上下ムーブフラグがオンとなっているか否かを判定する。上下ムーブフラグがONであると判定した場合は左右方向の移動成分は無視するため、S1022へ進む。上下ムーブフラグがオフであると判定した場合にはS1018に進む。
In S1017, the
S1018では、CPU201は、左右方向へのタッチムーブの途中であることを示す左右ムーブフラグをオンに設定(オンとしてメモリ202に記録)し、S1019へ進む。
In S<b>1018 , the
S1019では、CPU201は、端微調整画面(端表示領域)の水平方向表示と垂直方向表示のうち、現在の表示モードが垂直方向表示であるか否かを判定する。垂直方向表示である場合にはS1020に進み、そうでなく水平方向表示である場合にはS1021に進む。
In S1019, the
S1020では、CPU201は、左側領域1112、右側領域1113におけるVR画像の表示位置を切出範囲の境界に沿って表示位置を更新する。これは、前述のS1014と同様の処理である。ただし、S1014とは左側領域1112、右側領域1113におけるVR画像の表示向きが90度異なる。S1020の処理では切出範囲は変更されないため、メイン領域1101の表示内容は変更されない。
In S1020, the
図11(d)に、図11(c)の状態から右側領域1113に対する左向きのタッチムーブを行い、画像領域1113aに表示される画像部分を左に移動(表示範囲を画像領域1113aの向きで右に移動)するようにスクロールした場合の表示例を示す。右側領域1113に表示される部分は、VR画像のうち垂直方向下側(地面方向)の境界部分を表示していた図11(c)の状態から、切出範囲の境界に沿って移動し、図11(d)では右側領域1113に水平方向(地平線方向)の境界部分が表示されている。左側領域1112に表示される部分は、切出範囲の境界のうち、右側領域1113に表示される方向と180度反対側の水平方向(地平線方向)の画像となっている。 In FIG. 11(d), from the state shown in FIG. 11(c), a leftward touch move is performed on the right side area 1113 to move the image portion displayed in the image area 1113a to the left (the display range is moved to the right in the direction of the image area 1113a). ) shows an example of display when scrolling to move to The portion displayed in the right area 1113 moves along the boundary of the extraction range from the state of FIG. In FIG. 11D, a boundary portion in the horizontal direction (horizontal direction) is displayed in the right area 1113 . The portion displayed in the left area 1112 is an image in the horizontal direction (horizon direction) 180 degrees opposite to the direction displayed in the right area 1113 in the boundary of the extraction range.
S1021では、CPU201は、画像領域1102a、画像領域1103aに表示されるVR画像の表示範囲を、左右のタッチムーブに応じて変更する。これは、切出し前のVR画像に対する切出範囲の境界の位置が左右のタッチムーブに応じて移動するということである。切出範囲の角度は180度に維持されるため、左側領域1102と右側領域1103のどちらの位置から左右のタッチムーブが行われても、画像領域1102aと画像領域1103aの両方の表示範囲が変わる。例えば、切出範囲を狭める方向への境界の移動により画像領域1102aの表示範囲が変わると、切出範囲の角度を180度に維持するような、切出範囲を広げる方向への境界の移動により画像領域1103aの表示範囲も変わる。これによって切出範囲が変わり、メイン領域1101に表示される範囲も変更される。ユーザーは、どこまでが切出範囲内となり、どこまでが除外範囲となるのかを境界付近(画像領域1102aと画像領域1103a)で確認しながら左右にタッチムーブを行って、切出範囲を厳密に調整することができる。この処理においては、切出範囲の広さ(180度)は変わらず、切出し前のVR画像における切出範囲の位置が変更される。
In S1021, the
S1022では、CPU201は、タッチパネル206aから通知された情報に基づいて、タッチアップが行われたか否かを判定する。タッチアップが行われた場合はS1023へ進み、そうでない場合はS1010へ戻って処理を繰り返す。
In S1022, the
S1023では、CPU201は、タッチパネル206aから通知された情報に基づいて、戻るボタン1106に対するタッチ操作があったか否かを判定する。戻るボタン1106を指定するタッチ操作が無い場合はS1002に戻って処理を繰り返し、戻るボタン1106に対するタッチ操作があった場合には端微調整処理を終了する。
In S1023, the
端微調整処理を終了すると、端微調整処理を終了した先の処理でも、端微調整処理で調整した切出範囲は引き継ぐ。従って例えば、端微調整処理で切出範囲の微調整を行い、端微調整処理を終了して図4の切出編集処理(切出編集画面)に戻った場合、その後表示範囲を変更せずに切出ボタン604をタッチすれば、端微調整処理で調整した切出範囲で切出しを行うことができる。なお、端微調整画面でも切出しの指示を受け付けるようにし、端微調整画面で切出しの指示を受け付けた場合に、直接S426またはS427に進むようにしてもよい。また、端微調整画面でも切出し保存の指示を受け付けるようにし、端微調整画面で切出し保存の指示を受け付けた場合に、直接S535に進むようにしてもよい。 When the edge fine adjustment process ends, the cutout range adjusted in the edge fine adjustment process is inherited even in the process preceding the end fine adjustment process. Therefore, for example, when fine adjustment of the cutout range is performed in the edge fine adjustment process, and the end fine adjustment process is finished and the screen returns to the cutout edit process (cutout edit screen) of FIG. 4, the display range is not changed thereafter. If the cutout button 604 is touched at the end, the cutout range adjusted in the edge fine adjustment processing can be cut out. It should be noted that the edge fine adjustment screen may also receive an instruction to cut out, and when the instruction to cut out is received on the edge fine adjustment screen, the process may proceed directly to S426 or S427. Alternatively, the edge fine adjustment screen may also receive an instruction to cut and save, and when the instruction to cut and save is received on the edge fine adjustment screen, the process may proceed directly to S535.
図12に、前述した図4のS418の不要箇所指定処理のフローチャートを示す。この処理は、不揮発性メモリ203に記録されたプログラムをメモリ202に展開してCPU201が実行することにより実現する。
FIG. 12 shows a flowchart of the unnecessary part designation processing of S418 of FIG. 4 described above. This processing is realized by expanding the program recorded in the
S1201では、CPU201は、ディスプレイ205に不要箇所指定用画面を表示する。図13(a)に、不要箇所指定用画面の表示例を示す。前述と同じ符号の表示アイテムは、前述したもの(切出編集画面やプレビュー画面の表示アイテム)と同様である。
In S<b>1201 , the
ポインタ1301は、不要箇所指定用画面の中央に固定して表示され、VR画像602のうち不要箇所(不要な被写体の位置、除外したい被写体の位置)を指定するためのインジケーターである。ポインタ603、ポインタ621との混同を防ぐため、ポインタ603、ポインタ621とは異なる表示形態で表示される(色、形状、模様などが異なる)。ただし、ポインタ1301は、後述する不要箇所指定用画面に表示された保存ボタン624に対するタッチ操作があった場合には切出範囲の中央を示すポインタとして機能する。不要箇所登録ボタン1302は不要箇所を指定して登録するためのタッチボタンである。不要箇所登録ボタン1302を指定するタッチ操作が行われると、VR画像602のうちその時点でポインタ1301が示す位置の位置情報が不要箇所として登録される(メモリ202に記録される)。不要箇所情報削除ボタン1303は、登録済みの不要箇所の情報を削除するためのタッチボタンである。不要箇所情報削除ボタン1303を指定するタッチ操作が行われると、登録済みの不要箇所の情報が1つ削除(クリア)され、不要箇所としての登録が解除される。マージン設定ボタン1304は、不要箇所を起点とした選択無効範囲のマージンを設定するためのタッチボタンである。終了ボタン1305は、不要箇所指定処理を終了して切出編集処理に戻る指示を受け付けるタッチボタンである。 A pointer 1301 is fixedly displayed in the center of the screen for specifying an unnecessary part, and is an indicator for specifying an unnecessary part (the position of an unnecessary subject, the position of a subject to be excluded) in the VR image 602 . In order to avoid confusion with the pointers 603 and 621, the pointers 603 and 621 are displayed in a different display mode (color, shape, pattern, etc. are different). However, the pointer 1301 functions as a pointer that indicates the center of the cutout range when a save button 624 displayed on the screen for specifying an unnecessary part, which will be described later, is touched. An unnecessary part registration button 1302 is a touch button for designating and registering an unnecessary part. When a touch operation for designating the unnecessary part registration button 1302 is performed, the position information of the position indicated by the pointer 1301 at that point in the VR image 602 is registered as an unnecessary part (recorded in the memory 202). An unnecessary part information deletion button 1303 is a touch button for deleting registered unnecessary part information. When a touch operation for designating an unnecessary part information deletion button 1303 is performed, one piece of registered unnecessary part information is deleted (cleared), and registration as an unnecessary part is canceled. A margin setting button 1304 is a touch button for setting the margin of the selection invalid range starting from the unnecessary part. An end button 1305 is a touch button for accepting an instruction to end the unnecessary part designation processing and return to the cutout editing processing.
S1202、S1203は、タッチムーブに応じた表示範囲の変更処理であり、図3のS305、S306と同様の処理であるため詳細な説明は省略する。なお、タッチムーブによってVR画像602の表示範囲が変更されても、ポインタ1301の表示範囲は変更されない。また、不要箇所が登録されていた場合、変更後の表示範囲に選択無効範囲が含まれていれば、表示されるVR画像のうち選択無効範囲を識別可能な(強調した)表示を行う。これについては図13(b)を用いて後述する。 S1202 and S1203 are processes for changing the display range according to the touch move, and since they are the same processes as S305 and S306 in FIG. 3, detailed description thereof will be omitted. Note that even if the display range of the VR image 602 is changed by touch-move, the display range of the pointer 1301 is not changed. Also, if an unnecessary portion is registered and the invalid selection range is included in the changed display range, the invalid selection range is displayed in a recognizable (emphasized) manner in the displayed VR image. This will be described later with reference to FIG. 13(b).
S1204、S1205は、ピンチ操作に応じた表示倍率の変更処理であり、図3のS309、S310と同様の処理であるため詳細な説明は省略する。なお、不要箇所が登録されていた場合、表示倍率の変更後の表示範囲に選択無効範囲が含まれていれば、表示されるVR画像のうち選択無効範囲を識別可能な表示を行う。 S1204 and S1205 are processing for changing the display magnification according to the pinch operation, and are the same processing as S309 and S310 in FIG. 3, so detailed description thereof will be omitted. If an unnecessary portion is registered and the display range after the display magnification is changed includes the invalid selection range, the invalid selection range is displayed in the displayed VR image so that the selection invalid range can be identified.
S1206では、CPU201は、不要箇所登録ボタン1302に対するタッチ操作があったか否かを判定する。不要箇所登録ボタン1302に対するタッチ操作があった場合にはS1207に進み、そうでない場合にはS1208に進む。S1207では、CPU201は、VR画像602のうち、ポインタ1301が示す位置の位置情報(仰俯角の角度情報と方位角の角度情報)を不要箇所として、対応する不要箇所情報を登録する。不要箇所情報として、位置情報と、登録番号(1から順に登録する度に+1したもの)をメモリ202に記録する。なお、ポインタ1301が示す位置が既に不要箇所として登録済みであった場合にはS1207の処理はスキップする。
In S<b>1206 , the
不要箇所が新たに登録されると、CPU201は、新たに登録された不要箇所の位置情報を中心に、切出し角度とマージン角度を合わせた角度の領域を選択無効範囲として設定する。選択無効範囲に切出範囲の基準位置を設定すると登録済みの不要箇所が切出範囲に含まれてしまうため、選択無効範囲は切出範囲の基準位置として設定するには不適切な不適切範囲ともいえる。選択無効範囲以外の範囲(選択有効範囲)には、切出範囲の基準位置を設定しても、登録済みの不要箇所が切出範囲に含まれることは無いので、選択無効範囲以外の範囲は切出範囲の基準位置を設定するのに適切な適切範囲とも言える。切出し角度は、本実施形態では180度である。マージン角度は後述するS1210、S1211でユーザーが任意に変更可能であるが、初期値は10度である。切出し角度180度、マージン角度10度である場合は、新たに登録された不要箇所を中心とした周囲100度(切出範囲180の半分の90度+10度)の範囲、合計200度の範囲が選択無効範囲となる。既に他に登録済みの不要箇所があり、選択無効範囲が設定済みであった場合には、設定済みの選択無効範囲に、新たに登録された不要箇所に基づいて設定される選択無効範囲をマージした範囲が選択無効範囲として設定される。選択無効範囲内のいずれかの位置を切出範囲の中心として設定すると、不要箇所として指定した位置の被写体(映像)が切出範囲に含まれてしまう可能性がある。すなわち、選択無効範囲内の各位置は、切出範囲の中心として設定すべきでない位置である。そして、CPU201は、設定された選択無効範囲を識別可能なように、ディスプレイ205に表示されたVR画像602に対して識別表示を行う。
When the unnecessary portion is newly registered, the
図13(b)に、選択無効範囲の識別表示の表示例を示す。表示されたVR画像602のうち、選択無効範囲1307は斜線によって識別可能に表示されている。なお識別表示の表示形態はこれに限るものではなく、半透過マスクでの表示、モノクロやセピアなどの色変更による表示等でもよい。また、本実施形態では選択無効範囲を強調して表示する例を説明するが、選択無効範囲とそうでない範囲とを識別可能であれば良く、選択無効範囲以外の範囲を強調して表示しても良い。また、VR画像602のうち選択無効範囲の映像を非表示とし、選択無効範囲以外の映像を表示するようにしても良い。 FIG. 13(b) shows a display example of the identification display of the selection invalid range. In the displayed VR image 602, a selection invalid range 1307 is displayed so as to be identifiable by diagonal lines. The display form of the identification display is not limited to this, and may be display using a translucent mask, display by changing colors such as monochrome or sepia, or the like. Also, in the present embodiment, an example of highlighting and displaying the selection invalid range will be described. Also good. Further, it is also possible to hide the image of the selection invalid range in the VR image 602 and display the image other than the selection invalid range.
なお、S1207の不要箇所の登録処理において、新たに登録される不要箇所よって、切出し前のVR画像の全範囲が選択無効範囲となってしまう場合は、新たな不要箇所の登録をせずに、追加登録出来ない旨を示すエラー表示を行う。切出し前のVR画像のうち選択無効範囲以外の範囲(選択有効範囲)の広さが閾値未満となってしまう場合も、新たな不要箇所の登録をせずに、追加登録出来ない旨を示すエラー表示を行う。 In addition, in the registration processing of the unnecessary part in S1207, if the entire range of the VR image before cropping becomes the selection invalid range due to the newly registered unnecessary part, the new unnecessary part is not registered. An error is displayed indicating that additional registration is not possible. An error indicating that additional registration is not possible without registering new unnecessary parts even if the width of the range other than the invalid selection range (valid selection range) in the VR image before cropping is less than the threshold. display.
選択無効範囲が設定されるまでの流れを、図14(a)~図14(g)のイメージ図を用いて説明する。図14(a)の範囲1450は、VR画像のうちディスプレイ205に表示されている領域(表示範囲)を示し、ポインタ方向1451は仮想球体の中央から見た表示範囲の中央の方向を示しており、ポインタ1301が示す位置に対応する。不要箇所候補1452はユーザーがVR画像のなかで切出しに不要な箇所(除外したい箇所)と考えている部分である。ユーザーは、切出しに不要な箇所がある場合、ディスプレイ205の表示領域の中心に対応するポインタ方向1451を、切出しに不要な箇所1452(切出しに不要と考える被写体)に合わせる。そして、不要箇所登録ボタン1302をタッチする。
The flow until the selection invalid range is set will be described with reference to the image diagrams of FIGS. 14(a) to 14(g). A
タッチして不要箇所が1つ登録された直後のイメージ図が図14(b)である。網掛けで示す選択無効範囲1453は、ポインタ方向1451から、切出し角度1454(180°)分の領域を表したもので、マージンが0度の場合の選択無効範囲を示している。図14(c)に示すように、選択無効範囲内の位置1455を切出しの中心として指定すると、切出範囲は図14(d)の白ぬき部1456の範囲となり、不要箇所1452が含まれてしまう。なお、図14(d)において黒塗り部は除外範囲である。
FIG. 14B is an image diagram immediately after one unnecessary place is registered by touching. A shaded selection
マージン角度が設定されている場合は、選択無効範囲は不要箇所を中心とした180度(半球)より広い範囲に設定され、図14(e)の選択無効範囲1457のようになる。また、図14(f)のように不要箇所を複数登録した場合(不要箇所1452と、不要箇所1458の2箇所を登録した例)、それぞれを中心に選択無効範囲を算出し、すべての選択無効範囲を合わせた領域が、選択無効範囲となる。
When the margin angle is set, the invalid selection range is set to a range wider than 180 degrees (hemisphere) centering on the unnecessary part, and becomes the
このように設定(決定)された選択無効範囲のうち、ディスプレイ205に表示されている領域を、図13(b)の選択無効範囲1307のように識別可能に表示する。選択無効範囲1307のような識別表示は、不要箇所指定用画面に限らず、図4で説明した切出編集処理の切出編集画面でも表示される。なお、ユーザー操作によって、選択無効範囲の識別表示のオン/オフ(表示/非表示)を切り替えることができてもよい。また、選択無効範囲とそうでない範囲の境界線を表示してもよい。さらに、切出編集画面において、ポインタ603が選択無効範囲にある場合、ポインタ603の表示形態の変更、警告アイコンや警告メッセージなどの表示などで、ポインタ603の位置が切出範囲の中央指定箇所として不適である旨をユーザーに通知してもよい。
Among the invalid selection ranges set (determined) in this way, the area displayed on the
S1208では、CPU201は、タッチパネル206aから通知された情報に基づいて、不要箇所情報削除ボタン1303に対するタッチ操作があったか否かを判定する。不要箇所情報削除ボタン1303を指定するタッチ操作があった場合はS1209に進み、そうでない場合はS1210に進む。S1209では、CPU201は、メモリ202から不要箇所情報を取得する。不要箇所情報が1つも登録されていない場合は、処理を中断し、S1210に進む。登録されている場合は、登録番号の一番大きい位置情報(最後に登録された不要箇所)の角度が表示の中心となるように、VR画像602の表示範囲を移動し、その不要箇所情報をメモリ202から削除する。そして、削除された不要箇所に基づく選択無効範囲をクリア(解除)する。すなわち、削除された不要箇所だけに基づく選択無効範囲を、マージされた選択無効範囲から取り除き、取り除いた部分についての識別表示を非表示とする(選択有効範囲として表示する)。不要箇所情報が1つしか登録されていなかった場合に不要箇所情報の削除が行われると、図13(b)に示した選択無効範囲1307のような斜線部は無くなる。
In S<b>1208 , the
S1210では、CPU201は、タッチパネル206aから通知された情報に基づいて、マージン設定ボタン1304に対するタッチ操作があったか否かを判定する。マージン設定ボタン1304を指定するタッチ操作があった場合にはS1211に進み、そうでない場合にはS1211に進む。S1211では、CPU201は、メモリ202からマージン設定情報を読み出し、マージン設定ダイアログを表示し、マージン設定操作を受け付ける。図13(c)に、マージン設定ダイアログ1306の表示例を示す。マージン設定ダイアログ1306以外の背景の領域は暗く表示するようにしてもよい。CPU201は、マージン設定ダイアログ1306の上下の矢印マークに対するタッチ操作や、上下へのタッチムーブ操作、テンキーを表示して行われる数値入力操作に応じて、マージンの設定数値を変更する。変更された数値はメモリ202に記憶する。マージンの設定数値が変更されると、それに伴って登録済みの不要箇所情報に基づく選択無効範囲の広さも、マージンの変更分だけ変更する。マージンの設定は、1つの不要箇所に基づいて設定される選択無効範囲の広さを、切出範囲の広さ(本実施形態では180度)よりどの程度広くするかの設定である。マージン設定情報の数値の範囲は0~(360-切出し角度)とし、範囲を超える場合は、数値の変更を行わない。マージン設定ダイアログ1306以外の部分がタッチされた場合は、マージン設定ダイアログ1306を閉じる(非表示とする)。
In S1210, the
S1212では、CPU201は、タッチパネル206aから通知された情報に基づいて、保存ボタン624に対するタッチ操作があったか否かを判定する。保存ボタン624を指定するタッチ操作があった場合にはS1213に進み、そうでない場合にはS1219へ進む。
In S1212, the
S1213では、CPU201は、メモリ202に不要箇所が登録されているか否かを判定する。不要箇所が1つ以上登録されている場合にはS1215へ進み、1つも登録されていない場合にはS1214へ進む。
In S<b>1213 , the
S1214では、CPU201は、現在の表示範囲の中央、すなわち切出範囲の中央としている位置(不要箇所指定用画面であればポインタ1301が示している位置)の方位角及び仰俯角に基づいて切出範囲を決定し、切出し処理を行う。より具体的には、360度のVR画像から、表示範囲の中央を中心とした180度の範囲(中心から全方向にそれぞれ90度の範囲)を切出す。そして、切出し済みのVR画像をVRビューでの表示が可能な画像ファイルとして記録媒体208に記録する。切出し後の記録処理は、前述したS535と同様の処理である。S1214の処理を終えると、不要箇所指定処理を終了して図3のS301に戻る。
In step S1214, the
S1215では、CPU201は、現在の表示範囲の中央、すなわち切出範囲の中央としている位置(不要箇所指定用画面であればポインタ1301が示している位置)が、選択無効範囲内となっているか否かを判定する。選択無効範囲内となっている場合にはS1216へ進み、そうでない場合にはS1214へ進む。
In S1215, the
S1216では、CPU201は、ディスプレイ205に、保存ボタン624がタッチされた時点の表示範囲に基づく切出範囲に、登録された不要箇所が収まってしまうことを通知する警告を表示する。図13(d)に、S1216で表示される警告の表示例を示す。ダイアログ1308には、「不要箇所が入りますがよろしいですか?」というメッセージともに、OKボタン1309とキャンセルボタン1310が表示される。ユーザーはこの表示を見て、保存ボタン624に対するタッチ操作を行った時点の表示範囲に基づく切出範囲に、登録された不要箇所が収まってしまうことを認識することができる。
In S<b>1216 , the
S1217では、CPU201は、OKボタン1309に対するタッチ操作があったか否かを判定する。OKボタン1309に対するタッチ操作があった場合にはS1214に進む。すなわち、切出範囲に不要箇所が収まることをユーザーが承知したので、不要箇所が含まれる切出範囲で切出しを行い、切出し済みのVR画像を保存する。OKボタン1309に対するタッチ操作が無い場合にはS1218に進む。
In S<b>1217 , the
S1218では、CPU201は、キャンセルボタン1310に対するタッチ操作があったか否かを判定する。キャンセルボタン1310に対するタッチ操作が無い場合にはS1217に戻る。キャンセルボタン1310に対するタッチ操作があった場合には、保存ボタン624がタッチされた時点の表示範囲に基づく切出範囲での切出し保存を行うことなく、ダイアログ1308を非表示としてS1202に戻って処理を繰り返す。
In S<b>1218 , the
S1215~S1218の処理により、ユーザーが不用意に選択無効範囲内に切出範囲の中央を指定しまうことを防止することができる。なお、警告を表示することなく(すなわちS1216~S1218の処理を行わずに)、ポインタが選択無効範囲内であった場合には切出し保存の指示を無視して(無効として)もよい。あるいは、警告だけ表示し、OKかキャンセルかの選択は受けずに切出し保存を行わないようにしてもよい。 The processing of S1215 to S1218 can prevent the user from carelessly specifying the center of the extraction range within the selection invalid range. If the pointer is within the selection invalid range, the cut-out and save instruction may be ignored (invalidated) without displaying the warning (that is, without performing the processing of S1216 to S1218). Alternatively, only a warning may be displayed, and the selection of OK or Cancel may not be accepted and the extraction and storage may not be performed.
なお、図13(a)で説明した各種表示アイテムに加え、ジャンプボタンを表示するようにしてもよい。そして、ポインタ1301が選択無効範囲内である場合に、ジャンプボタンに対するタッチ操作(タッチ位置の移動を伴わないタッチ操作)に応じてポインタ1301が選択無効範囲外に位置するようにVR画像602の表示範囲を変更させてもよい。 Note that a jump button may be displayed in addition to the various display items described with reference to FIG. 13(a). Then, when the pointer 1301 is within the selection invalid range, the VR image 602 is displayed so that the pointer 1301 is positioned outside the selection invalid range according to the touch operation (touch operation without moving the touch position) on the jump button. You can change the range.
また、図13(a)で説明した不要箇所登録ボタン1302の代わりに、あるいは加えて、必要箇所登録ボタンを表示するようにしてもよい。必要箇所登録ボタンに対するタッチ操作に応じて、その時点でポインタ1301が示すVR画像602の位置を、必要箇所の位置情報としてメモリ202に記録する(登録する)。そして、必要箇所の位置情報を中心に、切出し角度からマージン角度を引いた角度の領域以外の領域を、選択無効範囲として算出する。イメージ図で示すと、図14(g)で必要箇所1459を指定すると、選択無効範囲1460のように、切出し角度(例180°)-マージン角度(例10°)の領域以外の領域を、選択無効範囲として設定する。不要箇所や必要箇所が複数ある場合は、すべての指定位置(登録位置)のそれぞれに基づいて算出される選択無効範囲を合わせた領域を、選択無効範囲として設定する。
Also, instead of or in addition to the unnecessary part registration button 1302 described with reference to FIG. 13A, a necessary part registration button may be displayed. In response to the touch operation on the necessary place registration button, the position of the VR image 602 indicated by the pointer 1301 at that time is recorded (registered) in the
S1219では、CPU201は、終了ボタン1305に対するタッチ操作があったか否かを判定する。終了ボタン1305を指定するタッチ操作がない場合にはS1202に戻って処理を繰り返し、終了ボタン1305を指定するタッチ操作があった場合には不要箇所指定処理を終了して図4のS419へ進む。
In S<b>1219 , the
図15(a)~図15(d)、図16(a)~図16(c)を用いて、S502で説明した仰俯角有効である場合の切出し処理、S503で説明した仰俯角無効である場合の切出し処理について説明する。 Using FIGS. 15(a) to 15(d) and FIGS. 16(a) to 16(c), extraction processing when the elevation/depression angle is valid as described in S502, and when the elevation/depression angle is invalid as described in S503. Extraction processing in this case will be described.
図15(a)にディスプレイ205における切出編集画面の表示例(すなわち切出範囲指定前の表示例)を示す。基準方向(表示開始方向)を方位角0度(例えば北)、仰俯角0度(天頂軸や重力方向軸と垂直な方向、水平方向)とする。図15(a)は、切出編集画面にて、方位角0度、仰俯角を仰角60度程度とした場合のVR画像602の表示例である。すなわち、表示範囲の中央を示すポインタ603が、水平方向よりも上(上空側)を向く方向で表示されている。なお、図15(a)は前述の仰俯角の有効/無効の設定が無効の場合の表示例であり、仰俯角有効/無効ボタン613は仰俯角の設定が無効であることを示す表示形態となっている。 FIG. 15(a) shows a display example of the cutout edit screen on the display 205 (that is, a display example before designation of the cutout range). The reference direction (display start direction) is assumed to be an azimuth angle of 0 degrees (for example, north) and an elevation/depression angle of 0 degrees (a direction perpendicular to the zenith axis and gravity direction axis, horizontal direction). FIG. 15A is a display example of a VR image 602 when the azimuth angle is 0 degrees and the elevation/depression angle is about 60 degrees on the cutout edit screen. That is, the pointer 603 indicating the center of the display range is displayed in a direction pointing upward (upward) from the horizontal direction. FIG. 15A shows an example of display when the above-described setting of the elevation/depression angle is disabled. It's becoming
図16(a)は、図15(a)の表示範囲を、360度のVR画像がマッピングされる仮想球体上に模式的に表した図である。視聴者の視聴位置1601を中心として、天頂軸1602回り360度の方位、天頂軸1602と垂直な水平軸回りの360度の仰俯角によって球体上の位置を特定可能である。切出し前の360度のVR画像は球体全体にマッピングされ、球体全体が有効映像範囲1603となる。図16(a)では、視聴者から見て北(すなわち方位角0度)の上空にある被写体1604に視線方向1605を向けた例である。すなわち、表示範囲1607の中心が視線方向1605と交わるような位置に表示範囲1607が設定されている。なお、図16(a)~図16(c)の表示範囲はデフォルメして図示されており、図15(a)~図15(d)の表示範囲よりも狭くなっている。しかし、図16(a)~図16(c)の表示範囲の中央は、図15(a)~図15(d)に示す表示範囲の中央と同じ基準で図示されている。したがって、表示範囲1607の中央は、図15(a)のポインタ603が示す位置であり、切出し指定位置1606となる。
FIG. 16(a) is a diagram schematically showing the display range of FIG. 15(a) on a virtual sphere onto which a 360-degree VR image is mapped. With the
仰俯角無効で、かつ、表示範囲を図15(a)、図16(a)に示す範囲としている場合に切出ボタン604によって切出範囲の指定操作が行われると、S503の処理によって切出し処理が行われ、図15(b)に示す表示範囲となる。図15(b)は、図15(a)の状態から切出ボタン604がタッチ操作されて切出範囲が設定された直後のプレビュー画面の表示例である。表示範囲の仰俯角は切出し前の60度と異なり、水平方向(仰俯角0度)となっており、ポインタ621も仰俯角0度の位置に表示されている。図15(b)の表示範囲の方位角は、切出し前の図15(a)と同じ0度(北)である。方位角については切出し前と同じとなるので、仮に切出し前に方位角90度(東)を表示範囲としていれば、直後のプレビュー画面の表示範囲、及び切出範囲の中央も方位角90度(東)となる。 When the angle of elevation/depression is invalid and the display range is set to the range shown in FIGS. is performed, and the display range shown in FIG. 15(b) is obtained. FIG. 15(b) is a display example of the preview screen immediately after the clipping range is set by touching the clipping button 604 from the state of FIG. 15(a). The elevation/depression angle of the display range is different from 60 degrees before clipping, and is in the horizontal direction (0 degree elevation/depression angle), and the pointer 621 is also displayed at the position of 0 degree elevation/depression angle. The azimuth angle of the display range in FIG. 15(b) is 0 degrees (north), which is the same as in FIG. 15(a) before cropping. Since the azimuth angle is the same as before extraction, if the display range is set to an azimuth angle of 90 degrees (east) before extraction, the display range of the immediately following preview screen and the center of the extraction range will also have an azimuth angle of 90 degrees (east). east).
図16(b)は、図15(b)の状態の切出範囲を、360度のVR画像がマッピングされる仮想球体上に模式的に表した図である。球体右側の白抜きの半球が切出し後の180度のVR画像となる切出範囲1611(有効映像範囲)である。反対側の半球が切出し後のVR画像からは除外されて破棄される除外範囲1612(無効映像範囲)である。切出範囲1611は中央位置1613を中央とする半球の範囲である。中央位置1613は切出し指定位置1606が示している方位0度、及び切出し指定位置1606にかかわらず仰俯角0度(水平)の位置となる。切出範囲1611の中心位置1613と、切出範囲の指定操作が行われる直前の視線方向1605や表示範囲1607に基づく切出し指定位置1606とは、図示のように一致せず、仰俯角が異なっているが、これは、仰俯角を無効の設定としているためである。切出範囲1611の切出し面1610は、天頂軸1602と平行となる。
FIG. 16(b) is a diagram schematically showing the cutout range in the state of FIG. 15(b) on a virtual sphere on which a 360-degree VR image is mapped. The white hemisphere on the right side of the sphere is the clipping range 1611 (effective video range) that becomes the 180-degree VR image after clipping. The opposite hemisphere is an exclusion range 1612 (invalid video range) that is excluded from the cropped VR image and discarded. A
仰俯角有効で、かつ、表示範囲が図15(c)、図16(a)に示す位置としている場合に切出ボタン604によって切出範囲の指定操作が行われると、S502の処理によって切出し処理が行われ、図15(d)に示す表示範囲となる。なお、図15(c)は、図15(a)と同じ表示範囲となっているものとする。仰俯角有効/無効の設定だけ図15(a)と異なっており、図15(c)では、仰俯角有効/無効ボタン613の表示形態が、仰俯角有効に設定されていることを示す表示形態となっている。図15(d)は、図15(c)の状態から切出ボタン604がタッチ操作されて切出範囲が設定された直後のプレビュー画面の表示例である。表示範囲の仰俯角は切出し前の60度と同じとなっており、ポインタ621も仰俯角60度の位置に表示されている。図15(d)の表示範囲の方位角は、切出し前の図15(c)と同じ0度(北)である。 When the angle of elevation/depression is valid and the display range is at the positions shown in FIGS. is performed, and the display range shown in FIG. 15(d) is obtained. In addition, FIG.15(c) shall become the same display range as Fig.15 (a). The only difference from FIG. 15A is the setting of elevation/depression angle valid/invalid, and in FIG. It has become. FIG. 15(d) is a display example of the preview screen immediately after the clipping range is set by touching the clipping button 604 from the state of FIG. 15(c). The elevation/depression angle of the display range is the same as 60 degrees before clipping, and the pointer 621 is also displayed at the elevation/depression angle of 60 degrees. The azimuth angle of the display range in FIG. 15(d) is 0 degree (north), which is the same as in FIG. 15(c) before cropping.
図16(c)は、図15(d)の状態の表示範囲と切出範囲を、360度のVR画像がマッピングされる仮想球体上に模式的に表した図である。球体右上側の白抜きの半球が切出し後の180度のVR画像となる切出範囲1611(有効映像範囲)である。反対側の半球が切出し後のVR画像からは除外されて破棄される除外範囲1612(無効映像範囲)である。切出範囲1611の中央位置1613は切出し指定位置1606と方位、仰俯角ともに一致する。これは、仰俯角を有効の設定としているためである。
FIG. 16(c) is a diagram schematically showing the display range and cutout range in the state of FIG. 15(d) on a virtual sphere on which a 360-degree VR image is mapped. A white hemisphere on the upper right side of the sphere is a clipping range 1611 (effective video range) that becomes a 180-degree VR image after clipping. The opposite hemisphere is an exclusion range 1612 (invalid video range) that is excluded from the cropped VR image and discarded. A
本実施形態におけるVR画像の切出しでは、仰俯角有効/無効の初期設定は無効の設定であり、図16(b)に示すような切出範囲で切出しが行われる。この切出範囲であれば、有効映像範囲は真上(仰角90度)から真下(俯角90度)までであるため、HMDで視聴する視聴者は、顔の向きを変えるだけ(首を振るだけ)で簡単に切出し後のVR画像の全体を見渡すことができる。仮に、図16(c)のように、真上を超えて後ろ側まで有効映像範囲を有する場合、真上を超えた後ろ側などを視聴するには、顔の向きを、真上を超えた背後側まで向ける必要がある。それには、首を振るだけでなく、上体を反らす、上半身を捻る、立つ向きを変えて背後を向くなどの身体的負担が比較的大きい動作を行わなければならない。すなわち、切出し後のVR画像を姿勢変化に応じた表示範囲の変更によって見渡すのは、身体的に比較的大変である。これに対し、切出範囲を指定する際の表示範囲の仰俯角に関わらず、図16(b)のように水平方向を中心とした範囲を切出すことで、このような身体的負担を軽減し、全体を見渡すのが楽なVR画像を生成することができる。また、人間の目は正面を向いた場合に水平方向前方が見える位置にあるため、視野(すなわち切出範囲)の中心の仰俯角を水平方向とするのは、人体の構造上も違和感が少ない。 In the extraction of the VR image in this embodiment, the initial setting of the elevation/depression angle valid/invalid is set to invalid, and the extraction is performed in the extraction range as shown in FIG. 16(b). With this extraction range, the effective image range is from directly above (90 degrees elevation angle) to directly below (90 degrees depression angle), so viewers viewing with an HMD can simply change the direction of their face (just shake their head). ), the entire VR image after clipping can be easily viewed. If, as shown in FIG. 16(c), the effective image range extends from directly above to the rear side, it is necessary to turn the direction of the face beyond directly above to view the rear side beyond directly above. You have to point it backwards. In order to do so, it is necessary not only to shake the head, but also to perform movements that impose a relatively large physical burden, such as bending the upper body, twisting the upper body, and changing the standing direction to face the back. That is, it is relatively physically difficult to look over the clipped VR image by changing the display range according to the change in posture. On the other hand, regardless of the elevation/depression angle of the display range when specifying the extraction range, such a physical burden can be reduced by extracting a range centered on the horizontal direction as shown in FIG. 16(b). It is possible to generate a VR image in which it is easy to see the whole. In addition, since the human eye is at a position where it can see the front in the horizontal direction when facing the front, setting the elevation/depression angle of the center of the field of view (that is, the cropping range) to the horizontal direction is less uncomfortable in terms of the structure of the human body. .
また、本実施形態におけるVR画像の切出しでは、仰俯角有効/無効の設定を有効に設定すれば、図16(c)に示すような切出範囲で切出しが行われる。この切出範囲は、切出し後のVR画像において星空全体を見渡せて不要な地面部分を除外できたり、天井から見た室内の広い範囲を見渡せたりするなど、被写体の内容によっては好適である。 Further, in the extraction of the VR image in this embodiment, if the elevation/depression angle valid/invalid setting is set to valid, the extraction is performed in the extraction range as shown in FIG. 16(c). This cropping range is suitable depending on the content of the subject, such as being able to overlook the entire starry sky and excluding unnecessary ground parts in the VR image after cropping, or being able to overlook a wide range of the room as seen from the ceiling.
なお、仰俯角有効/無効の設定の変更によって、図16(b)に示す切出範囲1611の範囲で切出しが行われるのか、図16(c)に示す切出範囲1611で切出しが行われるのか、というのはユーザーにとって想像し辛く、理解し難い。従って、仰俯角有効/無効の設定の違いによってどのような切出範囲の違いとなるのかを、ユーザーが理解しやすいように模式図を用いてガイダンス表示するとよい。
By changing the setting of elevation/depression angle valid/invalid, whether the extraction is performed within the
図17(a)に、ディスプレイ205における切出範囲のガイダンス表示の表示例を示す。図17(a)のガイダンスのダイアログ1700は、例えば仰俯角有効/無効ボタン613がタッチされ、仰俯角の設定が無効から有効に切り替えられた場合(図4のS422、図5のS521)に所定時間(例えば5秒)表示される。ダイアログ1700には、切出し前の模式図を示す図形1701と、切出し後の模式図を示す図形1702と、メッセージ1704が表示される。図形1701は、球体の模式図を用いたガイドであり、切出し前に、球体における切出し指定位置(矢印で示す位置)として仰俯角0度よりも上の位置を指定した場合の模式図を示す。図形1702は、球体の模式図を用いたガイドであって、仰俯角設定が有効の場合の切出範囲を示しており、切出し後は切出し指定位置の仰俯角に基づいた半球が切出されることを示している。メッセージ1704は、切出範囲の仰俯角の設定を有効にした旨を示している。なお、図形1701の代わりに、仰俯角の設定が有効の場合の切出範囲を示す図17(b)の図形1703を表示してもよい。
FIG. 17A shows a display example of the guidance display of the extraction range on the
図17(b)に、ディスプレイ205における切出範囲のガイダンス表示の表示例を示す。図17(b)のガイダンスのダイアログ1700は、例えば仰俯角有効/無効ボタン613がタッチされ、仰俯角の設定が有効から無効に切り替えられた場合(図4のS421、図5のS520)に所定時間(例えば5秒)表示される。ダイアログ1700には、切出し前の模式図を示す図形1701と、切出し後の模式図を示す図形1703と、メッセージ1705が表示される。図形1701は、球体の模式図を用いたガイドであって、切出し前に、切出し指定位置(矢印で示す位置)として仰俯角0度よりも上の位置を指定した場合の模式図を示し、図17(a)の図形1701と同じものである。図形1703は、球体の模式図を用いたガイドであって、仰俯角設定が無効の場合の切出範囲を示しており、切出し後は切出し指定位置の仰俯角に関係なく、球を縦に分割した半球(中央が水平方向となる半球)が切出されることを示している。メッセージ1705は、切出範囲の仰俯角の設定を無効にした旨を示している。なお、図形1701の代わりに、仰俯角の設定が無効の場合の切出範囲を示す図17(a)の図形1702を表示してもよい。
FIG. 17(b) shows a display example of the guidance display of the extraction range on the
図17(a)、図17(b)に示すようなガイドは、仰俯角の設定を切り替えた場合に限らず、電子マニュアル等において仰俯角の設定に関する説明を表示する場合に表示してもよい。また、設定状態を表す情報、例えば仰俯角有効/無効ボタン613として、図17(a)、図17(b)に示すようなガイドを表示してもよい。また、切出し前を示す図形1701を表示せずに、切出し後を示す図形(仰俯角無効の場合は図形1702、仰俯角有効の場合は図形1703)を表示してもよい。 The guides shown in FIGS. 17(a) and 17(b) may be displayed not only when the elevation/depression angle setting is switched, but also when an explanation regarding the elevation/depression angle setting is displayed in an electronic manual or the like. . Further, as information representing the setting state, for example, the elevation/depression angle enable/disable button 613, guides as shown in FIGS. Also, instead of displaying the figure 1701 before extraction, a figure showing after extraction (a figure 1702 when the elevation/depression angle is disabled, and a figure 1703 when the elevation/depression angle is enabled) may be displayed.
なお、上述した実施形態では、撮像装置で撮像されたVR画像からより狭い範囲のVR画像を生成する例を説明したが、元のVR画像は撮像装置で撮像されたVR画像に限らない。コンピューターグラフィック(CG)などで作成されたVRコンテンツから、より狭いVRコンテンツを切出して生成する際にも適用可能である。 In the above-described embodiment, an example of generating a narrower VR image from a VR image captured by an imaging device has been described, but the original VR image is not limited to the VR image captured by the imaging device. It is also applicable when clipping and generating narrower VR content from VR content created by computer graphics (CG) or the like.
また、上述の各種フローチャートの処理は、必ずしも組み合わせて実施する必要はなく、それぞれ別々に実施することも可能であり、上述のフローチャートの一部を他の実施態様に組み合わせて採用することも可能である。例えば、上述の半球全体表示、2画面表示処理、端微調整処理などは、切出範囲の中央を指定する手法で切出範囲を指定する図4の切出編集処理と組み合わせずとも、各処理単体で、切出範囲を指定するための処理として実施可能である。すなわち、例えば、図3のS311で切出編集ボタンに対するタッチ操作があったと判定した場合に、図7(a)、図7(b)で説明した半球全体表示に直接移行して切出範囲を指定できるようにしてもよい。図8,9で説明した2画面表示処理や、図10,11で説明した端微調整処理に直接移行して切出範囲を指定できるようにしてもよい。 Further, the processes of the various flowcharts described above do not necessarily need to be performed in combination, and each can be performed separately. It is also possible to employ a part of the flowcharts described above in combination with other embodiments. be. For example, the whole hemisphere display, two-screen display processing, edge fine adjustment processing, etc. described above can be performed without being combined with the clipping editing processing of FIG. It can be implemented alone as a process for specifying the extraction range. That is, for example, when it is determined in S311 of FIG. 3 that there has been a touch operation on the cutout edit button, the cutout range is changed directly to the whole hemisphere display described with reference to FIGS. 7A and 7B. You may allow it to be specified. 8 and 9, or the edge fine adjustment process described with reference to FIGS.
以上説明した本発明によれば、VRコンテンツから、ユーザーの切出範囲の指定操作に基づいたより狭い範囲のVRコンテンツを、操作性良く生成することができる。 According to the present invention described above, it is possible to generate, with good operability, VR content of a narrower range based on the user's manipulation of specifying the cut-out range from the VR content.
なお、CPU201が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
Note that the various controls described above that are performed by the
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。 Moreover, although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms within the scope of the gist of the present invention can be applied to the present invention. included. Furthermore, each embodiment described above merely shows one embodiment of the present invention, and it is also possible to combine each embodiment as appropriate.
また、上述した実施形態においては、本発明を電子機器200(スマートフォンなど)に適用した場合を例にして説明したが、これはこの例に限定されない。本発明は、VRコンテンツからより狭い範囲のVRコンテンツを切出すための操作画面を表示するよう制御できる電子機器であれば適用可能である。例えば、本発明は、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、デジタルカメラ、テレビジョン装置、投影装置、タブレット端末、AIスピーカー、家電装置、車載装置、医療機器などにも適用可能である。 Further, in the above-described embodiment, the case where the present invention is applied to the electronic device 200 (smartphone, etc.) has been described as an example, but this is not limited to this example. The present invention is applicable to any electronic device that can be controlled to display an operation screen for extracting narrower VR content from VR content. For example, the present invention can be applied to personal computers, PDAs, mobile phone terminals, portable image viewers, printers, digital photo frames, music players, game machines, electronic book readers, video players, and the like. In addition, the present invention can also be applied to digital cameras, television devices, projection devices, tablet terminals, AI speakers, home appliances, vehicle-mounted devices, medical devices, and the like.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
Claims (9)
第1の領域および前記第1の領域とは異なる第2の領域を含む画面を表示する表示手段と、
第1の映像範囲を有するVRコンテンツの一部の範囲を表示範囲として前記第1の領域に表示するように制御し、前記電子機器の姿勢変化またはユーザーによる前記第1の領域に対する表示範囲変更操作に応じて前記表示範囲の位置を変更して前記第1の領域に表示するように制御する表示制御手段と、
前記表示範囲の中央を中心として前記VRコンテンツのうち前記第1の映像範囲よりも狭い第2の映像範囲を有する編集済VRコンテンツを生成する生成手段とを有し、
前記表示制御手段は、前記編集済VRコンテンツのうち前記第2の映像範囲よりも狭く、前記第2の映像範囲の端を含む一部の範囲を、前記端が識別できるようにして前記第2の領域に表示するように制御し、
前記生成手段は、ユーザーによる前記第2の領域に対する表示範囲変更操作に応じて、前記VRコンテンツにおける前記第2の映像範囲の位置を変更する
ことを特徴とする電子機器。 an electronic device,
display means for displaying a screen including a first area and a second area different from the first area;
Controlling to display a partial range of VR content having a first image range in the first area as a display range, and changing the posture of the electronic device or a display range changing operation on the first area by a user. display control means for controlling to change the position of the display range according to and display it in the first area;
generating means for generating edited VR content having a second video range narrower than the first video range of the VR content centered on the center of the display range;
The display control means selects a part of the edited VR content that is narrower than the second video range and includes ends of the second video range so that the ends are identifiable. control to display in the area of
The electronic device, wherein the generating means changes the position of the second image range in the VR content according to a user's operation to change the display range of the second area.
前記表示範囲の中央を中心として前記VRコンテンツのうち前記第1の映像範囲よりも狭い第2の映像範囲を有する編集済VRコンテンツを生成するステップと、前記編集済VRコンテンツのうち前記第2の映像範囲よりも狭く、前記第2の映像範囲の端を含む一部の範囲を、前記端が識別できるようにして前記第2の領域に表示するように制御するステップと、
ユーザーによる前記第2の領域に対する表示範囲変更操作に応じて、前記VRコンテンツにおける前記第2の映像範囲の位置を変更するステップと
を有することを特徴とする電子機器の制御方法。 A control method for an electronic device having display means for displaying a screen including a first area and a second area different from the first area, the range being a part of VR content having the first video range is displayed in the first area as a display range, and the position of the display range is changed in response to a change in posture of the electronic device or a user's operation to change the display range in the first area. a step of controlling to display in area 1;
generating edited VR content having a second video range narrower than the first video range of the VR content centered on the center of the display range; controlling to display a partial range narrower than the video range and including the edge of the second video range in the second area so that the edge can be identified;
and changing a position of the second image range in the VR content in accordance with a user's operation to change the display range of the second area.
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018247842A JP7327938B2 (en) | 2018-12-28 | 2018-12-28 | Electronic device and its control method, program and storage medium |
US16/725,990 US11683464B2 (en) | 2018-12-28 | 2019-12-23 | Electronic device, control method, and non-transitorycomputer readable medium |
EP19904849.7A EP3904955A4 (en) | 2018-12-28 | 2019-12-25 | Electronic device, method for controlling electronic device, program, and storage medium |
PCT/JP2019/050758 WO2020138140A1 (en) | 2018-12-28 | 2019-12-25 | Electronic device, method for controlling electronic device, program, and storage medium |
CN201980086832.0A CN113260917B (en) | 2018-12-28 | 2019-12-25 | Electronic device and control method thereof |
BR112021012648-1A BR112021012648A2 (en) | 2018-12-28 | 2019-12-25 | ELECTRONIC DEVICE AND CONTROL METHOD THEREOF |
KR1020217021538A KR102549787B1 (en) | 2018-12-28 | 2019-12-25 | Electronic device and its control method |
CN201911364896.0A CN111385669B (en) | 2018-12-28 | 2019-12-26 | Electronic device, control method, and computer-readable medium |
US17/355,783 US11553170B2 (en) | 2018-12-28 | 2021-06-23 | Electronic device and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018247842A JP7327938B2 (en) | 2018-12-28 | 2018-12-28 | Electronic device and its control method, program and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020106758A JP2020106758A (en) | 2020-07-09 |
JP7327938B2 true JP7327938B2 (en) | 2023-08-16 |
Family
ID=71450780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018247842A Active JP7327938B2 (en) | 2018-12-28 | 2018-12-28 | Electronic device and its control method, program and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7327938B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005223416A (en) | 2004-02-03 | 2005-08-18 | Sony Corp | Image processing system, image processing apparatus and image processing method, and program |
JP2016146098A (en) | 2015-02-09 | 2016-08-12 | 株式会社リコー | Video display system, information processing device, video display method, video display program, video processing device, video processing method, and video processing program |
WO2018043135A1 (en) | 2016-08-31 | 2018-03-08 | ソニー株式会社 | Information processing device, information processing method, and program |
US20180152636A1 (en) | 2016-11-28 | 2018-05-31 | Lg Electronics Inc. | Mobile terminal and operating method thereof |
JP2018180051A (en) | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | Electronic device and control method thereof |
-
2018
- 2018-12-28 JP JP2018247842A patent/JP7327938B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005223416A (en) | 2004-02-03 | 2005-08-18 | Sony Corp | Image processing system, image processing apparatus and image processing method, and program |
JP2016146098A (en) | 2015-02-09 | 2016-08-12 | 株式会社リコー | Video display system, information processing device, video display method, video display program, video processing device, video processing method, and video processing program |
WO2018043135A1 (en) | 2016-08-31 | 2018-03-08 | ソニー株式会社 | Information processing device, information processing method, and program |
US20180152636A1 (en) | 2016-11-28 | 2018-05-31 | Lg Electronics Inc. | Mobile terminal and operating method thereof |
JP2018180051A (en) | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | Electronic device and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2020106758A (en) | 2020-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111385669B (en) | Electronic device, control method, and computer-readable medium | |
EP3591499B1 (en) | Electronic device, control method for electronic device, program, and computer readable medium | |
US10924789B2 (en) | Display control apparatus, control method for display control apparatus, and non-transitory computer readable medium | |
KR102477993B1 (en) | Display control apparatus, imaging apparatus, control method, and computer readable medium | |
JP7267764B2 (en) | ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP7171406B2 (en) | Electronic device and its control method | |
JP2021174317A (en) | Electronic apparatus and control method therefor | |
JP7327938B2 (en) | Electronic device and its control method, program and storage medium | |
JP7208002B2 (en) | Electronic device and its control method | |
JP7214475B2 (en) | Electronic device and its control method | |
JP7204482B2 (en) | Electronic device and its control method | |
JP7278774B2 (en) | Electronic device and its control method | |
JP7313822B2 (en) | Electronic device, its control method, program and storage medium | |
JP2021069045A (en) | Display control device, display control method, program, and storage media | |
JP2020129340A (en) | Electronic device, electronic device control method, and program | |
CN110881102B (en) | Image capturing apparatus, control method of image capturing apparatus, and computer readable medium | |
JP7336200B2 (en) | Electronic device and its control method | |
US11558599B2 (en) | Electronic apparatus, control method for electronic apparatus, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7327938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |