JP7353821B2 - Image processing device, its control method, program - Google Patents
Image processing device, its control method, program Download PDFInfo
- Publication number
- JP7353821B2 JP7353821B2 JP2019116527A JP2019116527A JP7353821B2 JP 7353821 B2 JP7353821 B2 JP 7353821B2 JP 2019116527 A JP2019116527 A JP 2019116527A JP 2019116527 A JP2019116527 A JP 2019116527A JP 7353821 B2 JP7353821 B2 JP 7353821B2
- Authority
- JP
- Japan
- Prior art keywords
- front direction
- discomfort
- information
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、画像処理装置に関し、特に広視野角にわたる画像を処理する技術に関するものである。 The present invention relates to an image processing device, and particularly to a technique for processing images over a wide viewing angle.
近年、全方位画像に代表される、従来のカメラで撮影される画角よりも広い画角で撮影された撮影された画像をHMD(Head Mounted Display)で視認することが行われている。全方位画像とは、全方位カメラや魚眼レンズを用いたカメラなどを用いたカメラによって撮影された、水平・垂直方向に360度の全範囲を画角内に収めた画像である。 2. Description of the Related Art In recent years, it has become common practice to view captured images, such as omnidirectional images, captured at a wider angle of view than that captured by a conventional camera using an HMD (Head Mounted Display). An omnidirectional image is an image captured by a camera using an omnidirectional camera, a camera using a fisheye lens, or the like, and which covers the entire range of 360 degrees in the horizontal and vertical directions within the angle of view.
例えば、特許文献1では、全方位カメラで撮影した全方位パノラマ画像を、仮想的な3次元球体の内壁に張り付けることで仮想的な空間を生成し、生成した仮想空間の所望の場所をHMDで視認する技術が開示されている。
For example, in
また、特許文献1では、HMDでユーザが視認する際に、撮影画像のどの方位の画像を初期方向(正面方向)として出すのかを設定することについても開示されており、カメラの正面方向を、HMD視認時の正面方向として設定することが一般的であるとされている。
Furthermore,
しかしながら、例えばカメラを移動しながら撮影した動画をHMDなどで視聴する場合、視聴時のユーザにとっての正面方向と、カメラの移動の進行方向がずれていると、ユーザは不快感を生じやすくなる。 However, for example, when viewing a video shot while moving the camera on an HMD or the like, if the front direction for the user at the time of viewing is misaligned with the direction in which the camera is moving, the user is likely to feel uncomfortable.
本発明に係る画像処理装置の1つは、広視野角の動画を取得する動画取得手段と、前記動画取得手段により取得された動画を再生する際の基準方向となる正面方向を特定する正面方向特定手段と、前記動画取得手段により取得された動画の動き情報を取得する動き情報取得手段と、前記動き情報取得手段により取得された動き情報に基づき、前記動画の進行方向を特定する進行方向特定手段と、前記正面方向特定手段により特定された正面方向と、進行方向特定手段により特定された進行方向との差に基づき、不快度を示す情報を算出する算出手段と、前記不快度を示す情報が所定の閾値より大きい場合、所定の警告情報を出力する出力手段と、を有し、前記不快度を示す情報は、前記正面方向特定手段で特定した正面方向と、前記進行方向特定手段で特定された進行方向の差が大きいほど大きくなることを特徴とする。 One of the image processing devices according to the present invention includes a video acquisition unit that acquires a video with a wide viewing angle, and a front direction that specifies a front direction that is a reference direction when playing the video acquired by the video acquisition unit. identifying means; a motion information acquisition means for acquiring motion information of the video acquired by the video acquisition means; and a traveling direction identification for determining the traveling direction of the video based on the motion information acquired by the motion information acquisition means. means, a calculating means for calculating information indicating a degree of discomfort based on a difference between the front direction specified by the front direction specifying means and the traveling direction specified by the direction specifying means, and information indicating the degree of discomfort. is larger than a predetermined threshold , output means outputs predetermined warning information , and the information indicating the degree of discomfort includes a front direction specified by the front direction specifying means and a forward direction specified by the traveling direction specifying means. The larger the difference in the direction of travel, the larger the difference .
本発明により、広視野角の画像を視聴するユーザの不快感を低減させることができる。 Advantageous Effects of Invention According to the present invention, it is possible to reduce the discomfort of a user who views images with a wide viewing angle.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本実施形態では、画像処理装置の一例として、撮像装置の一種であるデジタルカメラを用いる例について説明する。もちろん、デジタルカメラに限定されるものではなく、いわゆるスマートフォンやタブレットデバイスなどの携帯端末、監視カメラ、医療機器、あるいは各種計測機器などに用いることができる。また、後述する画像の撮影・再生・編集時の動作は必ずしも同じ装置で行う必要はなく、画像を取り扱う手段を有する種々の装置を用いることができる。すなわち、撮影時の動作を第1の装置で行い、撮影画像を取り込んだ第2の装置で再生時の動作を行い、第2の装置、または撮影画像を取り込んだ第2の装置とは異なる第3の装置で編集時の動作を行うようにしてもよい。 Hereinafter, preferred embodiments of the present invention will be described in detail based on the accompanying drawings. In this embodiment, an example will be described in which a digital camera, which is a type of imaging device, is used as an example of an image processing device. Of course, the present invention is not limited to digital cameras, and can be used in mobile terminals such as so-called smartphones and tablet devices, surveillance cameras, medical equipment, and various measuring instruments. Further, the operations during image capture, playback, and editing, which will be described later, do not necessarily need to be performed by the same device, and various devices having means for handling images can be used. In other words, a first device performs the shooting operation, a second device that captures the captured image performs the playback operation, and a second device that is different from the second device or the second device that captures the captured image performs the shooting operation. The editing operation may be performed using the device No. 3.
<第1の実施形態>
以下、図1~図11を参照して、本発明の実施形態における、デジタルカメラについて説明する。
<First embodiment>
A digital camera according to an embodiment of the present invention will be described below with reference to FIGS. 1 to 11.
図1は、本発明の実施形態によるデジタルカメラの構成例を示すブロック図である。 FIG. 1 is a block diagram showing an example of the configuration of a digital camera according to an embodiment of the present invention.
図1において、100はデジタルカメラ全体、101、103はズームレンズ、フォーカスレンズを含む光学系である。102、104は光学像を電気信号に変換するCCDやCMOS素子等の撮像素子およびアナログ信号をデジタル信号に変換するA/D変換器で構成される撮像部である。105は撮像部102、104から出力される画像データに対し、ホワイトバランス処理や、γ処理、輪郭強調、色補正処理などの各種画像処理を行う画像処理部である。106は画像メモリ、107はLCD等の表示部、108は画像データを圧縮符号化・復号化するコーデック部である。
In FIG. 1, 100 is the entire digital camera, and 101 and 103 are optical systems including a zoom lens and a focus lens.
109は記録媒体110とのインタフェースI/F、110はメモリカードやハードディスク等の記録媒体、50はデジタルカメラ100のシステム全体を制御するシステム制御部である。
109 is an interface I/F with the
また、121は、プログラムやパラメータなどを格納するEEPROMなどの不揮発性メモリである。122はシステム制御部50の動作用の定数、変数、不揮発性メモリ124から読みだしたプログラム等を展開するシステムメモリである。123はユーザからの入力操作を受け付ける操作部である。
Further, 121 is a nonvolatile memory such as an EEPROM that stores programs, parameters, and the like. A
図6(A)に本デジタルカメラの外観を示す。101,103の2つの光学系は図6(A)に示すように180度逆向きに配置されており、2つの光学系および撮像部で360度全周囲の画像を撮影できるものとする。
Figure 6(A) shows the external appearance of this digital camera. The two
次に、上記のように構成されたデジタルカメラ100における被写体撮影時の基本動作について説明する。撮像部102、104は、光学系101、103を介して入射した光を光電変換し、入力画像信号として画像処理部105に出力する。
Next, the basic operation when photographing a subject in the
画像処理部105は、撮像部102、104から出力された画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理などを行う。また、画像処理部105では、撮像した画像データを用いて所定の評価値算出処理(図示しない)を行い、得られた評価値結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理などを行う。
The
画像処理部105から出力された画像データは、画像メモリ106に書き込まれる。画像メモリ106は、撮像部から出力された画像データや、表示部107に表示するための画像データを格納する。
The image data output from the
表示部107は、LCD等の表示器上に画像や、ユーザに対する操作指示情報(後述する)などの表示を行う。
The
コーデック部106は、画像メモリ106に記録された画像データをJPEG,MPEGなどの規格に基づきそれぞれ圧縮符号化する。システム制御部50は符号化した画像データを関連付けて、記録インタフェース109を介して記録媒体110に格納する。
The
以上、被写体撮影時の基本動作について説明した。 The basic operations when photographing a subject have been explained above.
上記の基本動作以外に、システム制御部50は、前述した不揮発性メモリ124に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部50の動作用の定数、変数、不揮発性メモリ121から読み出したプログラム等をシステムメモリ122に展開する。
In addition to the basic operations described above, the
次に、画像処理部105の詳細について図2を用いて説明する。図2は画像処理部105の構成を示すブロック図である。
Next, details of the
図2において、200(a)(b)は同時化処理部、201(a)(b)はWB増幅部、202(a)(b)は輝度・色信号生成部である。(a)と(b)は同じブロックを2系統備えていることを指している。203は合成処理部、204は動き検出部である。 In FIG. 2, 200(a) and 200(b) are synchronization processing units, 201(a) and 201(b) are WB amplification units, and 202(a) and 202(b) are brightness/color signal generation units. (a) and (b) indicate that two systems of the same block are provided. 203 is a composition processing unit, and 204 is a motion detection unit.
次に、画像処理部105における処理について説明する。図1の撮像部102から出力された画像信号は同時化処理部200(a)に入力され、撮像部104から出力された画像信号は同時化処理部200(b)にそれぞれ入力される。
Next, processing in the
同時化処理部200は入力されたベイヤーRGBの画像データに対して、同時化処理を行い、色信号R,G,Bを生成する。WB増幅部201は、システム制御部50が算出するホワイトバランスゲイン値に基づき、RGBの色信号にゲインをかけ、ホワイトバランスを調整する。WB増幅部201が出力したRGB信号は輝度・色信号生成部202に入力される。輝度・色信号生成部202は、RGB信号から輝度信号Yを生成し、輝度信号Yに対して、輪郭強調処理および輝度ガンマ補正などの各種処理を施し出力する。また、色信号RGBに対してマトリクス演算などを施し、所望のカラーバランスへ変換し、ガンマ補正を行った上で色差信号UVを生成する。
The
合成処理部203は、輝度・色信号生成部(a)(b)からそれぞれ出力された画像をパノラマ合成し1枚の全周囲画像を生成する。撮像部102、104で撮影される画像は水平・垂直180度の範囲をカバーしており、合成することで360度の全周囲画像を生成することが可能である。合成した360度の全周囲画像をメルカトル図法で展開した画像の例を図3(A)に示す。
The
合成処理部203で合成された360度全周囲画像は画像メモリ106に出力されるとともに、動き検出部204に出力される。動き検出部は、図3(B)に示すようなブロック単位で動きベクトルの代表値(中央値もしくは平均値)を算出する。算出した動きベクトルの例を図3(C)に示す。ブロック単位の動きベクトルの代表値を出すことで、局所的な動体の動きは検出せずに、画像全体の動きの方向を検出することができる。動き検出部204は、動き情報取得手段の一例である。
The 360-degree all-around image synthesized by the
画像処理部105は、合成した全周囲YUV画像および動きベクトル情報を出力する。
The
画像処理部105から画像メモリ106に出力されたYUV画像信号は、コーデック部110によって圧縮符号化し、記録媒体200に記録される。算出した動きベクトル情報は後述する各種制御で利用される。
The YUV image signal output from the
以上説明したように、撮像部102、104で撮像された画像を画像処理部105は動画取得手段として機能し処理することで、360度の全周囲画像を取得することができる。この場合、撮像部102、104および画像処理部105は協働して動画取得手段として機能する一例である。
As described above, the
(撮影時の警告制御)
次に、システム制御部50が、画像撮影時に撮影情報に基づき警告表示を行う処理フローについて図4を用いて説明する。システム制御部50は、撮影の一定期間毎(静止画の場合は撮影時)に図4のフローチャートに従ってユーザに対して警告を出すか否かの判定を行い、警告を出すと判定した場合は表示部107に警告表示を出すように制御する。つまりシステム制御部50は、動画の撮像中に図4のフローチャートに従う処理を実行可能である。
(Warning control during shooting)
Next, a processing flow in which the
なお、図4のフローチャートの処理の前に先立って、デジタルカメラ100はユーザによるメニュー操作(図示しない)を受け付け、HMDに表示する正面方向(基準方向)を設定する。HMDに表示する正面方向としては、例えばカメラの正面方向や、カメラの右45度方向、カメラの左45度方向などから選択することが可能である。このようにカメラの正面方向を決定する場合、システム制御部50は正面方向特定手段として機能する。本実施形態では、HMDに表示する正面方向として、カメラの正面方向が設定された場合について説明を行う。
Note that, prior to the processing in the flowchart of FIG. 4, the
図4は撮影時の警告制御を行うフローチャートである。 FIG. 4 is a flowchart for performing warning control during photographing.
まずステップS401において、システム制御部50は、現在の撮影モードが動画撮影モードであるか静止画撮影モードであるかを判定する。静止画撮影モードと判定した場合は、動きの方向による不快感を与えることはないため、ステップS409に進み、「警告なし」という警告情報をメタデータとして記録する。一方、動画撮影モードと判定した場合はステップS402に進む。
First, in step S401, the
ステップS402において、システム制御部50は、動き検出部204で検出した動きベクトル情報を取得する。検出した動きベクトルの例は図3(C)に示す。
In step S402, the
ステップS403において、システム制御部50は、取得した動きベクトル情報に基づき、撮影中にカメラ本体が移動している進行方向を推定する。進行方向の推定には、図3(C)に示す動きベクトルを利用する。具体的には、上下に隣接するブロックで上側のブロックが上向きのベクトル、下側のブロックが下向きのベクトルであるブロックを検出する。図3(C)の例の場合、301、302の隣接ブロックが該当する。該当する隣接ブロックが見つかると、この隣接ブロックの位置を進行方向と判定する。図3(C)のように複数の隣接ブロックが該当した場合は、検出した複数ブロック水平位置の平均値を進行方向とする。図3(C)の例では、ブロック301、302の位置の平均をとって303の方向を進行方向として決定する。本ステップにおいて、システム制御部50は進行方向特定手段として機能する。
In step S403, the
ステップS404において、システム制御部50は、カメラの移動速度を算出する。カメラの移動速度の推定には、ステップS403で検出した進行方向付近のブロック(図3(C)の場合は301、302)の動きベクトルを参照し、各動きベクトルの長さの平均値を移動速度とする。
In step S404, the
ステップS405において、システム制御部50は、ステップS403、S404で算出した進行方向および移動速度の情報に基づき、不快度を算出する。以下、不快度の算出に関して図5を用いて説明する。
In step S405, the
まずシステム制御部50は、不快度の算出のために、カメラの進行方向と、HMDに表示する正面方向との差を算出する。本実施形態では、前述のとおり、HMDに表示する正面方向がカメラの正面方向と同じになるように予め設定している。この場合の、HMDに表示される正面方向(=カメラの正面方向)とカメラの進行方向の関係を図5(A)に示す。図5(A)は、カメラを真上から見下ろした図になっており、100はカメラ本体、501は、HMDに表示する正面方向(=カメラの正面方向)、502がカメラの進行方向を示している。ここで、503に示すようなHMDに表示する正面方向(=カメラの正面方向)とカメラの進行方向の角度差を算出する。
First, the
次に、HMDに表示する正面方向(=カメラの正面方向)とカメラの進行方向の角度差に基づく角度不快度を算出する。角度不快度は図5(B)に示すグラフ特性から算出することができる。角度不快度は図5(B)に示す通り、HMDに表示する正面方向(=カメラの正面方向)とカメラの進行方向の角度差が大きくなるほど不快度が高くなるようになっている。 Next, the degree of angular discomfort is calculated based on the angular difference between the front direction displayed on the HMD (=the front direction of the camera) and the direction of movement of the camera. The degree of angular discomfort can be calculated from the graph characteristics shown in FIG. 5(B). As shown in FIG. 5B, the degree of angular discomfort increases as the angle difference between the front direction displayed on the HMD (=the front direction of the camera) and the direction of movement of the camera increases.
さらにシステム制御部50は、移動速度に基づく速度不快度を算出する。速度不快度は図5(C)に示すグラフ特性から算出することができる。速度不快度は、カメラの移動速度が速くなるほど不快度が高くなるようになっている。
Furthermore, the
上記のとおり角度不快度と速度不快度を算出すると、システム制御部50は、これらを荷重加算し総合不快度を算出する。総合不快度は、下記で算出できる。
総合不快度=α×角度不快度+β×速度不快度
ここで、α、βは0以上、1以下の重み係数である。
After calculating the degree of angular discomfort and the degree of speed discomfort as described above, the
Total discomfort level = α x Angle discomfort level + β x Speed discomfort level Here, α and β are weighting coefficients of 0 or more and 1 or less.
図4に戻り、ステップS406においてシステム制御部50は、総合不快度がある閾値以上の状態が所定の時間以上継続しているか判定する。ステップS405の総合不快度の算出は、撮影中の一定時間間隔で行っており、総合不快度が所定の閾値を超えた状態が所定の閾値以上の時間継続していると判定した場合にはステップS407に進む。
Returning to FIG. 4, in step S406, the
ステップS407において、システム制御部50は、不快度を低減するためにユーザに操作を促す警告情報を生成する。具体的には、不快度を上げている主要因を決定し、不快度を低減するための警告情報を生成する。本実施形態の場合、重み付け後の角度不快度と速度不快度の大きさを比較し、より大きい方が不快度を上げている主要因と判断する。そして不快度の主要因を低減するような操作をユーザに促す警告情報を生成する。具体的には、角度不快度が主要因と判定した場合には、「カメラ正面をどちらに向ければよいかを指示する情報」を生成し、速度不快度が主要因の場合には、「移動速度を下げるように指示する情報」を生成する。
In step S407, the
ステップS408において、システム制御部50は、生成した警告情報を表示部107に表示する。図6に警告情報表示の例を示す。図6において(A)はカメラ本体を示しており、107が表示部である。図6(B)は角度不快度が主要因と判定した場合の表示例を示しており、ユーザに撮像方向の変更を促すガイダンスの一例である。図6(B)では、文字情報601と矢印602を用いて、カメラの正面をどちらに向けるかを指示する。図6(C)は速度不快度が主要因の場合の表示例を示しており、ユーザに動画の動きの抑制を促すガイダンスの一例である。図6(C)では、文字情報でユーザに移動速度を下げるような警告を出している。なお、本実施形態では不快度の主要因を低減するような操作をユーザに促す警告情報を生成したが、必ずしもこの形態に限定されず、ユーザに対する種々の通知情報を出力し得る。例えば、「不快度の高い画像になる可能性が高いです」と警告するのみでもよいし、「進行方向と撮影方向が大きく異なります」、「移動速度が速すぎます」といった警告としてもよい。また、文字情報に限らず、所定のアイコンなどを表示するようにして、ユーザに対して通知を出力するようにしてもよい。
In step S408, the
ステップS409において、システム制御部50は、警告情報をメタデータとして画像データに記録する(警告情報メタデータ)。記録する情報としては警告の有無の情報、進行方向情報、移動速度情報、各種不快度情報、設定されたHMDの正面方向などの情報を記録する。
In step S409, the
以上説明したように、本実施形態におけるデジタルカメラ100は、撮影中に撮影状態に応じた警告表示を出力可能である。上記のように警告表示を行うことで、HMDの正面方向と移動方向がずれているなどの、視聴時に不快感を生じる条件での撮影をユーザが意図せずに行ってしまう事態を低減させることができる。
As described above, the
なお、本実施形態では、画像中の動きベクトルに基づきカメラの進行方向を推定したが、カメラの進行方向が推定できる構成であれば別の構成をとることも可能である。例えば、GPSの時系列情報や方位センサなどを用いて進行方向を推定する構成としても構わない。 Note that in this embodiment, the moving direction of the camera is estimated based on the motion vector in the image, but other configurations may be used as long as the moving direction of the camera can be estimated. For example, a configuration may be adopted in which the traveling direction is estimated using GPS time series information, a direction sensor, or the like.
また、本実施形態では、HMDに表示する正面方向は、カメラの正面方向と同じになるように設定した場合について説明したが、HMDに表示する正面方向をこれに限定するものではなく、ユーザの設定により自由に設定可能であるものとする。 Furthermore, in this embodiment, the case where the front direction displayed on the HMD is set to be the same as the front direction of the camera has been described, but the front direction displayed on the HMD is not limited to this, and the user It shall be possible to freely set the settings.
また、本実施形態では、警告情報を表示部107に出力する場合について説明したが、警告が撮影者に伝わる方法であればどのような手段を用いても構わない。例えばカメラにLEDを備え、LEDの位置や色、点灯パターンなどで警告を出すことや、スマーフォフォンなどの他のデバイスに警告情報を送信するなどの構成をとることも可能である。
Further, in this embodiment, a case has been described in which warning information is output to the
また、本実施形態では、360度の全周囲画像を扱う場合について説明したが、必ずしも360度全周囲の画像でなくても、他の広視野角画像に対して適用可能である。例えば、180度の広角画像に対しても適用してもよい。 Further, in this embodiment, a case has been described in which a 360-degree all-around image is handled, but the present invention is applicable to other wide-viewing-angle images, not necessarily a 360-degree all-around image. For example, it may also be applied to a 180 degree wide-angle image.
(再生時の制御)
次に、システム制御部50が、警告情報に基づき再生制御を行う処理フローについて図7を用いて説明する。システム制御部50は図7に示すフローに従って、記録媒体110に記録された画像の中から再生する画像を選択し、選択した画像を表示部107に出力する。
(Control during playback)
Next, a processing flow in which the
図7は、システム制御部50による警告情報に基づく再生制御のフローである。
FIG. 7 is a flowchart of playback control by the
まずステップS701において、システム制御部50は、再生モードが「酔い低減モード」であるか判定する。本実施形態では画像再生時のモードとして、「通常再生モード」と「酔い低減再生モード」を備えているものとする。システム制御部50は、メニュー画面(図示しない)に対するユーザ操作に応じて、上記2つの再生モードを切り替えることが可能である。「酔い低減モード」は不快度が高く酔いやすい画像を再生対象から除外して再生するモードである。「酔い低減モード」が選択されている場合はステップS702に進み、「通常再生モード」が選択されている場合はステップS704に進む。
First, in step S701, the
ステップS702において、システム制御部50は、記録媒体110に記録された画像データから撮影時に記録した警告情報メタデータを抽出する。
In step S702, the
ステップS703において、システム制御部50は、抽出した警告情報に従って、警告のない画像のみを抽出し、再生可能画像リストを生成する。
In step S703, the
一方、ステップS704において、システム制御部50は、「通常再生モード」のため記録媒体110に記録されたすべての画像を再生可能画像リストとして生成する。
On the other hand, in step S704, the
ステップS705において、システム制御部50は、記録媒体110に記録された画像をサムネイル表示する。このとき、前述の再生可能画像リストに含まれない画像はグレーアウトするか非表示にし、再生できないようにする。図8(A)にサムネイル表示の例を示す。図8(A)では記録媒体110に記録された各画像のサムネイル表示を行うが、再生可能画像リストに含まれない画像は801に示すようにグレーアウトで表示し、選択できないようにする。
In step S705, the
ステップS706において、システム制御部50は、ユーザ操作による画像選択を受け付け、選択された画像を表示部107に表示するよう制御する。
In step S706, the
以上、システム制御部50が、警告情報に基づき再生制御を行う処理フローについて説明した。上記のように、「酔い低減モード」になっている場合は、撮影時に不快度の警告判定を行った画像は再生させない構成とした。これにより、不快感を生じやすい画像を再生してしまうことを低減することが可能となる。
The processing flow in which the
なお、上記の実施形態では、警告判定をした画像を画像ファイル単位で再生させない構成としたが、動画像中の一部にだけ警告が出ている場合、警告が出ている範囲だけを除外して再生する構成を取ることも可能である。例えば、プレイリストを選択してプレイリストに含まれる画像を順次再生する際に、「酔い低減モード」の場合は、警告が出ている範囲だけを除外して再生することも可能である。この例を図8(B)に示す。図8(B)において、動画1~6からなる動画像のタイムラインを示している。警告情報は、動画像の各フレームにメタデータとして記録しておくものとする。動画4は802領域に警告判定を含んでおり、動画5は全体(803)に警告判定を含んでいるものとする。この場合、「酔い低減モード」の場合は警告が出ている範囲を除外して再生する。
In addition, in the above embodiment, an image for which a warning has been determined is not played in image file units, but if a warning is displayed only in a part of the video, only the range where the warning is displayed is excluded. It is also possible to adopt a configuration in which the data is played back. For example, when selecting a playlist and sequentially playing back the images included in the playlist, in the case of the "sickness reduction mode", it is also possible to exclude only the range where the warning is displayed and playback. An example of this is shown in FIG. 8(B). In FIG. 8(B), a timeline of moving images consisting of moving
また、上記実施形態では、警告の有無で再生する・しないの制御を行っていたが、再生する・しない以外の制御を行うことも可能である。例えば、不快感を生じる画像が含まれる場合には、「酔い低減モード」の場合には、再生の方法を通常再生とは異なる再生方法にすることで不快感を低減することが可能である。具体的な例としては、角度不快度情報、速度不快度情報をそれぞれメタデータとして記録しておく。そして、角度不快度が高い場合は、角度不快度が低減するようにHMDの正面方向を変化させて再生する。また、速度不快度が高い場合は、再生速度を低下させて不快度を低減させるように制御する。このように再生方法を制御することで不快感を低減することが可能となる。 Furthermore, in the embodiment described above, control is performed to perform playback or not depending on the presence or absence of a warning, but it is also possible to perform control other than playback or non-playback. For example, if an image that causes discomfort is included, in the case of the "sickness reduction mode", it is possible to reduce the discomfort by using a different reproduction method from normal reproduction. As a specific example, angle discomfort degree information and speed discomfort degree information are each recorded as metadata. When the degree of angular discomfort is high, the front direction of the HMD is changed and played back so that the degree of angular discomfort is reduced. Furthermore, when the degree of speed discomfort is high, control is performed to reduce the reproduction speed to reduce the degree of discomfort. By controlling the reproduction method in this way, it is possible to reduce discomfort.
また、上記実施形態では、撮影時に生成した警告情報のメタデータに基づき再生制御を行う場合について説明したが、警告情報や不快度を再生時に算出する構成をとることも可能である。 Further, in the above embodiment, a case has been described in which playback control is performed based on metadata of warning information generated at the time of shooting, but it is also possible to adopt a configuration in which warning information and discomfort level are calculated at the time of playback.
(編集時の警告制御)
次に、システム制御部50が、HMDに表示する正面方向を編集する際の警告処理フローについて図9を用いて説明する。システム制御部50はユーザからの操作を受け付けて、記録媒体110に記録された画像に設定されたHMDに表示する正面方向を後から編集することが可能である。
(Warning control during editing)
Next, a warning processing flow when the
図9はHMDに表示する正面方向を後から編集する際の警告処理フローを示している。 FIG. 9 shows a warning processing flow when the front direction displayed on the HMD is edited later.
まずステップS901において、システム制御部50は、HMDに表示する正面方向を編集したい画像ファイルをユーザ操作により選択する。図10は表示部107に表示する正面方向の編集画面を示した図である。選択された画像は図10の1001に示すようにメルカトル図法で展開されて表示される。図10において、1004は、現在設定されているHMDの正面方向を示している。ユーザは、HMDの正面方向1004を図10の編集画面上で自由に変更可能である。
First, in step S901, the
ステップS902において、システム制御部50は、画像ファイルのメタデータから、進行方向情報および移動速度情報を取得する。
In step S902, the
ステップS903において、システム制御部50は、メタデータから取得したカメラの進行方向情報と、移動速度情報に基づきHMD表示の正面方向として許容できる角度範囲を算出する。正面方向として許容できる角度範囲の算出は、図11に示すグラフの特性に基づき決定する。具体的には、撮影時のカメラの移動速度が速くなるほど、正面方向の許容範囲が狭くなる。カメラの進行方向を中心として許容角度範囲を示したものを図10に示す。図10において、1002がカメラの進行方向を示しており、カメラの進行方向を中心として、算出した許容範囲1003を設定する。
In step S903, the
ステップS904において、システム制御部50は、カメラ進行方向と、現在設定されているHMDの正面方向、ステップS903で算出した正面の許容範囲に基づき警告を出すか否かの判定を行う。具体的には、現在設定されているHMDの正面方向が、正面の許容範囲内に含まれるかを判定する。図10の例では、HMDの正面方向が1004であり、許容範囲1003に含まれないため警告を出すと判定する。
In step S904, the
ステップS905において、システム制御部50は、ステップS904で警告を出すと判定した場合に警告表示を行う。図10の例では、1005が警告の例である。また、図10において、1006は、現在編集中の動画データのタイムラインを示しており、1007の部分に警告が発生している領域があることを示している。
In step S905, the
以上、システム制御部50が、システム制御部50が、HMDに表示する正面方向を編集する際の処理フローについて説明した。このように、HMDに表示する正面方向の編集時に警告情報をユーザが視認しながらHMDに表示する正面方向を制御できるようになり、不快感を生じる画像を生成しにくくすることが可能となる。
The processing flow when the
<他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
<Other embodiments>
Further, the present invention can also be realized by executing the following processing. That is, the software (program) that realizes the functions of the embodiments described above is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.
Claims (7)
前記動画取得手段により取得された動画を再生する際の基準方向となる正面方向を特定する正面方向特定手段と、
前記動画取得手段により取得された動画の動き情報を取得する動き情報取得手段と、
前記動き情報取得手段により取得された動き情報に基づき、前記動画の進行方向を特定する進行方向特定手段と、
前記正面方向特定手段により特定された正面方向と、進行方向特定手段により特定された進行方向との差に基づき、不快度を示す情報を算出する算出手段と、
前記不快度を示す情報が所定の閾値より大きい場合、所定の警告情報を出力する出力手段と、を有し、
前記不快度を示す情報は、前記正面方向特定手段で特定した正面方向と、前記進行方向特定手段で特定された進行方向の差が大きいほど大きくなることを特徴とする画像処理装置。 a video acquisition means for acquiring a wide viewing angle video;
a front direction specifying means for specifying a front direction that is a reference direction when playing the video acquired by the video acquisition means;
motion information acquisition means for acquiring motion information of the video acquired by the video acquisition means;
a traveling direction identifying means for identifying a traveling direction of the moving image based on the motion information acquired by the motion information acquiring means;
Calculating means for calculating information indicating a degree of discomfort based on the difference between the front direction specified by the front direction specifying means and the traveling direction specified by the traveling direction specifying means;
output means for outputting predetermined warning information when the information indicating the degree of discomfort is greater than a predetermined threshold ;
The image processing device is characterized in that the information indicating the degree of discomfort increases as the difference between the front direction specified by the front direction specifying means and the traveling direction specified by the traveling direction specifying means increases.
前記不快度を示す情報は、前記移動速度が大きいほど大きくなることを特徴とする請求項1または2に記載の画像処理装置。 The calculation means further calculates information indicating the degree of discomfort based on the moving speed of the imaging device estimated based on the movement information acquired by the movement information acquisition means,
3. The image processing apparatus according to claim 1 , wherein the information indicating the degree of discomfort increases as the moving speed increases .
前記出力手段は、前記動画の撮像中に、撮像方向の変更を促す通知を前記警告情報として出力可能であることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 The video acquisition means includes an imaging means,
The image processing apparatus according to any one of claims 1 to 3 , wherein the output means is capable of outputting a notification prompting a change in the imaging direction as the warning information during imaging of the moving image.
前記出力手段は、前記動画の撮像中に、前記動画の動きの抑制を促す通知を前記警告情報として出力可能であることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 The video acquisition means includes an imaging means,
The image processing according to any one of claims 1 to 4 , wherein the output means is capable of outputting a notification urging suppression of movement of the moving image as the warning information during imaging of the moving image. Device.
広視野角の動画を取得する動画取得工程と、
前記動画取得工程で取得された動画を再生する際の基準方向となる正面方向を特定する正面方向特定工程と、
前記動画取得工程で取得された動画の動き情報を取得する動き情報取得工程と、
前記動き情報取得工程で取得された動き情報に基づき、前記動画の進行方向を特定する進行方向特定工程と、
前記正面方向特定工程で特定された正面方向と、前記進行方向特定工程で特定された進行方向との差に基づき、不快度を示す情報を算出する算出工程と、
前記不快度を示す情報が所定の閾値より大きい場合、所定の警告情報を出力する出力工程と、
を有する画像処理装置の制御方法。 A method for controlling an image processing device, the method comprising:
a video acquisition step of acquiring a wide viewing angle video;
a front direction identification step of identifying a front direction that is a reference direction when playing the video acquired in the video acquisition step;
a motion information acquisition step of acquiring motion information of the video acquired in the video acquisition step;
a traveling direction identifying step of identifying the traveling direction of the video based on the motion information acquired in the motion information acquiring step;
a calculating step of calculating information indicating a degree of discomfort based on the difference between the front direction specified in the front direction specifying step and the traveling direction specified in the traveling direction specifying step;
an output step of outputting predetermined warning information when the information indicating the degree of discomfort is greater than a predetermined threshold ;
A method for controlling an image processing device having the following.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019116527A JP7353821B2 (en) | 2019-06-24 | 2019-06-24 | Image processing device, its control method, program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019116527A JP7353821B2 (en) | 2019-06-24 | 2019-06-24 | Image processing device, its control method, program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021002803A JP2021002803A (en) | 2021-01-07 |
JP7353821B2 true JP7353821B2 (en) | 2023-10-02 |
Family
ID=73995192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019116527A Active JP7353821B2 (en) | 2019-06-24 | 2019-06-24 | Image processing device, its control method, program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7353821B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022220308A1 (en) * | 2021-04-16 | 2022-10-20 | パナソニックIpマネジメント株式会社 | Video display system and video display method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366937A (en) | 2001-06-08 | 2002-12-20 | Fuji Heavy Ind Ltd | Monitor outside vehicle |
JP2007129480A (en) | 2005-11-02 | 2007-05-24 | Omron Corp | Imaging device |
JP2012227653A (en) | 2011-04-18 | 2012-11-15 | Nikon Corp | Imaging apparatus and imaging method |
JP2012253451A (en) | 2011-05-31 | 2012-12-20 | Jvc Kenwood Corp | Imaging device and program |
-
2019
- 2019-06-24 JP JP2019116527A patent/JP7353821B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366937A (en) | 2001-06-08 | 2002-12-20 | Fuji Heavy Ind Ltd | Monitor outside vehicle |
JP2007129480A (en) | 2005-11-02 | 2007-05-24 | Omron Corp | Imaging device |
JP2012227653A (en) | 2011-04-18 | 2012-11-15 | Nikon Corp | Imaging apparatus and imaging method |
JP2012253451A (en) | 2011-05-31 | 2012-12-20 | Jvc Kenwood Corp | Imaging device and program |
Also Published As
Publication number | Publication date |
---|---|
JP2021002803A (en) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6288952B2 (en) | Imaging apparatus and control method thereof | |
JP5867424B2 (en) | Image processing apparatus, image processing method, and program | |
JP5235798B2 (en) | Imaging apparatus and control method thereof | |
JP5246159B2 (en) | Imaging device, image display device, program | |
KR101342477B1 (en) | Imaging apparatus and imaging method for taking moving image | |
JP4574459B2 (en) | Image capturing apparatus, control method therefor, program, and storage medium | |
CN109155815A (en) | Photographic device and its setting screen | |
JP5806623B2 (en) | Imaging apparatus, imaging method, and program | |
JP2008182485A (en) | Photographing device and photographing method | |
JP2007124279A (en) | Image processor | |
JP4760302B2 (en) | Imaging device | |
JP6261205B2 (en) | Image processing device | |
JP5200821B2 (en) | Imaging apparatus and program thereof | |
JP2008172342A (en) | Three-dimensional image recorder and three-dimensional image recording method | |
JP2007142702A (en) | Image processing apparatus | |
JP7353821B2 (en) | Image processing device, its control method, program | |
JP2015019397A (en) | Imaging synthesizing apparatus, image synthesizing method and program | |
JP2007124278A (en) | Imaging apparatus | |
JP5403087B2 (en) | Image processing device | |
JP2007124280A (en) | Imaging apparatus | |
JP2008048152A (en) | Moving picture processing apparatus, moving picture photographing apparatus and moving picture photographing program | |
JP2020046475A (en) | Image processing device and control method therefor | |
JP5168424B2 (en) | Imaging device | |
JP2010028237A (en) | Image pickup device and method for determining photographic parameter | |
JP6679333B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230920 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7353821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |