JPWO2010137104A1 - Video processing apparatus, video processing method, and video processing program - Google Patents
Video processing apparatus, video processing method, and video processing program Download PDFInfo
- Publication number
- JPWO2010137104A1 JPWO2010137104A1 JP2011515766A JP2011515766A JPWO2010137104A1 JP WO2010137104 A1 JPWO2010137104 A1 JP WO2010137104A1 JP 2011515766 A JP2011515766 A JP 2011515766A JP 2011515766 A JP2011515766 A JP 2011515766A JP WO2010137104 A1 JPWO2010137104 A1 JP WO2010137104A1
- Authority
- JP
- Japan
- Prior art keywords
- video
- processing
- sickness
- scene
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 383
- 238000003672 processing method Methods 0.000 title claims description 9
- 206010025482 malaise Diseases 0.000 claims abstract description 174
- 238000001514 detection method Methods 0.000 claims abstract description 138
- 230000001133 acceleration Effects 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 description 31
- 238000002474 experimental method Methods 0.000 description 21
- 238000012986 modification Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 238000013500 data storage Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 101150102700 pth2 gene Proteins 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 201000003152 motion sickness Diseases 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
映像処理装置は、映像酔いシーン検出手段と、映像加工手段と、を備える。映像酔いシーン検出手段は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する。また、映像加工手段は、映像酔いシーン検出手段の検出結果に基づきシーンの加工処理を行う。The video processing apparatus includes a video sickness scene detection unit and a video processing unit. The video sickness scene detecting means detects a scene in which video sickness occurs from the video data composed of a plurality of image frames when the video data is reproduced. The video processing means performs scene processing based on the detection result of the video sickness scene detection means.
Description
本発明は、移動体により撮影された映像データから特定のシーンを検出し、加工する映像処理技術に関する。 The present invention relates to a video processing technique for detecting and processing a specific scene from video data shot by a moving body.
従来から、撮影された複数の画像フレームからなる動画(映像データ)を目的に合わせ加工する技術が存在する。例えば、特許文献1には、動画撮影時の加速度に応じて、再生又は記録するフレーム数を調節し、動画の再生速度を調整する技術が開示されている。
2. Description of the Related Art Conventionally, there is a technique for processing a moving image (video data) including a plurality of captured image frames in accordance with the purpose. For example,
一般に、ドライブレコーダなどの車載カメラにより取得された映像データを視聴する場合、移動体の揺れ等に起因して違和感が発生し、映像酔いが生じる可能性がある。ここで、「映像酔い」とは、映像を視聴している際に引き起こされる吐き気、めまい、頭痛、眼精疲労などの症状を指す。映像酔いは、主に、運動する視覚刺激に起因して発生する。従って、上述の場合、視聴者の映像酔いを防ぐためには、移動体から撮影された映像データを適切に加工する必要がある。特許文献1には、上記の問題は、何ら検討されていない。
In general, when viewing video data acquired by an in-vehicle camera such as a drive recorder, a sense of incongruity may occur due to shaking of a moving body, and video sickness may occur. Here, “video sickness” refers to symptoms such as nausea, dizziness, headache, and eye strain caused by watching video. Image sickness occurs mainly due to moving visual stimuli. Therefore, in the above-described case, in order to prevent viewers from getting sick of video, it is necessary to appropriately process video data captured from a moving body. In
本発明は、上記のような課題を解決するためになされたものであり、再生時の映像酔いを抑制するため、映像データを適切に加工することが可能な映像処理装置を適用することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to apply a video processing apparatus capable of appropriately processing video data in order to suppress video sickness during playback. And
請求項1に記載の発明は、映像処理装置は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、を備えることを特徴とする。 According to the first aspect of the present invention, the video processing apparatus includes a video sickness scene detecting unit that detects a scene in which video sickness occurs when the video data is reproduced from video data composed of a plurality of image frames, and the video sickness scene. Video processing means for processing the scene based on the detection result of the detection means.
請求項14に記載の発明は、映像処理装置は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出工程と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工工程と、を備える。 According to a fourteenth aspect of the present invention, there is provided a video sickness scene detection step in which the video processing device detects a scene in which video sickness occurs during reproduction of the video data from video data composed of a plurality of image frames, and the video sickness scene. An image processing step of processing the scene based on the detection result of the detection means.
請求項15に記載の発明は、コンピュータにより実行される映像処理プログラムであって、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、を備える。 The invention according to claim 15 is a video processing program executed by a computer, wherein the video sickness scene detection detects a scene in which video sickness occurs during reproduction of the video data from video data composed of a plurality of image frames. And video processing means for processing the scene based on the detection result of the video sickness scene detection means.
本発明の1つの観点では、映像処理装置は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、を備える。 In one aspect of the present invention, the video processing apparatus includes: a video sickness scene detection unit that detects a scene in which video sickness occurs when the video data is reproduced from video data including a plurality of image frames; and the video sickness scene detection. Image processing means for processing the scene based on the detection result of the means.
上記の映像処理装置は、映像酔いシーン検出手段と、映像加工手段と、を備える。映像酔いシーン検出手段は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する。ここで、「映像酔いが生じるシーン」とは、具体的には映像酔いを引き起こす映像に対応する1または連続した複数の画像フレームを指す。また、映像加工手段は、映像酔いシーン検出手段の検出結果に基づきシーンの加工処理を行う。ここで、「検出結果」とは、映像酔いシーンの有無に関する情報に限らず、例えば、その映像酔いの度合に関する情報を含んでもよい。このようにすることで、映像処理装置は、映像データを映像酔いが生じない映像データに適切に変換することができる。 The video processing apparatus includes video sickness scene detection means and video processing means. The video sickness scene detection means detects a scene in which video sickness occurs when the video data is reproduced from the video data composed of a plurality of image frames. Here, the “scene where video sickness occurs” specifically refers to one or a plurality of continuous image frames corresponding to a video causing video sickness. The video processing means performs scene processing based on the detection result of the video sickness scene detection means. Here, the “detection result” is not limited to information related to the presence or absence of a video sickness scene, and may include information related to the degree of video sickness, for example. In this way, the video processing apparatus can appropriately convert the video data into video data that does not cause video sickness.
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記映像データの再生時の映像変化が大きい程、映像酔いが生じる蓋然性が高く、かつ、映像酔いの度合が強いと判断する。一般に、映像変化が激しいほど、映像酔いが発生することが知られている。従って、このようにすることで、映像酔いシーン検出手段は、適切に映像酔いが生じるシーンを検出することができる。 In another aspect of the above video processing device, the video sickness scene detecting means has a higher probability of video sickness and a higher degree of video sickness as the video change during reproduction of the video data is larger. to decide. In general, it is known that video sickness occurs as the video changes more severely. Therefore, by doing in this way, the video sickness scene detection means can detect the scene where video sickness occurs appropriately.
上記の映像処理装置の他の一態様では、前記映像データは、移動体に搭載された撮像装置から撮影されたものであり、前記映像酔いシーン検出手段は、前記映像データと時間的に対応する前記移動体の挙動に関する情報に基づき前記シーンを検出する。ここで、「移動体の挙動に関する情報」とは、例えば、加速度センサの検出値、ジャイロスコープの検出値、GPS(Global Positioning System)の検出値等の移動体に備わる各種センサの検出値が該当する。また、「時間的に対応する」とは、映像データの撮影時刻と上述のセンサが移動体の挙動を検出した時刻とが略一致することをいう。このように、映像酔いシーン検出手段は、移動体の挙動が撮像装置の撮像環境に影響を与えることに着目することで、適切に映像酔いシーンを検出することができる。 In another aspect of the video processing device, the video data is taken from an imaging device mounted on a moving body, and the video sickness scene detection unit temporally corresponds to the video data. The scene is detected based on information on the behavior of the moving object. Here, the “information regarding the behavior of the moving object” corresponds to detection values of various sensors included in the moving object such as a detection value of an acceleration sensor, a detection value of a gyroscope, a detection value of a GPS (Global Positioning System), and the like. To do. Further, “corresponding in terms of time” means that the shooting time of the video data and the time when the above-described sensor detects the behavior of the moving body substantially coincide. In this way, the video sickness scene detection unit can appropriately detect the video sickness scene by paying attention to the fact that the behavior of the moving body affects the imaging environment of the imaging device.
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の側面方向の加速度に基づき前記シーンを検出する。ここで、「側面方向」とは、移動体の進行方向と略垂直方向であり、かつ、走行経路と略平行である方向を指す。従って、この態様では、映像酔いシーン検出手段は、移動体がカーブを走行中など撮像装置の撮像環境が安定しない場合に生成された映像データを適切に映像酔いシーンとして検出することができる。 In another aspect of the video processing device, the video sickness scene detection unit detects the scene based on acceleration in a side surface direction of the moving body. Here, the “side surface direction” refers to a direction that is substantially perpendicular to the traveling direction of the moving body and is substantially parallel to the travel route. Therefore, in this aspect, the video sickness scene detection means can appropriately detect the video data generated when the imaging environment of the imaging device is not stable, such as when the moving body is running on a curve, as a video sickness scene.
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の停止時と時間的に対応する映像データを、映像酔いが発生しないと判断する。一般に、移動体の停止時に撮影された映像データは、映像酔いが生じないことが考えられる。一方、例えば移動体が側面方向に傾斜を有する斜面に停止した場合には、加速度センサから取得された移動体の側面方向の加速度は、停止中であっても当該傾斜に応じて大きくなる。従って、この場合であっても、映像酔いシーン検出手段は、移動体の停止時に撮影された映像データを映像酔いシーンと誤判断するのを防ぐことができる。 In another aspect of the video processing apparatus, the video sickness scene detection unit determines that video motion sickness does not occur in video data corresponding to the time when the moving body is stopped. Generally, it is considered that video sickness does not occur in video data taken when a moving body is stopped. On the other hand, for example, when the moving body stops on a slope having an inclination in the side surface direction, the acceleration in the side direction of the moving body acquired from the acceleration sensor increases according to the inclination even when the moving body is stopped. Therefore, even in this case, the video sickness scene detection means can prevent erroneous determination of video data taken when the moving body is stopped as a video sickness scene.
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の速度又は/及び前記移動体の加速度に基づき前記移動体が停止時であるか否か判断する。このようにすることで、映像酔いシーン検出手段は、適切に移動体が停止中であるか否かを判断することができる。 In another aspect of the video processing apparatus, the video sickness scene detection unit determines whether or not the moving body is at a stop based on the speed of the moving body and / or the acceleration of the moving body. By doing in this way, the video sickness scene detection means can appropriately determine whether or not the moving body is stopped.
上記の映像処理装置の他の一態様では、前記移動体の走行経路の曲率に基づき前記シーンを検出する。一般に、移動体の走行経路の曲がり度合が大きいカーブを走行中に撮影された映像データは、映像酔いを生じやすい。従って、映像処理装置は、走行経路の曲率に基づき映像酔いシーンを適切に検出することができる。 In another aspect of the video processing device, the scene is detected based on a curvature of a traveling route of the moving body. In general, video data shot while traveling on a curve with a large degree of bending of the travel route of a mobile object is likely to cause video sickness. Therefore, the video processing apparatus can appropriately detect a video sickness scene based on the curvature of the travel route.
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の進行方向の加速度に基づき前記シーンを検出する。一般に、急加減速中に撮影された映像は、映像酔いが生じやすい。従って、この態様では、映像酔いシーン検出手段は、例えば進行方向の加速度の絶対値が所定値以上の場合、当該映像データを映像酔いシーンとみなす。この場合、上述の所定値は、実験等に基づき適切な値に設定される。 In another aspect of the video processing apparatus, the video sickness scene detection unit detects the scene based on acceleration in the traveling direction of the moving body. In general, video shot during sudden acceleration / deceleration tends to cause video sickness. Therefore, in this aspect, the video sickness scene detection means regards the video data as a video sickness scene when, for example, the absolute value of the acceleration in the traveling direction is a predetermined value or more. In this case, the predetermined value is set to an appropriate value based on experiments or the like.
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記移動体の走行経路の進行方向の傾斜に基づき前記シーンを検出する。一般に、上り坂又は下り坂を走行中に撮影された映像は、映像酔いが生じやすい。従って、映像酔いシーン検出手段は、GPSによる位置情報及び地図情報等に基づき傾斜を把握することで、適切に映像酔いシーンを検出することができる。 In another aspect of the video processing apparatus, the video sickness scene detection unit detects the scene based on an inclination in a traveling direction of a travel route of the moving body. In general, video shot while traveling uphill or downhill is likely to cause video sickness. Therefore, the video sickness scene detection means can detect the video sickness scene appropriately by grasping the inclination based on the position information and map information by GPS.
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記映像加工手段により加工すべき度合を示す加工度合を算出し、前記映像加工手段は、前記加工度合が大きいほど、当該加工度合に時間的に対応する映像データの再生速度を小さく設定する。一般に、映像酔いは、その映像データの再生速度を小さくすることで低減される。従って、映像加工手段は、加工度合が大きいほど、当該映像データにフレームを補間等することにより映像データの再生速度を小さくすることで、適切に映像酔いシーンを加工することができる。 In another aspect of the video processing device, the video sickness scene detection unit calculates a processing degree indicating a degree to be processed by the video processing unit, and the video processing unit increases the processing degree, The reproduction speed of the video data corresponding to the processing degree in time is set small. In general, video sickness is reduced by reducing the playback speed of the video data. Accordingly, the video processing means can appropriately process the video sickness scene by reducing the reproduction speed of the video data by interpolating a frame with the video data as the degree of processing increases.
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記映像加工手段により加工すべき度合を示す加工度合を算出し、前記映像加工手段は、前記加工度合が第1閾値以上の場合、当該加工度合に時間的に対応する映像データの表示サイズを縮小する。第1閾値は、実験等に基づき適切な値に設定される。一般に、映像酔いは、映像データの表示サイズを縮小することで低減される。従って、映像加工手段は、加工度合が第1閾値より大きい映像データに対し、表示サイズを縮小することで、再生時の映像酔いを適切に防ぐことができる。 In another aspect of the video processing apparatus, the video sickness scene detection unit calculates a processing level indicating a level to be processed by the video processing unit, and the video processing unit has the processing level as a first threshold value. In the above case, the display size of the video data corresponding temporally to the processing degree is reduced. The first threshold value is set to an appropriate value based on experiments or the like. In general, video sickness is reduced by reducing the display size of video data. Therefore, the video processing means can appropriately prevent video sickness during playback by reducing the display size of video data whose processing degree is larger than the first threshold.
上記の映像処理装置の他の一態様では、前記映像酔いシーン検出手段は、前記映像加工手段により加工すべき度合を示す加工度合を算出し、前記映像加工手段は、前記加工度合が第2閾値以上の場合、当該加工度合に時間的に対応する映像データを構成するフレームを削除する。第2閾値は、実験等に基づき適切な値に設定される。このように、映像加工手段は、加工すべき度合が大きい、即ち、映像酔いが生じる可能性が高い部分を削除することで、再生時の映像酔いを確実に防ぐことができる。 In another aspect of the video processing apparatus, the video sickness scene detection unit calculates a processing level indicating a level to be processed by the video processing unit, and the video processing unit has a second threshold value for the processing level. In the above case, the frames constituting the video data corresponding temporally to the processing degree are deleted. The second threshold is set to an appropriate value based on experiments or the like. In this way, the video processing means can reliably prevent video sickness during playback by deleting a portion that has a high degree of processing, that is, that is highly likely to cause video sickness.
上記の映像処理装置の他の観点では、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出工程と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工工程と、を備える。映像処理装置は、この方法を用いることにより、映像データを映像酔いが生じない映像データに適切に変換することができる。 In another aspect of the video processing apparatus, a video sickness scene detection step of detecting a scene in which video sickness occurs during reproduction of the video data from video data composed of a plurality of image frames, and the video sickness scene detection means And an image processing step for processing the scene based on the detection result. By using this method, the video processing apparatus can appropriately convert the video data into video data that does not cause video sickness.
上記の映像処理装置のさらに別の観点では、コンピュータにより実行される映像処理プログラムであって、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、を備える。映像処理装置は、上記のプログラムを搭載することで、映像データを映像酔いが生じない映像データに適切に変換することができる。なお、好適な例では、上記のプログラムは、記憶媒体に記憶される。 In still another aspect of the above video processing device, the video processing program is executed by a computer, and detects a scene in which video sickness occurs when video data is reproduced from video data composed of a plurality of image frames. A sickness scene detection means; and a video processing means for processing the scene based on a detection result of the video sickness scene detection means. By installing the above-described program, the video processing apparatus can appropriately convert the video data into video data that does not cause video sickness. In a preferred example, the above program is stored in a storage medium.
以下、図面を参照して本発明の好適な各実施例について説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[概要説明]
まず、後述する各実施例の説明に先立って、本発明に係る映像処理装置の概要について図1を用いて説明する。[Overview]
First, prior to the description of each embodiment to be described later, an outline of a video processing apparatus according to the present invention will be described with reference to FIG.
図1は、本発明に係る映像処理システムの概略構成図である。図1に示すように、映像処理システムは、映像処理装置100と、映像入力装置200と、映像出力装置300と、を備える。映像処理システムは、車両などの移動体に搭載される。以後、一例として映像処理システムは車両に搭載されるものとして説明する。
FIG. 1 is a schematic configuration diagram of a video processing system according to the present invention. As shown in FIG. 1, the video processing system includes a
映像入力装置200は、車両に設置された撮像装置、または、予め撮像装置によって撮影された複数の画像フレームから構成される映像データSv及び撮像中に検出された各種センサの検出値(以後、「センサ値Se」と呼ぶ。)を保持する記録装置として機能する。上述の各種センサについては後述する。
The
映像処理装置100は、映像入力装置200及び映像出力装置300と電気的に接続している。そして、映像処理装置100は、映像入力装置200から映像データSvの供給を受けると共に、車両に搭載された各種センサからのセンサ値Seまたは映像入力装置から供給されたセンサ値Seに基づき映像データSv中に映像酔いが生じる部分(以後、「映像酔いシーン」と呼ぶ。)を特定する。そして、映像処理装置100は、映像酔いシーンを加工することで映像酔いが発生しない映像データ(以後、「加工後映像データSvr」と呼ぶ。)を生成し、加工後映像データSvrを映像記録装置300へ供給する。映像処理装置100は、映像酔いシーン検出部1と、映像加工部2と、を備える。
The
映像酔いシーン検出部1は、車両の挙動または映像データSv等を解析することにより、映像データSv中の映像酔いシーンを特定する。具体的には、映像酔いシーン検出部1は、センサ値Seに基づき、カーブ(即ち所定値以上の曲率を有する走行経路)の検出、又は/及び、車両の急加減速の有無の検出、走行経路の傾斜の変化の検出を行い、これらに対応する映像データSvを映像酔いシーンとして特定する。また、映像酔いシーン検出部1は、検出した映像酔いシーンに対して映像加工部2が実行する加工の度合(以後、「加工度合P」と呼ぶ。)を決定する。
The video sickness
より具体的には、映像酔いシーン検出部1は、例えば、以下に示す情報のうち、1又は任意に組み合わせた複数の情報に基づきカーブを検出すると共に、加工度合Pを決定する。
・舵角センサ及び車速センサの検出値に基づき算出された車両の角速度
・GPSまたは所定の地図情報に基づき特定される車両の位置情報
・ジャイロスコープの検出値に基づき算出された車両の角速度
・加速度センサから取得した車両の前後方向又は側面(左右)方向の加速度
・映像データSvを構成する各フレームを画像処理することで得られたパラメータ、その他映像データSvを画像処理することで得られた情報
なお、これらの情報に基づきカーブを検出する方法及び加工度合Pを算出する具体例については、後述する実施例で詳しく説明する。More specifically, for example, the video sickness
・ Vehicle angular velocity calculated based on detection values of the rudder angle sensor and vehicle speed sensor
-Vehicle location information specified based on GPS or predetermined map information
・ Vehicle angular velocity calculated based on detected value of gyroscope
・ Acceleration in the front-rear direction or side (left-right) direction of the vehicle acquired from the acceleration sensor
-Parameters obtained by performing image processing on each frame constituting the video data Sv, and other information obtained by performing image processing on the video data Sv. A method for detecting a curve based on these information and the processing degree P A specific example of calculating the value will be described in detail in an example described later.
また、映像酔いシーン検出部1は、例えば、加速度センサの検出値又は/及び車速センサの検出値に基づき、車両の急加減速の有無を検出する。ここで、「急加減速」とは、例えば車両の側面方向又は前後方向の加速度の絶対値が所定値以上に達した場合を指す。上述の所定値は、実験等に基づき適切な値に設定される。
The motion sickness
さらに、映像酔いシーン検出部1は、例えば、以下の情報のうち、1又は任意に組み合わせた複数の情報に基づき、走行経路の走行経路の傾斜角に急激な変化(例えば上がり始め、下がり始め)を検出する。
・ジャイロスコープ等の検出値に基づき算出された車両の前後方向の傾斜度
・GPSまたは所定の地図情報に基づき算出された高度
・映像データSvを構成する各フレームを画像処理することで得られたパラメータ、その他映像データSvを画像処理することで得られた情報
映像加工部2は、映像酔いシーン検出部1から供給された加工度合Pに基づき、映像データSvを加工する。例えば、映像加工部2は、映像酔いシーンに対し、加工度合Pに応じてフレームの間引き又はフレームの補間を行うことで、映像酔いシーンの再生される速度の設定(以後、「映像速度」と呼ぶ。)を変更する。他の例として、映像加工部2は、映像酔いシーンの各フレームに対し、加工度合Pに応じて画像サイズを小さくする。さらに他の例として、映像加工部2は、映像酔いシーン部分に対応するフレームを削除する。映像加工部2は、これらの方法を1又は任意に複数選択し実行することにより、映像酔いが発生しない加工後映像データSvrを生成することができる。Furthermore, the video sickness
・ The inclination of the vehicle in the longitudinal direction calculated based on the detection value of a gyroscope, etc.
・ Altitude calculated based on GPS or predetermined map information
-Parameters obtained by image processing of each frame constituting the video data Sv, and other information obtained by image processing of the video data Sv The
映像出力装置300は、映像処理装置100から供給された加工後映像データSvrをディスプレイなどに表示する表示装置、又は/及び、加工後映像データSvrを記録する映像記録装置として機能する。
The
以下の第1実施例乃至第5実施例では、上述した映像処理システムのより詳細な処理について説明する。 In the following first to fifth embodiments, more detailed processing of the above-described video processing system will be described.
[第1実施例]
次に、第1実施例について説明する。以下では、映像処理装置100を適用したナビゲーション装置の概略構成について説明した後、映像処理装置100が実行する映像処理方法、処理フロー、及び各変形例について順に説明する。[First embodiment]
Next, the first embodiment will be described. Hereinafter, after describing a schematic configuration of a navigation device to which the
(概略構成)
図2は、映像処理装置100を適用したナビゲーション装置の概略構成の一例を示す。図2に示すように、ナビゲーション装置は、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50及び入力装置60を備える。なお、後述するように、第1実施例に係る映像処理装置100は、CPU22及び加速度センサ11に該当する。(Outline configuration)
FIG. 2 shows an example of a schematic configuration of a navigation apparatus to which the
自立測位装置10は、加速度センサ11、角速度センサ12及び距離センサ13を備える。加速度センサ11は、例えば圧電素子からなり、車両の前後方向又は/及び水平方向の加速度を検出し、加速度データを出力する。角速度センサ12は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ13は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
The
GPS受信機18は、複数のGPS衛星から、測位用データを含む下り回線データを搬送する電波19を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。
The
システムコントローラ20は、インタフェース21、CPU(Central Processing Unit)22、ROM(Read Only Memory)23及びRAM(Random Access Memory)24を含んでおり、映像処理装置100全体の制御を行う。
The
インタフェース21は、加速度センサ11、角速度センサ12及び距離センサ13並びにGPS受信機18とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、GPS測位データ、絶対方位データ等をシステムコントローラ20に入力する。
The interface 21 performs an interface operation with the
CPU22は、システムコントローラ20全体を制御する。CPU22は、予め用意されたプログラムを実行することにより、上述の映像酔いシーン検出部1及び映像加工部2として機能する。ROM23は、システムコントローラ20を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。RAM24は、入力装置60を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、CPU22に対してワーキングエリアを提供したりする。
The CPU 22 controls the
システムコントローラ20、CD−ROMドライブ又はDVD−ROMドライブなどのディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、表示ユニット40、音声出力ユニット50及び入力装置60は、バスライン30を介して相互に接続されている。
A
ディスクドライブ31は、システムコントローラ20の制御の下、CD又はDVDといったディスク33から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ31は、CD−ROMドライブ又はDVD−ROMドライブのうち、いずれか一方としてもよいし、CD及びDVDコンパチブルのドライブとしてもよい。データ記憶ユニット36は、例えば、HDDなどにより構成され、地図情報などのナビゲーション処理に用いられる各種データを記憶するユニットである。通信装置38は、例えば、FMチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、VICS(Vehicle Information Communication System)センタなどから配信される情報(以下、「VICS情報」と呼ぶ。)を電波39より取得する。そしてインタフェース37は、通信装置38のインタフェース動作を行い、VICS情報をシステムコントローラ20等に入力する。
The
表示ユニット40は、システムコントローラ20の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ20は、データ記憶ユニット36から地図データを読み出す。表示ユニット40は、システムコントローラ20によってデータ記憶ユニット36から読み出された地図データなどを表示画面上に表示する。表示ユニット40は、バスライン30を介してCPU22から送られる制御データに基づいて表示ユニット40全体の制御を行うグラフィックコントローラ41と、VRAM(Video RAM)等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ42と、グラフィックコントローラ41から出力される画像データに基づいて、液晶、CRT(Cathode Ray Tube)等のディスプレイ44を表示制御する表示制御部43と、ディスプレイ44とを備える。ディスプレイ44は、画像表示部として機能し、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
The
音声出力ユニット50は、システムコントローラ20の制御の下、CD−ROMドライブ31又はDVD−ROM32、若しくはRAM24等からバスライン30を介して送られる音声デジタルデータのD/A(Digital to Analog)変換を行うD/Aコンバータ51と、D/Aコンバータ51から出力される音声アナログ信号を増幅する増幅器(AMP)52と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ53とを備えて構成されている。
The
入力装置60は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置60は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ44の周囲に配置される。
(映像処理方法)
次に、映像処理装置100が実行する映像処理方法について説明する。第1実施例では、映像処理装置100は、水平方向の加速度(以後、「加速度As」と呼ぶ。)に基づき走行中のカーブを検出し、当該カーブを走行中に撮影された映像データSvを映像酔いシーンとして特定する。さらに、映像処理装置100は、加速度Asの絶対値に基づき加工度合Pを算出し、当該加工度合Pに基づき映像酔いシーンの再生される速度を遅く設定する。これにより、映像処理装置100は、映像酔いが抑制された加工後映像データSvrを適切に生成する。The
(Video processing method)
Next, a video processing method executed by the
以下、図3を参照し、上述した処理の詳細を説明する。図3は、第1実施例に係る映像処理システムの機能ブロック図の一例である。図3に示すように、映像処理装置100は、車両から所定の方向に向けて撮影を行う撮像装置200xから映像データSvの供給を受けると共に、データを記録可能な映像記録装置300xへ加工後映像データSvrを供給する。映像処理装置100は、水平方向加速度判定部15と、車両停止判定部16と、カーブ検出部17と、映像速度変換部2xと、加速度センサ11と、を備える。
The details of the above-described processing will be described below with reference to FIG. FIG. 3 is an example of a functional block diagram of the video processing system according to the first embodiment. As shown in FIG. 3, the
水平方向加速度判定部15は、加速度センサ11から加速度Asの供給を受けると共に、加速度Asに基づき所定のマップ又は式を参照することで加工度合Pを算出する。上述のマップ又は式は、例えば実験等に基づき事前に作成され、ROM23又はデータ記憶ユニット36などのメモリに保持される。
The horizontal direction acceleration determination unit 15 receives the supply of the acceleration As from the
これについて図4(a)を用いて具体的に説明する。図4(a)は、映像速度変換部2xで決定される加工度合Pと加速度Asの絶対値とのマップの一例である。図4(a)では、加工度合Pは、0から1の間の値に設定され、1に近づく程映像速度変換部2xで映像データSvを加工すべき度合が大きくなることを示す
図4(a)に示すように、水平方向加速度判定部15は、加速度Asの絶対値が大きいほど、加工度合Pを大きく設定する。言い換えると、水平方向加速度判定部15は、加速度Asの絶対値が大きいほど走行経路のカーブの度合(曲率)が大きく、撮像装置200xから供給される映像データSvに加工すべき度合が大きいより重度な映像酔いシーンが発生すると判断する。このようにすることで、水平方向加速度判定部15は、加速度Asの絶対値が大きい部分ほどこれと時間的に対応する映像データSvの映像速度が遅くなるように加工度合Pを適切に設定することができる。なお、上述の「時間的に対応する」とは、加速度センサ11が加速度Asを検出した時刻と撮像装置200xが映像データSvを生成した時刻とが一致することを指す。This will be specifically described with reference to FIG. FIG. 4A is an example of a map of the processing degree P determined by the video
次に、車両停止判定部16が実行する処理について説明する。車両停止判定部16は、加速度センサ11から供給される加速度Asの所定時間幅における変動幅(以後、「変動幅W」と呼ぶ。)に基づき、車両が停止中であるか否かを判定し、その判定結果(以後、「判定結果J」と呼ぶ。)をカーブ検出部17に供給する。上述の所定時間幅は、実験等に基づき適切な値に設定される。具体的には、車両停止判定部16は、変動幅Wが所定の閾値(以後、「閾値Wth」と呼ぶ。)以下の場合、車両は停止していると判定する。閾値Wthは、例えば車両が停止しているとみなすことができる変動幅Wの上限値に実験等に基づき設定される。
Next, the process which the vehicle stop determination part 16 performs is demonstrated. The vehicle stop determination unit 16 determines whether or not the vehicle is stopped based on a fluctuation width (hereinafter referred to as “fluctuation width W”) of the acceleration As supplied from the
これについて補足説明する。一般に、車両の側面方向に傾斜を有する斜面に車両が停止中の場合、加速度センサ11に基づき検出される加速度Asの絶対値は、重力に起因して当該傾斜に応じて大きくなる。一方、上述の場合に撮像装置200xから生成された映像データSvは、車両が停止していることから再生時の映像変化が少なく映像酔いが生じない。以上を考慮し、車両停止判定部16は、車両が停止中か否か判断することで、斜面で車両が停止中に取得した映像データSvを映像酔いシーンと誤判断するのを防ぎ、不要な映像加工処理を実行するのを抑制することができる。
This will be supplementarily described. In general, when the vehicle is stopped on a slope having an inclination in the lateral direction of the vehicle, the absolute value of the acceleration As detected based on the
ここで、上述した車両停止判定部16の処理を、図5に示す具体例を用いて説明する。図5は、所定時間幅での加速度Asの時間変化のグラフの一例である。ここで、時刻「T0」は車両が停止中の時刻を指し、時刻「T1」は車両が停車状態から始動した時刻を指し、時刻「T2」は車両が走行中の時刻を指す。 Here, the process of the vehicle stop determination part 16 mentioned above is demonstrated using the specific example shown in FIG. FIG. 5 is an example of a graph of the time change of the acceleration As in a predetermined time width. Here, the time “T0” indicates the time when the vehicle is stopped, the time “T1” indicates the time when the vehicle is started from the stop state, and the time “T2” indicates the time when the vehicle is traveling.
図5に示すように、時刻T0から時刻T1まで、車両が停止していることに起因して加速度Asは殆ど変化がない。従って、この期間での変動幅Wは、閾値Wthより小さい所定幅「W0」以下となる。従って、この期間では、車両停止判定部16は、車両が停止中であると判定する。 As shown in FIG. 5, the acceleration As hardly changes from the time T0 to the time T1 due to the vehicle being stopped. Accordingly, the fluctuation width W during this period is equal to or smaller than the predetermined width “W0” which is smaller than the threshold value Wth. Therefore, in this period, the vehicle stop determination unit 16 determines that the vehicle is stopped.
一方、時刻T1から時刻T2までの期間では、車両が始動したことに起因して加速度Asが変動する。これにより、変動幅Wは、閾値Wthより大きい所定幅「W1」付近で推移する。従って、この期間では、車両停止判定部16は、車両が停止中ではないと判定する。 On the other hand, during the period from time T1 to time T2, the acceleration As varies due to the start of the vehicle. As a result, the fluctuation width W changes in the vicinity of the predetermined width “W1” that is larger than the threshold value Wth. Therefore, in this period, the vehicle stop determination unit 16 determines that the vehicle is not stopped.
以上のように、車両停止判定部16は、変動幅Wに基づき適切に車両が停止中であるか否かを判定することができる。 As described above, the vehicle stop determination unit 16 can determine whether or not the vehicle is appropriately stopped based on the fluctuation range W.
次に、カーブ検出部17が実行する処理について説明する。カーブ検出部17は、車両停止判定部16から供給される判定結果Jに基づき車両がカーブを走行中であるか否か判断すると共に、水平方向加速度判定部15から供給される加工度合Pに基づき映像速度を制御する。具体的には、カーブ検出部17は、判定結果Jに基づき車両が停止中ではないと判定した場合、水平方向加速度判定部15から供給される加工度合Pを走行経路のカーブの曲がり度合と推定し、映像速度変換部2xに供給する。
Next, processing executed by the
一方、カーブ検出部17は、判定結果Jに基づき車両が停止中と判定した場合、水平方向加速度判定部15から供給される加工度合Pを、映像データSvを加工しない値(即ち0)に設定する。これにより、カーブ検出部17は、実際には映像酔いシーンが発生しない車両停止中の映像データSvを不要に加工するのを抑制することができる。
On the other hand, when the
次に、映像速度変換部2xが実行する処理について説明する。映像速度変換部2xは、カーブ検出部17から供給される加工度合Pに基づき、所定のマップ又は式を参照することで、撮像装置200xから供給される映像データSvのフレーム間にダミーのフレーム、例えば挿入位置の前後のフレームのコピー等を挿入することで映像データSvを補間する。上述のマップ又は式は、実験等に基づき作成され、ROM23又はデータ記憶ユニット36に保持される。
Next, processing executed by the video
これについて図4(b)を用いて具体例を示す。図4(b)は、加工度合Pとこれに対応する映像速度の倍率(以後、「映像速度倍率」と呼ぶ。)とのマップの一例である。図4(b)に示すように、映像速度変換部2xは、加工度合Pが大きいほど、映像速度倍率を小さくする。具体的には、映像速度変換部2xは、加工度合Pが大きいほど、ダミーフレームを挿入する間隔を小さくする。このようにすることで、映像速度変換部2xは、映像酔いが発生する蓋然性が高い映像シーンほど、映像速度を遅くし、再生時の映像酔いの発生を抑制する。
A specific example of this will be described with reference to FIG. FIG. 4B is an example of a map of the processing degree P and the video speed magnification corresponding thereto (hereinafter referred to as “video speed magnification”). As shown in FIG. 4B, the video
そして、映像速度変換部2xは、加工後映像データSvrを映像記録装置300xへ供給する。映像記録装置300xは、供給された加工後映像データSvrをメモリに記憶する。
Then, the video
なお、映像速度変換部2xは、カーブ検出部17から供給される加工度合Pがこれと時間的に対応する映像データSvよりも遅れて供給される場合、例えば映像データSvを所定時間幅だけ蓄積後に加工する。所定時間幅は、例えば、上述の遅れ時間幅に実験等に基づき設定される。これにより、映像速度変換部2xは、加工度合Pとこれに基づき加工すべき映像データSvとを適切に対応づけて加工することができる。
When the processing degree P supplied from the
(処理フロー)
次に、第1実施例で映像処理装置100が実行する処理手順について図6を用いて説明する。図6は、第1実施例で映像処理装置100が実行する処理手順を示すフローチャートの一例である。映像処理装置100は、図6に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。(Processing flow)
Next, a processing procedure executed by the
まず、映像処理装置100は、加速度Asを検出する(ステップS101)。具体的には、映像処理装置100は、加速度センサ11からの検出値に基づき加速度Asを決定する。
First, the
そして、映像処理装置100は、変動幅Wが閾値Wthより大きいか否かについて判定する(ステップS102)。具体的には、映像処理装置100は、直前に取得した加速度Asの所定個数のサンプルに基づき変動幅Wを算出し、閾値Wthと比較する。これにより、映像処理装置100は、車両が停止中か否かを適切に判定する。
Then, the
そして、変動幅Wが閾値Wthより大きい場合(ステップS102;Yes)、映像処理装置100は、車両は停止していないと判断し、加速度Asに基づき加工度合Pを算出する(ステップS103)。例えば、映像処理装置100は、図4(a)に示すマップを参照することで、加速度Asの絶対値に基づき加工度合Pを決定する。そして、映像処理装置100は、加工度合Pに基づき映像速度倍率を変更する(ステップS104)。例えば、映像処理装置100は、図4(b)に示すマップを参照することで、加工度合Pから映像速度倍率を算出する。そして、映像処理装置100は、決定した映像速度倍率に基づき、加工度合Pに時間的に対応する映像データSvの映像速度をダミーフレームを挿入等することにより変更する。
If the fluctuation width W is greater than the threshold value Wth (step S102; Yes), the
一方、変動幅Wが閾値Wth以下の場合(ステップS102;No)、映像処理装置100は、車両が停止中であると判断し、映像速度倍率を変更しない(ステップS105)。これにより、実際には映像酔いシーンが発生しない車両の停止中の映像データSvを不要に加工するのを抑制することができる。
On the other hand, when the fluctuation width W is equal to or smaller than the threshold value Wth (step S102; No), the
以上説明したように、本実施例による映像処理装置は、映像酔いシーン検出手段と、映像加工手段と、を備える。映像酔いシーン検出手段は、複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じる映像酔いシーンを検出する。また、映像加工手段は、映像酔いシーン検出手段の検出結果である加工度合に基づきシーンの加工処理を行う。このようにすることで、映像処理装置は、映像データを映像酔いが生じない映像データに適切に変換することができる。 As described above, the video processing apparatus according to the present embodiment includes the video sickness scene detection unit and the video processing unit. The video sickness scene detecting means detects a video sickness scene in which video sickness occurs when the video data is reproduced from the video data composed of a plurality of image frames. The video processing means performs scene processing based on the degree of processing that is a detection result of the video sickness scene detection means. In this way, the video processing apparatus can appropriately convert the video data into video data that does not cause video sickness.
(変形例1)
第1実施例の説明では、車両停止判定部16は、車両の水平方向の加速度Asに基づき車両が停止中か否か判定した。しかし、本発明が適用可能な方法はこれに限定されない。これに代えて、またはこれに加えて、車両停止判定部16は、車両の前後方向の加速度(以後、「加速度Af」と呼ぶ。)に基づき車両が停止中か否か判定してもよい。(Modification 1)
In the description of the first embodiment, the vehicle stop determination unit 16 determines whether or not the vehicle is stopped based on the acceleration As in the horizontal direction of the vehicle. However, the method to which the present invention is applicable is not limited to this. Instead of or in addition to this, the vehicle stop determination unit 16 may determine whether or not the vehicle is stopped based on the acceleration in the longitudinal direction of the vehicle (hereinafter referred to as “acceleration Af”).
これについて具体的に説明する。車両停止判定部16は、加速度センサ11から加速度Afを取得すると共に、加速度Afの所定時間幅での変動幅(以後、「変動幅Wf」と呼ぶ。)を算出する。上述の所定時間幅は実験等に基づき適切に設定される。そして、車両停止判定部16は、変動幅Wfが所定の閾値(以後、「閾値Wthf」と呼ぶ。)以下の場合、加速度Asの値にかかわらず、又は、これに加えて加速度Asの変動幅Wが閾値Wth以下のときに、車両が停止していると判定する。閾値Wthfは、実験等に基づき適切な値に設定される。
This will be specifically described. The vehicle stop determination unit 16 obtains the acceleration Af from the
以上の処理を実行することによっても、車両停止判定部16は、適切に車両が停止中か否かを判定することができ、映像酔いが生じない部分の映像データSvを不要に加工するのを抑制することができる。 Also by executing the above processing, the vehicle stop determination unit 16 can appropriately determine whether or not the vehicle is stopped, and unnecessarily process the video data Sv of the portion where the video sickness does not occur. Can be suppressed.
(変形例2)
第1実施例の説明では、映像速度変換部2xは、加速度Asの絶対値に基づき算出された加工度合Pに応じて、時間的に対応する映像データSvの映像速度を変換した。しかし、本発明が適用可能な方法は、これに限定されない。これに加え、映像処理装置100は、ユーザの入力に基づき、加工度合Pを調整してもよい。(Modification 2)
In the description of the first embodiment, the video
これについて、図7を用いて具体例を説明する。図7は、変形例2に係る映像処理装置100の機能ブロックの一部を抽出したものである。図7に示すように、映像処理装置100は、カーブ検出部17と映像速度変換部2xとの間に効果強度調節部3を備える。効果強度調節部3は、入力装置60等から供給された加工度合Pに関するユーザの入力に基づき、カーブ検出部17から供給される加工度合Pを変更後、映像速度変換部2xへ当該変更後の加工度合Pを供給する。
A specific example of this will be described with reference to FIG. FIG. 7 shows a part of functional blocks extracted from the
例えば、効果強度調整部3は、加工度合Pを小さくする旨のユーザの入力があった場合、所定の式又はマップに基づき加工度合Pを小さくする。一方、効果強度調整部3は、加工度合Pを大きくする旨の入力があった場合、所定の式又はマップに基づき加工度合Pを大きくする。上述の式又はマップは、実験等に基づき適切に作成される。他の例として、ユーザが加工度合Pを下げる割合を具体的に指定した場合には、効果強度調整部3は、当該指定した割合に基づき加工度合Pを変更する。 For example, when there is a user input for reducing the processing degree P, the effect intensity adjusting unit 3 decreases the processing degree P based on a predetermined formula or map. On the other hand, when there is an input to increase the processing degree P, the effect intensity adjusting unit 3 increases the processing degree P based on a predetermined formula or map. The above formula or map is appropriately created based on experiments or the like. As another example, when the user specifically specifies the rate of lowering the processing degree P, the effect strength adjusting unit 3 changes the processing degree P based on the specified ratio.
以上のようにすることで、映像処理装置100は、映像酔いの個人差を考慮して、適切に映像データSvを加工することができる。
As described above, the
なお、変形例2は、後述する第2実施例乃至第5実施例にも適用することができる。これらの場合であっても、映像処理装置100は、上述の効果強度調整部3を映像酔いシーン検出部1と映像加工部2との間に備え、映像酔いシーン検出部1から映像加工部2へ供給される加工度合Pをユーザ入力に基づき変更する。
(変形例3)
第1実施例及び変形例1の説明では、車両停止判定部16は、車両の加速度に基づき車両が停止中か否か判定した。これに代えて、又は、これに加えて、車両停止判定部16は、車両の走行速度に基づき車両が停止中か否か判定してもよい。(Modification 3)
In the description of the first embodiment and the first modification, the vehicle stop determination unit 16 determines whether or not the vehicle is stopped based on the acceleration of the vehicle. Instead of this, or in addition to this, the vehicle stop determination unit 16 may determine whether or not the vehicle is stopped based on the traveling speed of the vehicle.
例えば、車両停止判定部16は、距離センサ13から供給された車速パルスに基づき車両の走行速度を検出する。そして、車両停止判定部16は、走行速度が所定の閾値以下の場合、車両が停止していると判断する。上述の閾値は、例えば実験等に基づき車両が停止しているとみなせる走行速度の上限値に定められる。このように、車両停止判定部16は、走行速度によっても車両が停止中か否か適切に判断することができる。
For example, the vehicle stop determination unit 16 detects the traveling speed of the vehicle based on the vehicle speed pulse supplied from the
[第2実施例]
第1実施例では、映像酔いシーン検出部1は、加速度Asに基づき加工度合Pを算出した。第2実施例では、これに代えて、または、これに加えて、映像酔いシーン検出部1は、車両の位置情報に基づき加工度合Pを算出する。これにより、映像処理装置100は、適切に加工度合Pを設定し、再生時の映像酔いの発生を防ぐ。[Second Embodiment]
In the first example, the video sickness
これについて、図8を用いて具体的に説明する。図8は、第2実施例に係る映像処理システムの構成の一例である。図8に示すように、映像処理装置100は、カーブ検出部17と、GPS18と、映像速度変換部2xと、を備える。
This will be specifically described with reference to FIG. FIG. 8 is an example of the configuration of the video processing system according to the second embodiment. As shown in FIG. 8, the
カーブ検出部17は、GPS18から車両の現在の位置情報である緯度及び経度の情報(以後、「緯度経度情報Ib」と呼ぶ。)を取得し、緯度経度情報Ibに基づき走行経路中のカーブを検出し、カーブの曲がり度合(曲率)に応じて加工度合Pを算出する。
The
上述のカーブの曲がり度合の算出方法について図9(a)を用いて説明する。図9(a)は、走行経路の一部を円でフィッテングした例を示す。図9(a)において、地点70a乃至70dは、車両が経路60を走行中にカーブ検出部17がGPS18により緯度経度情報Ibを順に取得した地点を示す。
A method for calculating the above-described curve bending degree will be described with reference to FIG. FIG. 9A shows an example of fitting a part of the travel route with a circle. In FIG. 9A, points 70 a to 70 d indicate points where the
カーブ検出部17は、地点70a乃至70dで取得した緯度経度情報Ibに基づき、破線に示す円を導出し、その円の半径(曲率半径)「R」を得る。半径Rは、例えば、図9(a)をxy平面として地点70a乃至70dの座標に基づき、曲率半径を算出する既存の数学的な手法により算出される。
The
このように、カーブ検出部17は、直前に取得した所定個数の緯度経度情報Ibに基づき、走行経路の曲がり度合を算出することができる。上述の所定個数は、実験等に基づき適切な値に設定される。
Thus, the
次に、加工度合Pの算出方法について説明する。カーブ検出部17は、半径Rの逆数(即ち、曲率)に基づき、加工度合Pを設定する。具体的には、カーブ検出部17は、所定の式又はマップを参照することで、半径Rの逆数から加工度合Pを決定する。上述の式又はマップは、例えば実験等に基づき作成される。
Next, a method for calculating the processing degree P will be described. The
これについて、図9(b)を用いて説明する。図9(b)は、半径Rの逆数と加工度合Pとのマップの一例である。図9(b)に示すマップは、ROM23又はデータ記憶ユニット36に記憶される。
This will be described with reference to FIG. FIG. 9B is an example of a map of the reciprocal of the radius R and the processing degree P. The map shown in FIG. 9B is stored in the
図9(b)に示すように、カーブ検出部17は、半径Rの逆数が大きいほど、即ち走行経路の曲率が大きいほど、加工度合Pを大きく設定する。これにより、カーブ検出部17は、カーブの走行中に撮影された映像酔いが発生する蓋然性が高い映像データSvに対し、曲率に応じて適切に加工度合Pを設定することができる。
As shown in FIG. 9B, the
次に、再び図8の説明に戻り、映像速度変換部2xが実行する処理について説明する。映像速度変換部2xは、カーブ検出部17から供給される加工度合Pに基づき、例えば図4(b)に示すような所定のマップ等を参照することで、撮像装置200xから供給される映像データSvのフレーム間にダミーのフレームを挿入することで映像速度を遅くする。上述のマップは、実験等に基づき作成され、ROM23又はデータ記憶ユニット36に保持される。
Next, returning to the description of FIG. 8 again, the processing executed by the video
なお、映像速度変換部2xは、カーブ検出部17から供給される加工度合Pがこれと時間的に対応する映像データSvよりも遅れて供給される場合、例えば映像データSvを所定時間幅だけ蓄積後に加工する。所定時間幅は、例えば、上述の遅れに相当する時間幅に実験等に基づき設定される。これにより、映像速度変換部2xは、加工度合Pとこれに基づき加工すべき映像データSvとを適切に対応づけて加工することができる。
When the processing degree P supplied from the
(処理フロー)
次に、第2実施例で映像処理装置100が実行する処理手順について図10を用いて説明する。図10は、第1実施例で映像処理装置100が実行する処理手順を示すフローチャートの一例である。映像処理装置100は、図10に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。(Processing flow)
Next, a processing procedure executed by the
まず、映像処理装置100は、GPS18から緯度経度情報Ibを読み込む(ステップS201)。
First, the
次に、映像処理装置100は、直前に取得した所定個数の緯度経度情報に基づき円の半径Rを算出する(ステップS202)。
Next, the
そして、映像処理装置100は、半径Rに基づき加工度合Pを設定する(ステップS203)。例えば、映像処理装置100は、半径Rの逆数に基づき、図9(b)に示すようなマップを参照することにより、加工度合Pを決定する。
Then, the
次に、映像処理装置100は、加工度合Pに基づき映像速度倍率を変更する(ステップS204)。その後、映像処理装置100は、加工後映像データSvrを映像記録装置300xへ供給する。これにより、映像処理装置100は、加工後映像データSvrの再生時に映像酔いが生じるのを抑制することができる。
Next, the
(変形例)
上述の説明では、カーブ検出部17は、GPS18から供給された緯度経度情報Ibに基づき加工度合Pを算出していた。これに代えて、または、これに加えて、カーブ検出部17は、データ記憶ユニット36等に保持した走行経路に関する地図情報に基づき加工度合Pを算出してもよい。(Modification)
In the above description, the
例えば、カーブ検出部17は、GPS18から現在の緯度経度情報Ibを取得すると共に、地図情報から当該緯度経度情報Ibに相当する地点に関連付けられた半径Rの情報を取得する。そして、カーブ検出部17は、当該情報に基づき、図9(b)に示すようなマップ等を参照することにより、加工度合Pを算出する。これにより、カーブ検出部17は、処理量を削減しつつ、半径Rを適切に設定することができる。
For example, the
他の例では、カーブ検出部17は、GPS18から供給される緯度経度情報Ibに基づき、地図情報を参照することで、走行中又はこれから走行する経路の詳細な形状を把握する。そして、カーブ検出部17は、地図情報に基づき特定した経路形状から半径Rを算出する。
In another example, the
以上のように、カーブ検出部17は、地図情報によっても正確に半径Rを算出又は取得することができる。
As described above, the
[第3実施例]
第3実施例では、第1実施例及び第2実施例に代えて、映像加工部2は、加工度合Pが一定以上の映像酔いシーンを削除する。これにより、映像処理装置100は、再生時の映像酔いの発生を確実に防ぐ。[Third embodiment]
In the third embodiment, instead of the first embodiment and the second embodiment, the
これについて図11を参照して説明する。図11は、第3実施例に係る映像処理システムのブロック図である。図11に示すように、映像処理装置100は、映像酔いシーン検出部1と、映像編集部2yと、を備える。
This will be described with reference to FIG. FIG. 11 is a block diagram of a video processing system according to the third embodiment. As shown in FIG. 11, the
映像酔いシーン検出部1は、各種センサの値に基づき、加工度合Pを算出する。例えば、映像酔いシーン検出部1は、第1実施例と同様、加速度Asに基づき加工度合Pを算出する。他の例では、映像酔いシーン検出部1は、第2実施例と同様、GPS18からの緯度経度情報Ibに基づき加工度合Pを算出する。
The video sickness
映像編集部2yは、映像酔いシーン検出部1から供給された加工度合Pに基づき、時間的に対応する映像データSvを適宜削除する。具体的には、映像編集部2yは、加工度合Pを所定の閾値(以後、「閾値Pth」と呼ぶ。)と比較し、閾値Pth以上の加工度合Pと時間的に対応する映像データSvを削除する。閾値Pthは、実験等に基づき適切な値に設定される。そして、映像編集部2yは、加工後映像データSvrを映像記録装置300xへ供給する。
The
このように、映像処理装置100は、映像酔いが発生する蓋然性が高い映像データSvを適切に削除することで、再生時に映像酔いが生じるのを確実に抑制することができる。
In this manner, the
なお、映像速度変換部2xは、第1実施例及び第2実施例と同様、映像酔いシーン検出部1から供給される加工度合Pがこれと時間的に対応する映像データSvよりも遅れて供給される場合、例えば映像データSvを所定時間幅だけ蓄積後加工する。所定時間幅は、例えば、上述の遅れ時間幅に実験等に基づき設定される。これにより、映像速度変換部2xは、加工度合Pとこれに基づき加工すべき映像データSvとを適切に対応づけて加工することができる。
The video
また、映像編集部2yは、映像酔いシーンの前後に位置するフレームをクロスフェードさせてもよい。これにより、映像編集部2yは、フレーム削除に起因した視覚上の違和感を低減することができる。
Further, the
(変形例1)
第3実施例の説明では、映像加工部2は、映像編集部2yを備え、閾値Pth以上の加工度合Pに時間的に対応する映像データSvを削除した。これに加えて、映像加工部2は、さらに映像速度変換部2xを備えてもよい。(Modification 1)
In the description of the third embodiment, the
例えば、映像加工部2は、閾値Pth以上の加工度合Pに時間的に対応する映像データSvを削除すると共に、閾値Pth未満の加工度合Pに時間的に対応する映像データSvについては映像速度倍率を加工度合Pに応じて下げる。
For example, the
以上のように、映像加工部2は、加工度合Pに応じて映像データSvの加工方法を変更することで、より適切に加工後映像データSvrを作成することができる。
As described above, the
(変形例2)
第3実施例の説明では、映像速度変換部2xは、映像酔いシーン検出部1から供給された加工度合Pに基づき、時間的に対応する映像データSvを削除した。これに加え、映像処理装置100は、ユーザの入力に基づき、加工度合P又は/及び閾値Pthをさらに調整してもよい。例えば、第1実施例の変形例2と同様、映像処理装置100は、映像酔いシーン検出部1と映像編集部2yとの間に効果強度調節部を備え、ユーザの入力に基づき加工度合P又は/及び閾値Pthを調整後、映像編集部2yへ供給する。以上のようにすることで、映像処理装置100は、映像酔いの個人差を考慮して、適切に映像データSvを加工することができる。(Modification 2)
In the description of the third embodiment, the video
[第4実施例]
第4実施例では、第1実施例乃至第3実施例に代えて、映像加工部2は、加工度合Pが一定以上の映像酔いシーンのサイズを変更する。一般的に、同じように動きのある動画を見る場合、人間は小さなサイズの画像で見る方が、大きなサイズの画像で見るより映像酔いの程度が小さい。そこで、第4実施例では、加工度合Pが一定以上の映像酔いシーンのサイズを変更することにより、映像処理装置100は、再生時の映像酔いの発生を防ぐ。[Fourth embodiment]
In the fourth embodiment, instead of the first to third embodiments, the
これについて図12を用いて説明する。図12は、第4実施例に係る映像処理システムのブロック図である。図12に示すように、映像処理装置100は、映像酔いシーン検出部1と、サイズ変換部2zと、を備える。
This will be described with reference to FIG. FIG. 12 is a block diagram of a video processing system according to the fourth embodiment. As shown in FIG. 12, the
映像酔いシーン検出部1は、各種センサの値に基づき、加工度合Pを算出する。例えば、映像酔いシーン検出部1は、第1実施例と同様、加速度Asに基づき加工度合Pを算出する。他の例では、映像酔いシーン検出部1は、第2実施例と同様、GPS18からの緯度経度情報Ibに基づき加工度合Pを算出する。
The video sickness
サイズ変換部2zは、映像酔いシーン検出部1から供給された加工度合Pに基づき、時間的に対応する映像データSvのサイズ、即ち、映像データSvを構成する各フレームの縦横のサイズを変更する。
Based on the processing degree P supplied from the video sickness
例えば、サイズ変換部2zは、加工度合Pを所定の閾値(以後、「閾値Pth2」と呼ぶ。)と比較し、閾値Pth2以上の加工度合Pと時間的に対応する映像データSvのサイズを所定の比率で縮小する。上述の比率は、実験等に基づき適切な値に設定される。他の例では、サイズ変換部2zは、加工度合Pが大きいほどサイズを縮小する比率を上げる。そして、映像編集部2yは、加工後映像データSvrを映像記録装置300xへ供給する。
For example, the
以上により、映像編集部2yは、適切に映像酔いの発生しない加工後映像データSvrを生成することができる。
As described above, the
(変形例1)
第4実施例の説明では、映像加工部2は、サイズ変換部2zを備え、加工度合Pに基づき映像データSvのサイズを縮小した。これに加えて、映像加工部2は、さらに映像速度変換部2xまたは/及び映像編集部2yを備えてもよい。この場合、映像加工部2は、例えば加工度合Pの値に応じて映像データSvの加工方法を変更する。(Modification 1)
In the description of the fourth embodiment, the
これについて具体例を述べる。映像加工部2は、閾値Pth2未満の加工度合Pに時間的に対応する映像データSvを加工度合Pに基づき映像速度を変更し、閾値Pth2以上閾値Pth未満の加工度合Pに時間的に対応する映像データSvを縮小し、閾値Pth以上の加工度合Pに時間的に対応する映像データSvを削除する。この例の場合、閾値Pthは、閾値Pth2より大きい値に設定される。
A specific example of this will be described. The
以上のように、映像加工部2は、加工度合Pに応じて映像データSvの加工方法を変更することで、より適切に加工後映像データSvrを作成することができる。
As described above, the
(変形例2)
第4実施例の説明では、映像速度変換部2xは、映像酔いシーン検出部1から供給された加工度合Pに基づき、当該加工度合Pと時間的に対応する映像データSvのサイズを縮小した。これに加え、映像処理装置100は、ユーザの入力に基づき、加工度合P又は/及び閾値Pth2をさらに調整してもよい。例えば、第3実施例の変形例2と同様、映像処理装置100は、映像酔いシーン検出部1と映像編集部2yとの間に効果強度調節部を備え、ユーザの入力に基づき加工度合P又は/及び閾値Pth2を調整する。以上のようにすることで、映像処理装置100は、映像酔いの個人差を考慮して、適切に映像データSvを加工することができる。(Modification 2)
In the description of the fourth embodiment, the video
[第5実施例]
第1実施例乃至第4実施例では、映像処理装置100は、撮像装置200xが撮影した映像データSvを、映像記録装置300xに記録する前に加工した。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、映像処理装置100は、既に記録された映像データSvを再生時に加工してもよい。[Fifth embodiment]
In the first to fourth embodiments, the
これについて図13を用いて説明する。図13は、第5実施例に係る映像処理システムの構成を示す。図13に示すように、映像処理システムは、記録装置200yと、映像処理装置100と、表示装置300yと、を備える。
This will be described with reference to FIG. FIG. 13 shows a configuration of a video processing system according to the fifth embodiment. As shown in FIG. 13, the video processing system includes a
記録装置200yは、車両に搭載された撮像装置が生成した映像データSvを保持すると共に、映像データSvの生成時に検出された各種センサの値(センサ値Se)を映像データSvと関連付けて保持する。上述のセンサ値Seは、例えば、加速度センサ11の検出値(加速度As、Af)やGPS18から供給される緯度経度情報Ibが該当する。
The
映像酔いシーン検出部1は、記録装置200yからセンサ値Seを取得し、加工度合Pを算出する。例えば、映像酔いシーン検出部1は、センサ値Seが加速度Asの場合、図4(a)のマップに基づき、加工度合Pを算出する。他の例では、映像酔いシーン検出部1は、センサ値Seが緯度経度情報Ibの場合、センサ値Seに基づき半径Rを算出し加工度合Pを図9(b)のマップに基づき決定する。
The video sickness
映像加工部2は、記録装置200yから映像データSvを取得すると共に、映像酔いシーン検出部1から供給された加工度合Pに基づき映像データSvを加工する。例えば、映像加工部2は、上述したように、加工度合Pに基づき、時間的に対応する映像データSvの映像速度倍率を変更する。他の例では、映像加工部2は、加工度合Pに基づき時間的に対応する映像データSvを削除する。さらに別の例では、映像加工部2は、加工度合Pに基づき映像データSvのサイズを変更する。そして、映像加工部2は、加工後映像データSvrを表示装置300yに供給する。
The
表示装置300yは、映像加工部2から供給された加工後映像データSvrを表示する。
The
このように、映像処理装置100は、再生時に記録装置200yからセンサ値Seに基づき映像データSvを加工し表示装置300yに出力することで、映像酔いの発生を防ぐことができる。
In this way, the
(変形例1)
第5実施例では、映像処理装置100は、記録装置200yから供給されたセンサ値Seに基づき、映像データSvを加工した。しかし、本発明が適用可能な構成はこれに限定されない。例えば、これに代えて、又は、これに加えて、映像処理装置100は、[概要説明]で述べたように、映像データSvを構成する各フレームを画像処理することで得られたパラメータ、その他映像データSvを画像処理することで得られた情報に基づき、映像データSvを加工してもよい。この場合、例えば、映像処理装置100は、上述のパラメータその他の情報に基づき加工度合Pを所定のマップ又は式に基づき設定し、加工度合Pに基づき映像データSvを加工する。上述のマップ等は、実験等に基づき適切に設定される。このように、映像処理装置100は、変形例1によれば、センサ値Seを使用することなく、映像データSvのみに基づき、映像データSvを適切に加工することができる。(Modification 1)
In the fifth embodiment, the
(変形例2)
第5実施例では、映像処理装置100は、記録装置200yから映像データSv及びセンサ値Seを取得し、加工後映像データSvrを表示装置300yにより再生していた。しかし、本発明が適用可能な構成はこれに限定されない。これに代えて、映像処理装置100は、再生時でない場合に、記録装置200yから映像データSv及びセンサ値Seを取得して加工後映像データSvrを生成し、加工後映像データSvrを記録装置200y又は他の映像記録装置へ記録してもよい。このような構成によっても、好適に本発明を適用することができる。(Modification 2)
In the fifth embodiment, the
(変形例3)
第5実施例では、映像処理装置100は、再生時に記録装置200yから映像データSv及びセンサ値Seを取得していた。これに代えて、映像処理装置100は、記録装置200yから映像データSv及び加工度合Pを取得してもよい。即ち、この場合、加工度合Pは、記録装置200yへ記録前に予めセンサ値Seに基づき算出される。これによっても、本発明を好適に適用することができる。(Modification 3)
In the fifth embodiment, the
[適用分野]
本発明は、映像処理を行う各種の機器に適用することができる。例えば、ナビゲーション装置、ドライブレコーダ、自転車に搭載したカメラ等の各種の機器に幅広く適用される。従って、上述の図2の構成は一例であり、必ずしも本発明が適用可能な構成は、これに限定されない。例えば、第5実施例に示したように、映像処理装置100は、センサ値Seを他の装置から受信してもよい。[Application field]
The present invention can be applied to various devices that perform video processing. For example, it is widely applied to various devices such as a navigation device, a drive recorder, and a camera mounted on a bicycle. Therefore, the configuration of FIG. 2 described above is an example, and the configuration to which the present invention can be applied is not necessarily limited thereto. For example, as shown in the fifth embodiment, the
1 映像酔いシーン検出部
2 映像加工部
11 加速度センサ
18 GPS
22 CPU
100 映像処理装置
200 映像入力装置
300 映像出力装置DESCRIPTION OF
22 CPU
100
請求項1に記載の発明は、映像処理装置は、移動体に搭載されたカメラから映像を取得する映像取得工程と、前記移動体が、その移動経路においてカーブする場所に位置するか否かを判断するカーブ判断工程と、前記カーブ判断工程が前記カーブしている位置で取得されたと判断した前記映像に対して加工を行う映像加工工程と、前記移動体が停止しているか否かを検出する停止検出工程と、前記移動体が停止している位置で取得された前記映像に対しては、前記加工を行わないように前記映像加工手段を制御する制御工程と、を有する。
According to the first aspect of the present invention, the video processing apparatus acquires a video from a camera mounted on a moving body, and whether or not the moving body is located at a place where the moving path is curved. A curve determining step for determining, an image processing step for processing the image determined to have been acquired at the curved position, and detecting whether or not the moving body is stopped A stop detection step, and a control step of controlling the image processing means so as not to perform the processing on the image acquired at a position where the moving body is stopped .
請求項5に記載の発明は、映像処理方法は、移動体に搭載されたカメラから映像を取得する映像取得工程と、前記移動体が、その移動経路においてカーブする場所に位置するか否かを判断するカーブ判断工程と、前記カーブ判断工程が前記カーブしている位置で取得されたと判断した前記映像に対して加工を行う映像加工工程と、前記移動体が停止しているか否かを検出する停止検出工程と、前記移動体が停止している位置で取得された前記映像に対しては、前記加工を行わないように前記映像加工工程を制御する制御工程と、を有する。
According to a fifth aspect of the present invention, in the video processing method, an image acquisition step of acquiring an image from a camera mounted on a moving body, and whether or not the moving body is located at a place where the moving path curves. A curve determining step for determining, an image processing step for processing the image determined to have been acquired at the curved position, and detecting whether or not the moving body is stopped A stop detection step, and a control step of controlling the image processing step so as not to perform the processing on the image acquired at a position where the moving body is stopped.
請求項6に記載の発明は、コンピュータにより実行される映像処理プログラムであって、移動体に搭載されたカメラから映像を取得する映像取得手段、前記移動体が、その移動経路においてカーブする場所に位置するか否かを判断するカーブ判断手段、前記カーブ判断手段が前記カーブしている位置で取得されたと判断した前記映像に対して加工を行う映像加工手段、前記移動体が停止しているか否かを検出する停止検出手段、前記移動体が停止している位置で取得された前記映像に対しては、前記加工を行わないように前記映像加工手段を制御する制御手段として前記コンピュータを機能させる。 The invention according to claim 6 is an image processing program executed by a computer, image acquisition means for acquiring an image from a camera mounted on a moving body, and a position where the moving body curves in the moving path. Curve determining means for determining whether or not the image is located; image processing means for processing the image determined to have been acquired by the curve determining means at the curved position; and whether or not the moving body is stopped A stop detection means for detecting whether or not the video acquired at a position where the moving body is stopped causes the computer to function as a control means for controlling the video processing means so as not to perform the processing. .
Claims (16)
前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、
を備えることを特徴とする映像処理装置。Video sickness scene detection means for detecting a scene in which video sickness occurs during reproduction of the video data from video data composed of a plurality of image frames;
Video processing means for processing the scene based on the detection result of the video sickness scene detection means;
A video processing apparatus comprising:
前記映像酔いシーン検出手段は、前記映像データと時間的に対応する前記移動体の挙動に関する情報に基づき前記シーンを検出することを特徴とする請求項1又は2に記載の映像処理装置。The video data is taken from an imaging device mounted on a moving body,
3. The video processing apparatus according to claim 1, wherein the video sickness scene detection unit detects the scene based on information on the behavior of the moving object temporally corresponding to the video data.
前記映像加工手段は、前記加工度合が大きいほど、当該加工度合に時間的に対応する映像データの再生速度を小さく設定することを特徴とする請求項1乃至9のいずれか一項に記載の映像処理装置。The video sickness scene detecting means calculates a processing degree indicating a degree to be processed by the video processing means,
The video according to any one of claims 1 to 9, wherein the video processing means sets a lower playback speed of video data corresponding to the processing degree in time as the processing degree is larger. Processing equipment.
前記映像加工手段は、前記加工度合が第1閾値以上の場合、当該加工度合に時間的に対応する映像データの表示サイズを縮小することを特徴とする請求項1乃至10のいずれか一項に記載の映像処理装置。The video sickness scene detecting means calculates a processing degree indicating a degree to be processed by the video processing means,
The said image processing means reduces the display size of the video data temporally corresponding to the said processing degree when the said processing degree is more than a 1st threshold value. The video processing apparatus described.
前記映像加工手段は、前記加工度合が第2閾値以上の場合、当該加工度合に時間的に対応する映像データを構成するフレームを削除することを特徴とする請求項1乃至11のいずれか一項に記載の映像処理装置。The video sickness scene detecting means calculates a processing degree indicating a degree to be processed by the video processing means,
12. The video processing unit according to claim 1, wherein when the processing level is equal to or greater than a second threshold, the video processing unit deletes a frame constituting video data that temporally corresponds to the processing level. The video processing apparatus described in 1.
前記映像酔いシーン検出手段は、測位システムから取得した最も新しい所定個数の位置情報に基づき前記曲率を算出し、
前記映像加工手段は、前記曲率の算出に使用した位置情報に時間的に対応する映像データを前記曲率の算出まで保持し、算出された曲率に基づき当該映像データを加工することを特徴とする請求項9乃至12のいずれか一項に記載の映像処理装置。Mounted on the moving body,
The video sickness scene detection means calculates the curvature based on the newest predetermined number of position information acquired from the positioning system,
The video processing means holds video data temporally corresponding to position information used for calculating the curvature until the calculation of the curvature, and processes the video data based on the calculated curvature. Item 13. The video processing device according to any one of Items 9 to 12.
前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工工程と、
を備えることを特徴とする映像処理方法。A video sickness scene detection step of detecting a scene in which video sickness occurs during playback of the video data from video data composed of a plurality of image frames;
A video processing step for processing the scene based on the detection result of the video sickness scene detecting means,
A video processing method comprising:
複数の画像フレームから構成される映像データから当該映像データの再生時に映像酔いが生じるシーンを検出する映像酔いシーン検出手段と、
前記映像酔いシーン検出手段の検出結果に基づき前記シーンの加工処理を行う映像加工手段と、
を備えることを特徴とする映像処理プログラム。A video processing program executed by a computer,
Video sickness scene detection means for detecting a scene in which video sickness occurs during reproduction of the video data from video data composed of a plurality of image frames;
Video processing means for processing the scene based on the detection result of the video sickness scene detection means;
A video processing program comprising:
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/059524 WO2010137104A1 (en) | 2009-05-25 | 2009-05-25 | Video processing device, video processing method, and video processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2010137104A1 true JPWO2010137104A1 (en) | 2012-11-12 |
Family
ID=43222247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011515766A Pending JPWO2010137104A1 (en) | 2009-05-25 | 2009-05-25 | Video processing apparatus, video processing method, and video processing program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2010137104A1 (en) |
WO (1) | WO2010137104A1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6058257B2 (en) | 2011-07-06 | 2017-01-11 | アイキューブド研究所株式会社 | Image output apparatus, image output method, and program |
CN110121885B (en) * | 2016-12-29 | 2023-07-25 | 索尼互动娱乐股份有限公司 | Concave video link for VR and low latency wireless HMD video streaming with gaze tracking |
JP7277894B2 (en) * | 2018-01-22 | 2023-05-19 | 株式会社ユピテル | System, control method, program, etc. |
US10848768B2 (en) | 2018-06-08 | 2020-11-24 | Sony Interactive Entertainment Inc. | Fast region of interest coding using multi-segment resampling |
US11164339B2 (en) | 2019-11-12 | 2021-11-02 | Sony Interactive Entertainment Inc. | Fast region of interest coding using multi-segment temporal resampling |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04312074A (en) * | 1991-04-11 | 1992-11-04 | Ricoh Co Ltd | Electronic image pickup device and reproducer |
JP2003237573A (en) * | 2002-02-14 | 2003-08-27 | Bridgestone Corp | Vehicle motion characteristic control system |
JP2007116309A (en) * | 2005-10-19 | 2007-05-10 | Seiko Epson Corp | Image information reproduction apparatus |
JP2007320399A (en) * | 2006-05-31 | 2007-12-13 | Nissan Motor Co Ltd | Vehicular image display device and method |
JP2009093076A (en) * | 2007-10-11 | 2009-04-30 | Mitsubishi Electric Corp | Image display system in train |
-
2009
- 2009-05-25 JP JP2011515766A patent/JPWO2010137104A1/en active Pending
- 2009-05-25 WO PCT/JP2009/059524 patent/WO2010137104A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04312074A (en) * | 1991-04-11 | 1992-11-04 | Ricoh Co Ltd | Electronic image pickup device and reproducer |
JP2003237573A (en) * | 2002-02-14 | 2003-08-27 | Bridgestone Corp | Vehicle motion characteristic control system |
JP2007116309A (en) * | 2005-10-19 | 2007-05-10 | Seiko Epson Corp | Image information reproduction apparatus |
JP2007320399A (en) * | 2006-05-31 | 2007-12-13 | Nissan Motor Co Ltd | Vehicular image display device and method |
JP2009093076A (en) * | 2007-10-11 | 2009-04-30 | Mitsubishi Electric Corp | Image display system in train |
Also Published As
Publication number | Publication date |
---|---|
WO2010137104A1 (en) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102783142B (en) | Image display device and method for displaying image | |
JP5510484B2 (en) | Movie shooting device, digest reproduction setting device, digest reproduction setting method, and program | |
WO2010137104A1 (en) | Video processing device, video processing method, and video processing program | |
JP6593431B2 (en) | Recording control apparatus, recording apparatus, recording control method, and recording control program | |
JP4669448B2 (en) | Information recording apparatus, information recording method, and program | |
JP4744632B2 (en) | Lane departure prevention apparatus, lane departure prevention method, lane departure prevention program, and storage medium | |
CN103913175A (en) | Navigation system and interesting-place prompting method | |
CN111133752B (en) | Expression recording system | |
JP5292316B2 (en) | Position recognition apparatus, correction method, and correction program | |
JP2009002754A (en) | Stop determining system, navigation apparatus, stop determining method, stop determining program, and storage medium | |
JPH07286854A (en) | Electronic map device | |
JP2010020485A (en) | Drive recorder | |
JP2006148514A (en) | Image reproduction device and control method thereof | |
JP2011053024A (en) | Elevated-road identifying device, method of identifying elevated road, and elevated-road identification program | |
JP2007259146A (en) | Caption detector, caption detecting method, caption detecting program and recording medium | |
JP5517176B2 (en) | Image adjustment apparatus, control method, program, and storage medium | |
JPWO2008114385A1 (en) | Shooting image providing system, shooting management server, shooting management method, shooting management program, and storage medium | |
WO2012086052A1 (en) | Image control device, control method, program, and storage medium | |
JPWO2011121788A1 (en) | Navigation device, information display device, navigation method, navigation program, and recording medium | |
JP2020174248A (en) | Image reproduction device and image reproduction method | |
JP6399745B2 (en) | Video processing apparatus and program | |
JP2009248952A (en) | Display device of photographic information, display method thereof, and display program thereof | |
JP2008309546A (en) | Moving body position information correction device and program | |
JP2012233904A (en) | Information display device, information display method, information display program, and recording medium | |
JP4929244B2 (en) | Content playback apparatus, content playback method, and content playback system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130312 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130702 |