JP6245594B2 - Video processing apparatus and video processing method - Google Patents
Video processing apparatus and video processing methodInfo
- Publication number
- JP6245594B2 JP6245594B2 JP2012135641A JP2012135641A JP6245594B2 JP 6245594 B2 JP6245594 B2 JP 6245594B2 JP 2012135641 A JP2012135641 A JP 2012135641A JP 2012135641 A JP2012135641 A JP 2012135641A JP 6245594 B2 JP6245594 B2 JP 6245594B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- video
- data
- divided
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、撮影した映像データと参照映像データとに基づいて、オブジェクト映像単位に分割された映像データを生成する映像処理装置に関するものである。 The present invention relates to a video processing apparatus that generates video data divided into object video units based on captured video data and reference video data.
従来の映像信号は、順次走査型あるいは飛越走査型であり、テレビやパソコンといった表示装置の映像は、それぞれの表示装置の規格に従って映像が表示され、全画面を一定周期でデータ更新して表示するように設計されていた。このため、順次走査型あるいは飛越走査型の映像信号においては、一画面のうち一部分のみが変化する場合であっても、一画面すべての映像信号を更新する必要があり、表示の更新速度はフレームレートに依存する。 Conventional video signals are progressive scan type or interlaced scan type, and the video of a display device such as a television or a personal computer is displayed according to the standard of each display device, and the entire screen is updated and displayed at a constant cycle. Was designed to be. For this reason, in the progressive scan type or interlaced scan type video signal, even if only a part of one screen changes, it is necessary to update the video signal of all the screens, and the display update rate is the frame rate. Depends on the rate.
バーチャルリアリティ技術(VR)や拡張現実感技術(AR)などにおいては、撮影したビデオ映像やコンピュータグラフィック映像の合成を行うことにより、洋服やアクセサリー等を通信販売で購入する前に仮想試着することができるシステムがある(特許文献1)。このような映像合成をより複雑で自由に行うには、画像がオブジェクト毎の画像に分割されている必要がある。例えば、アクセサリーを仮想で試着する映像を生成するには、「試着する顧客」「アクセサリー」「背景」、それぞれの映像に分割されている必要がある。オブジェクトごとの分割画像を生成するには、たとえばオブジェクト検出を行って分割する画像処理を行わなければならない。 In virtual reality technology (VR) and augmented reality technology (AR), you can try on virtual clothes and accessories before purchasing them on the mail order by synthesizing the video and computer graphics. There is a system that can be used (Patent Document 1). In order to perform such video composition more complicated and freely, the image needs to be divided into images for each object. For example, in order to generate a video of trying on accessories virtually, it is necessary to divide the videos into “customer to try on”, “accessories”, and “background”. In order to generate a divided image for each object, for example, it is necessary to perform image processing for dividing by performing object detection.
さらに、順次走査型あるいは飛越走査型の映像信号で合成映像を表示するには、分割されたオブジェクト毎の映像を組み合わせて新たに順次走査型あるいは飛越走査型の合成映像を生成することとなるが、順次走査型あるいは飛越走査型の映像信号には複数の規格が混在しており、各々のオブジェクト映像が同一規格の映像信号でなければならない。このため、それぞれのオブジェクト映像の規格が異なる場合は、生成したい合成映像の規格へと変換する処理が必要である。 Further, in order to display a composite video with a progressive scan type or interlaced scan type video signal, a new progressive scan type or interlaced scan type composite video is generated by combining the divided video images for each object. A progressive scanning type or interlaced scanning type video signal includes a plurality of standards, and each object video must be a video signal of the same standard. For this reason, when the standards of each object video are different, it is necessary to perform processing for conversion to the standard of the composite video to be generated.
一方、こうした順次走査型あるいは飛越走査型による映像信号とは別に、描画開始位置の座標情報を指定した画像データパケットによる表示方式が検討されている(特許文献2、非特許文献1)。また、複数の素材映像データから構成される映像データを素材映像データごとにビデオコーデックを選択して送受信することにより効率を上げることが提案されている(非特許文献2)。画像データパケットの方式では、一つの映像を、複数のオブジェクト映像の集合により生成されると捉え、さらにそれぞれのオブジェクト映像はフレーム画像の時系列として捉え、各フレーム画像は画像データパケットの集合として捉える。分解された各画像データパケットには描画開始位置である座標情報を有する。本方式によれば容易に、オブジェクト映像単位に追加・削除・表示位置の変更・表示時刻の変更した合成映像を生成可能であるが、与えられたあるいは撮影した映像データからオブジェクト映像データを容易に提供できないという問題があった。 On the other hand, apart from the progressive scanning type or interlaced scanning type video signal, a display method using an image data packet in which coordinate information of a drawing start position is designated has been studied (Patent Document 2, Non-Patent Document 1). In addition, it has been proposed to improve efficiency by transmitting and receiving video data composed of a plurality of material video data by selecting a video codec for each material video data (Non-Patent Document 2). In the image data packet method, one video is regarded as being generated by a set of a plurality of object videos, each object video is regarded as a time series of frame images, and each frame image is regarded as a set of image data packets. . Each decomposed image data packet has coordinate information that is a drawing start position. According to this method, it is possible to easily generate composite video with addition / deletion / change of display position / change of display time for each object video, but it is easy to generate object video data from given or captured video data. There was a problem that it could not be provided.
本発明の映像処理装置は、画像データパケットでの表示方式におけるオブジェクト映像データを提供可能とする。 The video processing apparatus of the present invention can provide object video data in a display method using image data packets.
上記目的を達成するために、本発明では、撮像部でオブジェクトを撮像した映像データである撮像画像データを複数に分割する画像データ分割部、分割された画像データごとにIDを有する画像データパケットを生成するパケット生成部、分割された画像データを有する画像データパケットで同一のIDが付与された画像データパケットをまとめて出力することで分割映像データを出力する出力部、を有する映像処理装置を提供する。 In order to achieve the above object, in the present invention, an image data dividing unit that divides captured image data, which is video data obtained by capturing an object by an imaging unit, into a plurality of image data packets having an ID for each of the divided image data. Provided is a video processing device having a packet generation unit for generating and an output unit for outputting divided video data by outputting together image data packets having the same ID in image data packets having divided image data To do.
また、画像データ分割部は、さらに前記オブジェクトを撮像した他の画像データである参照画像データを取得し、撮像画像データと参照画像データを比較して、撮像画像データにおける特定点に対する参照画像データの対応点を求め、さらに対応点との差分を算出し、対応点の有無及び差分情報に基づいて画像データを複数に分割し、パケット生成部は、分割された撮像画像データと対応する参照画像データとの間の差分情報を含めて画像データパケットを生成する。 The image data dividing unit further acquires reference image data that is other image data obtained by imaging the object, compares the captured image data with the reference image data, and compares the reference image data for a specific point in the captured image data. The corresponding point is obtained, the difference from the corresponding point is calculated, the image data is divided into a plurality of pieces based on the presence / absence of the corresponding point and the difference information, and the packet generator generates reference image data corresponding to the divided captured image data The image data packet is generated including the difference information.
さらにステレオカメラにより構成される撮像部を有し、撮像画像データはステレオカメラの一方のカメラのデータであり、参照画像データは、他方のカメラのデータであってもよい。 Furthermore, it has an imaging part comprised by a stereo camera, and the captured image data may be data of one camera of the stereo camera, and the reference image data may be data of the other camera.
また、さらに映像データを記憶する映像データ記憶部を有し、画像データ分割部は、撮像画像データが撮像したオブジェクトを有する画像データに対応する画像データを映像データ記憶部から前記参照画像データとして取得する。 In addition, the image data storage unit further stores image data, and the image data division unit acquires image data corresponding to image data having an object captured by the captured image data as the reference image data from the image data storage unit. To do.
画像データ分割部は、さらに撮像画像データにおける任意の走査線上にあるオブジェクトと撮像部の距離を示す距離データを取得し、距離の変化に応じて撮像画像データを分割し、パケット生成部は、分割された撮像画像データにおける距離範囲情報を含めて画像データパケットを生成する。 The image data dividing unit further acquires distance data indicating a distance between an object on an arbitrary scanning line in the captured image data and the imaging unit, divides the captured image data according to a change in the distance, and the packet generation unit An image data packet is generated including distance range information in the captured image data.
画像データ分割部は、さらにオブジェクトを撮像した他の画像データである参照画像データを取得し、撮像画像データと参照画像データとに基づいてオブジェクトまでの距離データを算出することで距離データを取得する。 The image data dividing unit further acquires reference image data that is other image data obtained by imaging the object, and acquires distance data by calculating distance data to the object based on the captured image data and the reference image data. .
本発明によれば、画像データパケットにより構成されるオブジェクト映像データを提供することができるので、画像データパケットの描画開始位置を変化させることで容易にオブジェクト映像の表示位置を変化させた画像データパケットの表示方式による合成映像を生成・表示できる。本発明により切り出された1つのオブジェクト映像データは、画像データパケットの集合となるため、オブジェクト映像データが非連結な場合、画像データパケットを分割加工することなしに容易に連結部分に再分割して別のオブジェクト映像データとして扱うことが出来る。一部のオブジェクト映像を削除したり、別のオブジェクト映像を追加したりした画像データパケットの表示方式による合成映像を容易に生成・表示できる。複数のオブジェクト映像それぞれの描画開始位置を変化させることで容易に、複数のオブジェクト映像を組み合わせた画像データパケットの表示方式による合成映像を生成・表示できる。 According to the present invention, object video data composed of image data packets can be provided. Therefore, an image data packet in which the display position of the object video is easily changed by changing the drawing start position of the image data packet. It is possible to generate and display composite video using the display method. Since one object video data cut out according to the present invention is a set of image data packets, when the object video data is not connected, it can be easily re-divided into connected parts without dividing the image data packet. It can be handled as separate object video data. It is possible to easily generate and display a composite video based on an image data packet display method in which some object videos are deleted or another object video is added. By changing the drawing start position of each of the plurality of object videos, it is possible to easily generate and display a composite video by the display method of the image data packet in which the plurality of object videos are combined.
本発明により生成されたオブジェクト映像データをオブジェクト映像データ単位で表示・非表示を選択することで、不要なオブジェクト映像の表示を抑制した合成映像を容易に生成・表示できる。また、本発明により生成されたオブジェクト映像データそれぞれに対して適切な画像圧縮を適用することができるため、複数のオブジェクト映像データにより構成される合成映像データは、高い圧縮率を得ることができる。 By selecting display / non-display of object video data generated according to the present invention in units of object video data, it is possible to easily generate / display a composite video in which display of unnecessary object video is suppressed. Also, since appropriate image compression can be applied to each object video data generated by the present invention, composite video data composed of a plurality of object video data can obtain a high compression rate.
また、本発明により出力されるオブジェクト映像データは2つの映像データ間の差分情報または距離情報を有しているため、オブジェクト映像データを当初とは異なる位置に差分情報または距離情報に応じて変更した合成映像データを生成・表示する場合であっても、容易に生成・表示することが可能となる。 Also, since the object video data output by the present invention has difference information or distance information between two video data, the object video data is changed to a position different from the original according to the difference information or distance information. Even when the synthesized video data is generated and displayed, it can be easily generated and displayed.
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の映像処理装置1の原理を説明するための図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram for explaining the principle of a
映像処理装置1は、画像データ分割部11、パケット生成部12、出力部13から構成されている。
The
画像データ分割部11は、たとえばステレオ画像処理、背景差分処理、距離情報等に基づいて画像データを複数に分割処理を行う。分割処理の詳細については後述する。画像データ分割部11は、入力された映像データについてフレーム画像ごとに分割処理を行う。映像データは、カメラなどで撮影された映像データが直接入力されても、ハードディスクなどの記憶部に保存された映像データが入力されてもよい。また、本明細書にいう、映像データは、動画像データだけでなく、静止画像データも含まれる。画像データ分割部11は、入力された映像データに対し、フレーム画像データを複数に分割する処理を行う。画像データ分割部11において、フレーム画像データは複数の分割画像データに分割されることとなる。
The image
パケット生成部12は、画像データ分割部11において複数に分割された画像データそれぞれに対して画像データパケットの集合を生成する。画像データパケットによる表示方式においては、映像をオブジェクト映像の集まりとして扱い、オブジェクト映像はフレーム画像の時系列、フレーム画像は画像データパケットの集まりとして扱う。一つの態様においては、画像データパケットは、画像における画素の一行単位(又は一走査線単位)で生成される。つまり、一つの分割映像データに対して、最低でも、その映像データに必要な走査線の数分、複数の画像データパケットが生成されることとなる。全ての画像データパケットには分割画像データに該当する画像データ、表示装置における描画開始座標情報、画素数、などの情報が含まれており、パケット形式で表示装置へ送信される。描画開始座標情報とは、例えばその画像データパケットの左端位置の表示装置における座標(x,y)である。なお、画像データパケットは、一行単位に限られず、複数行単位、複数走査線単位で生成されてもよい。その場合、描画開始座標情報は、例えば左上端位置、あるいは左下端位置の座標情報となる。
The
出力部13は、パケット生成部12が生成した画像データパケットを出力する。映像データは、分割映像データごとにパケット生成部12で生成された複数の画像データパケットからなる画像データパケットの形式で出力される。出力された画像データパケットは、例えば、表示装置へ送られ、表示装置は、パケットに含まれる情報に基づいて映像データを表示することとなる。なお、出力された画像データパケットを記憶装置へ、分割映像データごとに記憶させておき、表示装置へ表示する際に、パケット内の描画開始座標情報を書き換え、他の映像データとともに表示装置へ送信してもよい。
The
図2は、本発明の第一の実施例における映像処理装置1のブロック図である。撮像部20は、映像データを撮像するもので、たとえばカメラやビデオカメラである。撮像部20は、2台の撮像部で構成されており、ステレオカメラや校正済みの2台のカメラで構成される。撮像部20で取得される映像データは、同一の事物を異なる位置から撮像した2つの映像データである。
FIG. 2 is a block diagram of the
画像データ分割部21は、撮像部20で撮像された2つの映像データを取得し、それぞれの映像データを分割する。一方の映像データを撮像映像データとし、他方の映像データを参照映像データとする。画像データ分割部21は撮像映像データのフレーム画像データの各走査線で、特定点とそれに対応する参照画像データにおける対応点のペアを探索する。特定点の探索方法については、たとえば直前の走査線の対応の付く領域の中央付近の1点から探索を始める。対応点の探索方法については、任意のステレオ画像処理を採用する。なお、一例として、走査線毎に分割処理が行われる。
The image
たとえば、撮像画像データにおける特定点を含む走査線上の点と、参照画像データにおける対応点を含む走査線上の点との画素集合間の距離関数を定義し、その関数値が極小となる最大連続領域を求め、その区間領域が、予め決められた区間長及び閾値の条件の範囲内であれば、対応の付く領域とし、それ以外の連続領域を対応のつかない領域とする。このときの対応の付く領域のずれを示す差分情報は、特定点から対応点へのベクトル値とする。同様に、撮像画像データの当該走査線における対応のつかない領域の中から別の特定点とそれに対応する参照画像データにおける対応点のペアを探索し、別の対応関係の対応の付く領域を求める。撮像画像データの当該走査線上の全ての点について対応点の検索が終わった場合、対応の付かない領域がなくなる場合、あるいは、対応の付かない領域の中から特定点と対応点のペアが見つからない場合、分割処理を終了する。 For example, a distance function between pixel sets between a point on a scanning line including a specific point in captured image data and a point on a scanning line including a corresponding point in reference image data is defined, and the maximum continuous region in which the function value is minimized If the section area is within the range of the predetermined section length and threshold value, a corresponding area is set, and the other continuous areas are set as non-corresponding areas. The difference information indicating the shift of the corresponding area at this time is a vector value from the specific point to the corresponding point. Similarly, another specific point and a corresponding point pair in the reference image data corresponding thereto are searched from the uncorresponding region in the scanning line of the captured image data, and a corresponding region in another correspondence relationship is obtained. . When the search for corresponding points is completed for all points on the scanning line of the captured image data, the region with no correspondence disappears, or the pair of specific points and corresponding points is not found in the region with no correspondence If so, the division process ends.
なお、他の一例としては、オプティカルフローを求め、オプティカルフローが不連続となる点で分割処理を行ってもよい。分割処理は、撮像画像データだけでなく、参照画像データに対しても行ってもよい。 As another example, an optical flow may be obtained and the division process may be performed at a point where the optical flow becomes discontinuous. The division process may be performed not only on the captured image data but also on the reference image data.
パケット生成部22は、画像データ分割部21において分割された分割画像データそれぞれに対する画像データパケットを生成する。分割された分割画像データは隣接関係および対応の付く領域のずれを示す差分情報を有している。たとえば、ずれを示す差分情報の間あるいはオプティカルフロー間に距離関数を定義し、その関数値が、予め決められた閾値の条件の範囲内であれば、同一のオブジェクト映像データとし、それ以外は、別のオブジェクト映像データとする。また、対応の付かない領域の画像データに関しては、その領域で一つのオブジェクト映像データとして扱う。このようにすることで、パケット生成部22は、し、同一のオブジェクト映像データと判断されたパケットには同一のIDを付加するとともに、分割映像データの表示装置における描画開始座標情報(x,y)を生成する。また、分割映像データが「対応の付く領域の画像データ」である場合は、対応点座標とのずれを示す差分情報であるベクトル値を生成する。参照映像データに対しても分割を行った場合には、参照映像データの中の「対応の付かない領域の画像データ」を画像データパケットとして生成する。
The
出力部23は、パケット生成部22で生成された画像データパケットを出力する。出力部は、例えば、通信インターフェースである。出力部23は、画像データパケットに同一のIDが付加された分割画像データをまとめて出力することで、一つのオブジェクト映像データ(分割映像データ)として出力する。
The
図3は、本発明の第一の実施例における分割処理の一例を説明する図である。撮像部20のカメラA及びカメラBが二つの直方体を撮像している様子である。ここでは、点Pは、カメラAで撮像された撮像画像データAの特定点とカメラBで撮像された参照画像データBの対応点それぞれに対応し、同じ座標位置(第x列目第y行目)で撮影されている。以下、第y行目の分割処理について説明する。
FIG. 3 is a diagram for explaining an example of division processing in the first embodiment of the present invention. It is a state that the camera A and the camera B of the
画像データ分割部21は、撮像画像データAの点Pに対応する特定点を含む走査線と、参照画像データBの点Pに対応する対応点を含む走査線の対応関係を探索し、対応する領域を求める。その結果、対応する領域として、背景であるA1とB1、左の直方体を含むA3とB3、背景であるA5とB5、右の直方体を含むA7とB7、背景であるA9とB9を得る。また、撮像画像データにおいて、A2、A4、A6は、参照画像データBに対応点が存在しない点の集合のデータである。また、参照画像データにおいて、B4、B6、B8は、撮像画像データAに対応点が存在しない点の集合のデータである。なお、A8とB2は空集合であるため、図には示されていない。このように走査線上を複数の領域に分割する。なおA6は、背景と直方体側面を含む領域であるが、背景部分は参照画像データBにおいて直方体で隠された背景部分であり、A6に対応する参照画像データの集合はないため、対応点が存在しない点の集合データとして分割されるため、背景部分と側面部分が分離されないままのデータとなる。B4も、背景と直方体側面を含む領域であるが、同様な理由によりこの例では背景部分と側面部分が分離されないままのデータとなる。
The image
パケット生成部22は、分割データに基づいて、撮像画像データAの第y行を分割した画像データの描画開始位置(左端のx座標)値のデータと分割映像データそのものを含む画像データパケットを生成する。参照画像データのなかに対応する分割画像データがある場合には、
「分割画像データ,ID,撮影データの左端座標(x,y),差分情報」
のパケットを生成し、対応する分割画像データがない場合には、
「分割画像データ,ID,撮影データの左端座標(x,y),対応無し撮影画像データの印(フラグ)」
のパケットが生成される。このパケットにおける「分割画像データ」とは一走査線のうちの分割された映像データそのものである。
また、参照画像データBを分割した場合には、その分割画像データのうち、撮像画像データAに対応点が存在しない分割画像データに対する画像データパケットとして、
「分割画像データ,ID,撮影データの左端座標(x,y),対応無し参照画像データの印(フラグ)」
のパケットを生成してもよい。なお、描画開始位置を左端のx座標としているが、これに限られるものではなく、右端のx座標であってもよく、画像データの描画開始位置であればどこの座標データであってもよい。
Based on the divided data, the
“Divided image data, ID, left coordinate of shooting data (x, y), difference information”
If there is no corresponding divided image data,
"Divided image data, ID, left edge coordinates (x, y) of shooting data, mark of unsupported shooting image data (flag)"
Packets are generated. The “divided image data” in this packet is the divided video data itself in one scanning line.
When the reference image data B is divided, among the divided image data, as the image data packet for the divided image data for which the corresponding point does not exist in the captured image data A,
“Divided image data, ID, left edge coordinates (x, y) of shooting data, mark of unsupported reference image data (flag)”
May be generated. The drawing start position is the x coordinate at the left end. However, the present invention is not limited to this, and may be the x coordinate at the right end, or any coordinate data as long as it is the drawing start position of the image data. .
また、パケット生成部22は、画像データパケットを生成するときに、対象となる分割画像データが、前後のフレーム、上下の走査線の画像データパケットと座標が隣接している場合は、同一の映像データであるとみなし、同一のIDを付与する。また、隣接していない場合は、画像データパケットを生成するときに新しいIDを付与する。また、異なったIDをもつ分割映像データが、新しい走査線、新しいフレームにより隣接する場合には、IDを付け替える処理をおこなってもよく、あるいは、それらのIDが同一であることを示す情報を別途、出力してもよい。このようにすることで、一走査線ごとに分割されパケット付与された映像データが、同一のIDをもつようになり、複数の走査線を有するひとまとまりの分割映像データとして認識できるようになる。
Further, when generating the image data packet, the
図3の例で、具体的なパケットを示すと、分割画像データの描画開始位置のx座標をA1〜A9それぞれについて、x11、x12、・・・x17、x19とし、B1〜B9それぞれについてx21、x23、・・・・x28、x29とすると、対応の有無およびズレの値に応じてIDをふることにより、下記の画像データパケットがそれぞれ出力される。
「分割画像データA1、ID1、左端座標(x11,y)、ズレ(0,0)=(x21-x11,0)」
「分割画像データA5、ID1、左端座標(x15,y)、ズレ(0,0)=(x25-x15,0)」
「分割画像データA9、ID1、左端座標(x19,y)、ズレ(0,0)=(x29-x19,0)」
「分割画像データA3、ID2、左端座標(x13,y)、ズレ(x23-x13,0)」
「分割画像データA7、ID3、左端座標(x17,y)、ズレ(x27-x17,0)」
「分割画像データA2、ID4、左端座標(x12,y)、対応無し撮影データ印」
「分割画像データA4、ID4、左端座標(x14,y)、対応無し撮影データ印」
「分割画像データA6、ID4、左端座標(x16,y)、対応無し撮影データ印」
これらの画像データパケットにおける分割画像データの総体は、カメラAで撮影した映像データの一画像データの一走査線である。
さらに、参照映像データに対する分割映像データを出力する場合には、
「分割画像データB4、ID5、左端座標(x24,y)、対応無し参照データ印」
「分割画像データB6、ID5、左端座標(x26,y)、対応無し参照データ印」
「分割画像データB8、ID5、左端座標(x28,y)、対応無し参照データ印」
が出力される。カメラBで撮影した映像データの一画像データである参照画像データについては、分割画像データのうち、撮影画像データに対応するデータがない分割画像データについてデータパケットを出力する。これらの画像データパケットと撮影画像データの分割画像データのうち「対応の付く分割画像データ」の画像データパケットを総合するとカメラBで撮影した映像データの一画像データの一走査線である。
In the example of FIG. 3, when a specific packet is shown, the x coordinate of the drawing start position of the divided image data is x11, x12,... X17, x19 for each of A1 to A9, and x21 for each of B1 to B9. Assuming x23,... x28, x29, the following image data packets are respectively output by assigning IDs according to the presence / absence of correspondence and the value of deviation.
`` Divided image data A1, ID1, left end coordinate (x11, y), displacement (0, 0) = (x21-x11,0) ''
`` Divided image data A5, ID1, left end coordinate (x15, y), displacement (0, 0) = (x25-x15, 0) ''
`` Divided image data A9, ID1, left end coordinate (x19, y), displacement (0, 0) = (x29-x19, 0) ''
`` Divided image data A3, ID2, left end coordinate (x13, y), displacement (x23-x13, 0) ''
`` Divided image data A7, ID3, left end coordinate (x17, y), displacement (x27-x17,0) ''
"Divided image data A2, ID4, left end coordinate (x12, y), unsupported shooting data mark"
`` Divided image data A4, ID4, left end coordinate (x14, y), unsupported shooting data mark ''
"Divided image data A6, ID4, left end coordinate (x16, y), unsupported shooting data mark"
The total of the divided image data in these image data packets is one scanning line of one image data of video data captured by the camera A.
Furthermore, when outputting divided video data for reference video data,
“Divided image data B4, ID5, left end coordinate (x24, y), unsupported reference data mark”
"Divided image data B6, ID5, left end coordinate (x26, y), unsupported reference data mark"
“Divided image data B8, ID5, left end coordinate (x28, y), unsupported reference data mark”
Is output. For reference image data that is one image data of video data captured by the camera B, a data packet is output for divided image data that does not have data corresponding to the captured image data among the divided image data. Of these image data packets and the divided image data of the photographed image data, the image data packets of “corresponding divided image data” are combined to form one scanning line of one image data of the video data photographed by the camera B.
上記のとおり、分割画像データに付与されるIDは、参照画像データとの差分(ズレ)に基づいて付与されており、同一の差分を有するデータに対しては同一のIDが付与される。つまり、上述の例によれば、ズレ(0,0)に対応するオブジェクトID1、ズレ(x23-x13,0)に対応するオブジェクトID2、ズレ(x27-x17,0)に対応するオブジェクトID3、対応無し撮影データ印オブジェクトID4の4つとなる。これらは、それぞれ、背景、左側の直方体の正面、右側の直方体の正面、2つの直方体の側面とカメラBでは直方体があるために撮影できなかったカメラAで撮影できた背景のオブジェクト映像に対応する。
As described above, the ID given to the divided image data is given based on the difference (deviation) from the reference image data, and the same ID is given to data having the same difference. That is, according to the above example, the
さらに、参照画像データに対する分割画像データは、対応無し撮影データ印オブジェクトID5の1つであり、カメラBで撮影した2つの直方体の側面とカメラAでは直方体があるために撮影できなかったカメラBで撮影された背景のオブジェクト映像に対応する。 Further, the divided image data with respect to the reference image data is one of the non-corresponding shooting data stamp object ID5, and the side surface of the two rectangular parallelepipeds photographed by the camera B and the camera B that cannot be photographed due to the rectangular parallelepiped in the camera A. Corresponds to the object video of the photographed background.
対応がN箇所とれれば、各映像データの一画像データの一走査線は最大(2N+1)個に分割されるため、対応のつく画像データパケットがN個、対応のつかない画像データパケットが最大(N+1)個出力されることとなる。参照画像データに対する画像データパケットを出力する場合には、これに加え、対応のつかない画像データパケットが最大(N+1)個出力されることとなる。 If there are N correspondences, one scanning line of each image data of each video data is divided into a maximum of (2N + 1), so that there are N corresponding image data packets and a maximum of uncorresponding image data packets ( N + 1) outputs. When outputting image data packets for reference image data, in addition to this, a maximum of (N + 1) image data packets that cannot be handled are output.
図4は、本発明の第二の実施例における映像処理装置1のブロック図である。撮像部40aは、事物を撮影する、例えばカメラ、ビデオカメラであり、撮影した撮像画像データを、画像データ分割部41へ出力する。映像データ記憶部40bは、例えば、ハードディスク、メモリなど、映像データを記憶するための記憶部であり、撮像部40aが過去に撮像した撮影データや、その他の撮影データが記憶されている。画像データ分割部41は、撮像画像データが撮像部40aから入力されると、同じ事物を撮影した参照画像データとなる映像データがないか、映像データ記憶部40bを検索し、取得する。なお、その他の画像データ分割部41、パケット生成部42、出力部43の処理は、画像データ分割部21、パケット生成部22、出力部23と同じであるため、説明を省略する。
FIG. 4 is a block diagram of the
図5は、本発明の第二の実施例における分割処理の一例を説明する図である。撮像部40aのカメラCが二つの直方体を撮像し、参照画像データDとして二つの直方体が無い状態の背景を撮影した画像が、映像データ記憶部40bから取得される。
FIG. 5 is a diagram for explaining an example of division processing in the second embodiment of the present invention. The camera C of the
画像データ分割部41は、撮像画像データCの走査線であるある行と、参照画像データDの対応する走査線の行における対応関係を探索し、対応する領域を求める。撮影された画像データは分割処理により、「背景部分はズレ(0,0)で参照画像データに対応する分割画像データがある」分割画像データ、二つの直方体は、「参照画像データに対応する分割画像データがない」分割画像データに分割され、パケット生成部42に送られ、それぞれ画像データパケットとして出力される。
The image
図5の例で、具体的なパケットを示すと、分割画像データの描画開始位置のx座標をC1〜C5それぞれについて、x1、x2、・・・x5とすると、下記の画像データパケットがそれぞれ出力される。
「分割画像データC1、ID1、左端座標(x1,y)、ズレ(0,0)」
「分割画像データC3、ID1、左端座標(x3,y)、ズレ(0,0)」
「分割画像データC5、ID1、左端座標(x5,y)、ズレ(0,0)」
「分割画像データC2、ID2、左端座標(x2,y)、対応無し撮影データ印」
「分割画像データC4、ID2、左端座標(x4,y)、対応無し撮影データ印」
が出力される。これらの画像データパケットの総体は、カメラCで撮影した映像データの一画像データの一走査線である。
In the example of FIG. 5, when a specific packet is shown, if the x coordinate of the drawing start position of the divided image data is x1, x2,... X5 for each of C1 to C5, the following image data packets are output respectively. Is done.
`` Divided image data C1, ID1, left end coordinate (x1, y), displacement (0, 0) ''
`` Divided image data C3, ID1, left end coordinate (x3, y), displacement (0, 0) ''
`` Divided image data C5, ID1, left end coordinate (x5, y), displacement (0, 0) ''
"Divided image data C2, ID2, left end coordinates (x2, y), unsupported shooting data mark"
"Divided image data C4, ID2, left end coordinate (x4, y), unsupported shooting data mark"
Is output. The total of these image data packets is one scanning line of one image data of video data photographed by the camera C.
図5の例での分割によるオブジェクト映像は、ズレ(0,0)に対応するオブジェクトID1、対応無し撮影データ印オブジェクトID2の2つあり、それぞれ、背景、2つの直方体のオブジェクト映像に対応する。なお、ズレ(0,0)に対応するオブジェクトID1は連結なオブジェクト映像となる。対応無し撮影データ印オブジェクトID2は、非連結なオブジェクト映像となり、必要に応じて2つの連結部分に分割できる。
本発明の出力を利用するシステムにおいて、本発明の出力したオブジェクト映像を連結部分のパケット毎に分割することにより、容易に右側の直方体、左側の直方体に対応した2つのオブジェクト映像を得ることができる。
There are two object images by division in the example of FIG. 5,
In the system using the output of the present invention, by dividing the object video output of the present invention for each packet of the connected portion, it is possible to easily obtain two object videos corresponding to the right cuboid and the left cuboid. .
図6は、本発明の第三の実施例における映像処理装置1のブロック図である。撮像部60aは、事物を撮像する手段であり、例えばカメラ、ビデオカメラである。撮像部60aで撮像された映像データは、画像データ分割部61へ入力される。
FIG. 6 is a block diagram of the
距離データ取得部60bは、撮像部60aに取り付けられており、撮像範囲に存在する事物までの距離を測定する手段であり、例えば、視差を用いたステレオビジョンや、反射光の遅延時間を用いた光式距離センサー、ビームを投影して少しずれたセンサーで観測して距離を求める反射型ビームセンサー、光の位相差を用いたレーザ式光波距離センサー、反射音の遅延時間を用いた超音波式センサー、モアレパターンを用いたモアレ距離計、である。距離データ取得部60bで取得された距離データは、画像データ分割部61へ出力される。
The distance
画像データ分割部61は、撮像部60aが撮像した映像データのフレーム画像データと距離データ取得部60bが取得した距離データとの対応付けを画素単位で行う。画像データ分割部61は各走査線で、隣接する画素間の距離データの差を求め、その値が、予め決められた閾値の条件の範囲外であれば、不連続と判断し、分割ポイントとする。このようにして、分割ポイントを検出した後、画像データ分割部61は、撮像画像データを分割ポイントで分割する。
The image
パケット生成部62は、画像データ分割部61で分割された分割画像データに基づいて画像データパケットを生成する。画像データパケットには、分割画像データの描画開始位置座標情報、例えば左端の座標(x,y)、が含まれる。また、画像データパケットには、分割画像データに含まれる距離変化を示す距離範囲情報が含まれる。
The
出力部63は、分割画像データと、その分割画像データに対応するパケット生成部62が生成した画像データパケットを出力する。出力部23は、画像データパケットに同一のIDが付加された分割画像データをまとめて出力することで、一つのオブジェクト映像データとして出力する。
The
図7は、本発明の第三の実施例における分割処理の一例を説明する図である。撮像部60aのカメラEが二つの直方体を撮像している様子である。ここで、点Pは、カメラEで撮像した背景のうちの一点であり、点Pまでの距離はd1と距離データ取得部60bにより計測されている。
FIG. 7 is a diagram for explaining an example of division processing in the third embodiment of the present invention. The camera E of the
画像データ分割部61は、撮像画像データEの特定点Pを含む走査線上の点に対応する距離データを順次取得し、距離が不連続に変化する部分を検出する。例えば、d1からd2に変化する部分である。この不連続点の左側の領域をE1、右側の領域をE2の分割画像データとする。その後、d2からd3まで連続的に変化し、d3からd1に不連続に変化する部分が検出される。その検出された不連続点までをE2、右側をE3とする。同様に、d1からd4への不連続点までをE3とし、右をE4とする。その後、d4からd5へは連続的に変化し、d5からd1に不連続に変化する部分までをE4とし、右をE5とする。このように走査線上の点により画像データを分割する。
The image
パケット生成部62は、分割データに基づいて、撮像画像データEの第y行を分割した画像データの描画開始位置(左端のx座標)値のデータを含む画像データパケットを生成する。また、画像データパケットには、その分割画像データに含まれる距離範囲情報を含めて生成する。つまり、生成される画像データパケットは、
「分割画像データ,ID,撮影データの左端座標(x,y),距離範囲情報」
のパケットが生成される。
The
"Divided image data, ID, left edge coordinates (x, y) of shooting data, distance range information"
Packets are generated.
図7の例で、具体的なパケットを示すと、分割画像データの描画開始位置のx座標における走査線をE1〜E5それぞれについて、x1、x2、・・・x5とすると、下記の画像データパケットがそれぞれ出力される。
「分割画像データE1、ID1、左端座標(x1,y)、距離範囲[d1,d1]」
「分割画像データE2、ID2、左端座標(x2,y)、距離範囲[d2,d3]」
「分割画像データE3、ID1、左端座標(x3,y)、距離範囲[d1,d1]」
「分割画像データE4、ID3、左端座標(x4,y)、距離範囲[d4,d5]」
「分割画像データE5、ID1、左端座標(x5,y)、距離範囲[d1,d1]」
このようにパケット生成部は、分割画像データとそれに対応する描画開始位置座標情報、距離範囲情報を出力する。
In the example of FIG. 7, when a specific packet is shown, if the scanning lines at the x coordinate of the drawing start position of the divided image data are x1, x2,. Are output respectively.
"Divided image data E1, ID1, left end coordinate (x1, y), distance range [d1, d1]"
“Divided image data E2, ID2, left end coordinate (x2, y), distance range [d2, d3]”
“Divided image data E3, ID1, left end coordinate (x3, y), distance range [d1, d1]”
"Divided image data E4, ID3, left end coordinate (x4, y), distance range [d4, d5]"
"Divided image data E5, ID1, left end coordinate (x5, y), distance range [d1, d1]"
As described above, the packet generation unit outputs the divided image data, the drawing start position coordinate information, and the distance range information corresponding to the divided image data.
図7の例での分割によるオブジェクト映像は、距離範囲[d1,d1]に対応するオブジェクトID1、距離範囲[d2,d3]に対応するオブジェクトID2、距離範囲[d4,d5]に対応するオブジェクトID3の3つあり、それぞれ、背景、左側の直方体、右側の直方体のオブジェクト映像に対応する。なお、距離範囲[d1,d1]に対応するオブジェクトID1は、第y行においては非連結であるが、直方体が存在しない行において連結となり、全体としては連結なオブジェクト映像となる。
The object video by the division in the example of FIG. 7 includes an
この図7の分割は、図5の第二の実施例の分割と同一の分割となっているが、出力されるオブジェクト映像数は3つと異なっている。 The division of FIG. 7 is the same division as that of the second embodiment of FIG. 5, but the number of object videos to be output is different from three.
図8は、本発明の実施の形態に係る映像処理装置1のハードウェア構成の一例を示すブロック図である。図8において、映像処理装置1を構成するコンピュータは、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、映像処理装置1を形成するコンピュータは、図8に示したようにCPU81、ROM82、RAM83、外部記憶装置84、通信インターフェース85、入出力インターフェース86と接続されたカメラ87とセンサー88、及び表示装置として設けられたディスプレイ89を、バスに接続して構成される。例えば、カメラ87は、撮像部20、40a、60aが対応し、センサー88は、60bが対応する。また、画像データ分割部およびパケット生成部は、CPU81が対応する。映像データ記憶部40bは、例えば外部記憶装置84であり、出力部43は、通信インターフェース85又は入出力インターフェース86である。
FIG. 8 is a block diagram showing an example of a hardware configuration of the
たとえば、ディスプレイ89において、本発明の実施の形態に係る映像処理装置1から出力された画像データパケットを表示する場合、ディスプレイは、画像データパケットに含まれる分割映像データ、描画開始位置、画素数を基に複数の画像データパケットから構成される映像データを表示することとなる。
For example, when displaying the image data packet output from the
図9は、本発明により生成された分割画像データに基づいて、画像データパケット方式により映像を再構成して表示させる場合の応用例における被写体の例を示す図である。本発明の映像処理装置、例えば本発明の第一の実施例のステレオカメラにより90のような被写体を撮影した場合、に基づいて説明する。90では、背景として遠くに山が写っており、手前に直方体の被写体が置かれている。
図10は、応用例における被写体を撮影した映像データの分割の一例を示す図である。ステレオカメラで撮影したときの直方体の被写体のずれが(x0,0)である場合、ズレ(0,0)に対応する背景部分のオブジェクト映像91(図10(a))、ズレ(x0,0)に対応するオブジェクト映像92(図10(b))、対応無し撮影データ印オブジェクト映像93(図10(c))のように3つのオブジェクト映像データが出力される。直方体がカメラA,B間の光軸間距離に比べて十分遠距離にある場合、直方体の側面の映像は、ズレ(x0,0)に対応するオブジェクト映像92に含まれる。ここでは、直方体が十分遠方にあるとし、すると、オブジェクト映像92は直方体のオブジェクト映像となっている。
FIG. 9 is a diagram illustrating an example of a subject in an application example in which a video is reconstructed and displayed by the image data packet method based on the divided image data generated according to the present invention. Description will be made based on the case where a subject such as 90 is photographed by the video processing apparatus of the present invention, for example, the stereo camera of the first embodiment of the present invention. In 90, a mountain is shown in the distance as a background, and a rectangular parallelepiped object is placed in front.
FIG. 10 is a diagram illustrating an example of division of video data obtained by photographing a subject in an application example. When the displacement of the cuboid subject when shooting with the stereo camera is (x0,0), the object image 91 (FIG. 10 (a)) in the background corresponding to the shift (0,0), the shift (x0,0) ) Corresponding to the object video 92 (FIG. 10B) and the non-corresponding shooting data mark object video 93 (FIG. 10C) are output. When the cuboid is sufficiently far away from the distance between the optical axes between the cameras A and B, the image of the side surface of the cuboid is included in the object image 92 corresponding to the deviation (x0,0). Here, assuming that the rectangular parallelepiped is sufficiently far away, the object video 92 is a rectangular parallelepiped object video.
参照映像データに対する分割映像データも出力される場合には、対応無し参照データ印オブジェクト映像94(図10(d))が出力される。すなわち91、92、93の総体はカメラAの撮影映像データ90であり、オブジェクト映像92の描画位置を左にx0移動させた映像にオブジェクト映像91とオブジェクト映像94を合わせた映像がカメラBで撮影した参照映像データとなっている。
When the divided video data with respect to the reference video data is also output, an unsupported reference data mark object video 94 (FIG. 10D) is output. That is, 91, 92, and 93 are the captured
このように分割された映像データであるオブジェクト映像データはそれぞれのオブジェクト映像データにおいて少なくとも一フレーム画像データあたり走査線の数だけ画像データパケットを有している。たとえば、オブジェクト映像92におけるある走査線の画像データパケットは、
「分割画像データA3、ID2、左端座標(x,y)、ズレ(x0,0)」
である。
The object video data, which is the video data divided in this way, has image data packets of at least the number of scanning lines per frame image data in each object video data. For example, an image data packet of a scanning line in the object video 92 is
"Divided image data A3, ID2, left end coordinate (x, y), displacement (x0, 0)"
It is.
このように、直方体のオブジェクト映像92は複数の走査線において同一のID(ここではID2)が付与されたパケットの総体である。たとえば、表示システムのCPUなどの制御部は、メモリなどの記憶部に記憶された画像データパケットのうち、同一のIDを有するデータパケットを抽出して表示装置に送出することで直方体のオブジェクト映像を表示することができる。また、直方体のオブジェクト映像92を構成する画像データパケットの描画開始位置を変更することで、表示位置を変更したり、他の映像と組み合わせて合成映像を生成することが可能となる。 As described above, the rectangular parallelepiped object video 92 is a total of packets to which the same ID (here, ID2) is assigned in a plurality of scanning lines. For example, a control unit such as a CPU of a display system extracts a data packet having the same ID from image data packets stored in a storage unit such as a memory and sends it to a display device, thereby generating a rectangular parallelepiped object video. Can be displayed. In addition, by changing the drawing start position of the image data packet constituting the cuboid object video 92, it is possible to change the display position or generate a composite video in combination with other video.
図11は、本発明の応用例における合成表示の生成例を示す図である。たとえば、直方体のオブジェクト映像92を、別途撮影した背景のオブジェクト映像95(図11(a))に重畳表示することで合成映像96(図11(b))が得られる。すなわち、直方体のオブジェクト映像92の描画優先順位を、別途撮影した背景のオブジェクト映像95の描画優先順位より高く設定して、合わせて表示装置に与えればよい。つまり、オブジェクト映像92に対するコマンドパケットにおいて描画優先順位を高く設定しておけばよい。たとえば、
「背景のオブジェクト映像95の描画優先度、10」であったなら、「直方体のオブジェクト映像92の描画優先度、11」
とコマンドパケットを用いて設定することにより、表示装置は、直方体のオブジェクト映像92と背景のオブジェクト映像95が重なる部分は、直方体のオブジェクト映像92を表示することにより、これらを重畳表示させた映像96が合成できる。なお、コマンドパケットは、画像データパケットとは別個に生成されるパケットであって、表示装置への指示命令のために生成、送信されるものである。
FIG. 11 is a diagram illustrating a generation example of a composite display in an application example of the present invention. For example, a composite video 96 (FIG. 11B) is obtained by superimposing and displaying a rectangular parallelepiped object video 92 on a separately captured background object video 95 (FIG. 11A). That is, the drawing priority order of the rectangular parallelepiped object video 92 may be set higher than the drawing priority order of the separately photographed
If the drawing priority of the
By using the command packet, the display device displays a
図12は、本発明の他の応用例を示す図である。97は、位置を計測可能なセンサー(例えば、3次元磁気センサーなどの位置センサー)を装着したユーザの位置が移動するのに呼応してオブジェクト映像92の重畳表示させる位置を変更させて合成表示する表示装置を示している。オブジェクト映像92における画像データパケットの描画開始位置をユーザの位置の変化に応じて変化させるようにしておくことで、オブジェクト映像92を容易に移動させて表示させることが可能である。図12においては表示装置とユーザに装着されたセンサーとが有線で接続されているが、無線であってもよい。 FIG. 12 is a diagram showing another application example of the present invention. 97 synthesizes and displays the object image 92 in a superimposed position in response to the movement of the position of the user wearing the sensor capable of measuring the position (for example, a position sensor such as a three-dimensional magnetic sensor). A display device is shown. By changing the drawing start position of the image data packet in the object video 92 according to the change in the position of the user, the object video 92 can be easily moved and displayed. In FIG. 12, the display device and the sensor attached to the user are connected by wire, but may be wireless.
本発明は、ステレオカメラや距離計を有するカメラなどに適用可能である。 The present invention is applicable to a stereo camera, a camera having a distance meter, and the like.
1 映像処理装置
11 画像データ分割部
12 パケット生成部
13 出力部
DESCRIPTION OF
Claims (7)
分割された前記画像データごとにIDを有する画像データパケットを生成するパケット生成部、及び
同一のIDが付与された前記画像データパケットをまとめて出力することで分割映像データを出力する出力部であって、まとめて出力する前記画像データパケットのIDが異なる少なくとも2以上の分割映像データを組み合わせて合成映像を生成するために、当該2以上の分割映像データを出力することを含む出力部
を有する映像処理装置。 An image data dividing unit that divides captured image data, which is video data obtained by imaging an object by the imaging unit, into image data of a plurality of objects for each scanning line ;
A output unit for outputting the divided video data by the packet generating unit for generating image data packets having the ID for each divided the image data, and collectively the image data packet same ID is assigned output Te, because the ID of the image data packets to be collectively output to generate a combined image by combining at least two different or more divided video data, the video having an output and outputting the two or more divided video data Processing equipment.
前記画像データ分割部は、さらに前記オブジェクトを撮像した他の画像データである参照画像データを取得し、前記撮像画像データと前記参照画像データを比較して、前記撮像画像データの走査線上の特定点に対する前記参照画像データの走査線上の対応点を求め、さらに対応点との差分を算出し、対応点の有無及び差分情報に基づいて前記撮像画像データと前記参照画像データを走査線毎に複数のオブジェクトの画像データに分割し、
前記パケット生成部は、分割された前記撮像画像データと対応する前記参照画像データとの間の差分情報を含めて画像データパケットを生成することを特徴とする、映像処理装置。 The video processing apparatus according to claim 1,
The image data dividing unit further acquires reference image data that is other image data obtained by imaging the object, compares the captured image data with the reference image data, and determines a specific point on a scanning line of the captured image data. A corresponding point on the scanning line of the reference image data with respect to the image, further calculating a difference with the corresponding point, a plurality of the captured image data and the reference image data for each scanning line based on the presence / absence of the corresponding point and the difference information Divide into object image data ,
The video processing apparatus, wherein the packet generation unit generates an image data packet including difference information between the divided captured image data and the corresponding reference image data.
さらにステレオカメラにより構成される撮像部を有し、
前記撮像画像データは前記ステレオカメラの一方のカメラのデータであり、前記参照画像データは、他方のカメラのデータであることを特徴とする映像処理装置。 The video processing apparatus according to claim 2,
In addition, it has an imaging unit composed of a stereo camera,
The video processing apparatus, wherein the captured image data is data of one of the stereo cameras, and the reference image data is data of the other camera.
さらに映像データを記憶する映像データ記憶部を有し、
前記画像データ分割部は、前記撮像画像データが撮像したオブジェクトを有する画像データに対応する画像データを前記映像データ記憶部から前記参照画像データとして取得することを特徴とする映像処理装置。 The video processing apparatus according to claim 2,
Furthermore, it has a video data storage unit for storing video data,
The video processing apparatus, wherein the image data dividing unit acquires image data corresponding to image data having an object captured by the captured image data as the reference image data from the video data storage unit.
前記画像データ分割部は、さらに前記撮像画像データにおける任意の走査線上にあるオブジェクトと前記撮像部の距離を示す距離データを取得し、距離の変化に応じて前記撮像画像データを分割し、
前記パケット生成部は、分割された前記撮像画像データにおける距離範囲情報を含めて画像データパケットを生成することを特徴とする映像処理装置。 The video processing apparatus according to claim 1,
The image data dividing unit further acquires distance data indicating a distance between an object on an arbitrary scanning line in the captured image data and the imaging unit, and divides the captured image data according to a change in distance,
The video processing apparatus, wherein the packet generation unit generates an image data packet including distance range information in the divided captured image data.
前記画像データ分割部は、さらに前記オブジェクトを撮像した他の画像データである参照画像データを取得し、前記撮像画像データと前記参照画像データとに基づいて前記オブジェクトまでの距離データを算出することで距離データを取得することを特徴とする映像処理装置。 The video processing device according to claim 5,
The image data dividing unit further acquires reference image data that is other image data obtained by imaging the object, and calculates distance data to the object based on the captured image data and the reference image data. A video processing apparatus characterized by acquiring distance data.
分割された前記画像データごとにIDを有する画像データパケットを生成するステップ、及び
同一のIDが付与された前記画像データパケットをまとめて出力することで分割映像データを出力するステップであって、まとめて出力する前記画像データパケットのIDが異なる少なくとも2以上の分割映像データを組み合わせて合成映像を生成するために、当該2以上の分割映像データを出力することを含むステップ
を有する映像処理方法。 Dividing captured image data, which is video data obtained by imaging an object, into image data of a plurality of objects for each scanning line ;
A step of outputting the divided video data by step to generate image data packets having the ID for each divided the image data, and the image data packets are collectively the same ID is assigned output collectively wherein for the ID of the image data packet to generate a combined image by combining at least two different or more divided video data, the video processing method comprising the step of comprises outputting the two or more divided image data to be output Te.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012135641A JP6245594B2 (en) | 2012-06-15 | 2012-06-15 | Video processing apparatus and video processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012135641A JP6245594B2 (en) | 2012-06-15 | 2012-06-15 | Video processing apparatus and video processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014003357A JP2014003357A (en) | 2014-01-09 |
JP6245594B2 true JP6245594B2 (en) | 2017-12-13 |
Family
ID=50036169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012135641A Active JP6245594B2 (en) | 2012-06-15 | 2012-06-15 | Video processing apparatus and video processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6245594B2 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10233806A (en) * | 1997-02-21 | 1998-09-02 | Matsushita Electric Ind Co Ltd | Media data multiplexing transmission method and media data demultiplexing output method |
JP2001211164A (en) * | 2000-01-27 | 2001-08-03 | Victor Co Of Japan Ltd | Image encoding system |
JP2003111041A (en) * | 2001-09-28 | 2003-04-11 | Canon Inc | Image processor, image processing system, image processing method, storage medium and program |
JP2003304562A (en) * | 2002-04-10 | 2003-10-24 | Victor Co Of Japan Ltd | Object encoding method, object encoder, and program for object encoding |
JP4295470B2 (en) * | 2002-05-08 | 2009-07-15 | 日本放送協会 | Content providing system, content receiving apparatus, content providing method, content receiving method, content providing program, and content receiving program |
JP2005175970A (en) * | 2003-12-11 | 2005-06-30 | Canon Inc | Imaging system |
KR100754702B1 (en) * | 2005-01-27 | 2007-09-03 | 삼성전자주식회사 | MPEG-4 Object Information Management Method in MPEG-2 TS |
-
2012
- 2012-06-15 JP JP2012135641A patent/JP6245594B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014003357A (en) | 2014-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7002056B2 (en) | 3D model generator and 3D model generation method | |
KR20180081720A (en) | Coding device and coding method, decoding device and decoding method | |
WO2015081870A1 (en) | Image processing method, device and terminal | |
JP5387905B2 (en) | Image processing apparatus and method, and program | |
JP2011090400A (en) | Image display device, method, and program | |
JP2008140271A (en) | Interactive device and method thereof | |
JP5755571B2 (en) | Virtual viewpoint image generation device, virtual viewpoint image generation method, control program, recording medium, and stereoscopic display device | |
KR20180081721A (en) | Image processing apparatus and image processing method | |
JP2009244502A (en) | Image processing apparatus, image display apparatus, imaging apparatus and image processing method | |
JP6585938B2 (en) | Stereoscopic image depth conversion apparatus and program thereof | |
JP2019114842A (en) | Image processing device, content processing device, content processing system, and image processing method | |
JPWO2019186787A1 (en) | Image processing apparatus, image processing method, and image processing program | |
WO2017134770A1 (en) | Video synchronization device | |
JPH07129792A (en) | Method and device for image processing | |
KR100263936B1 (en) | Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video | |
KR101987062B1 (en) | System for distributing and combining multi-camera videos through ip and a method thereof | |
JP5627498B2 (en) | Stereo image generating apparatus and method | |
JP5464129B2 (en) | Image processing apparatus and parallax information generating apparatus | |
KR20070010306A (en) | Device taking a picture and method to generating the image with depth information | |
JP2011151773A (en) | Video processing apparatus and control method | |
JP2014072809A (en) | Image generation apparatus, image generation method, and program for the image generation apparatus | |
JP6245594B2 (en) | Video processing apparatus and video processing method | |
JP2012105172A (en) | Image generation device, image generation method, computer program, and record medium | |
JP5509986B2 (en) | Image processing apparatus, image processing system, and image processing program | |
JP6625654B2 (en) | Projection device, projection method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160520 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160531 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20160729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6245594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |