WO2020213430A1 - 映像処理装置、映像処理方法及び映像処理プログラム - Google Patents

映像処理装置、映像処理方法及び映像処理プログラム Download PDF

Info

Publication number
WO2020213430A1
WO2020213430A1 PCT/JP2020/015299 JP2020015299W WO2020213430A1 WO 2020213430 A1 WO2020213430 A1 WO 2020213430A1 JP 2020015299 W JP2020015299 W JP 2020015299W WO 2020213430 A1 WO2020213430 A1 WO 2020213430A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame data
area
prohibited area
data
seam
Prior art date
Application number
PCT/JP2020/015299
Other languages
English (en)
French (fr)
Inventor
小野　正人
高秀 星出
松原　靖
深津　真二
憲一 南
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/599,065 priority Critical patent/US20220199120A1/en
Priority to CN202080029286.XA priority patent/CN113711580A/zh
Publication of WO2020213430A1 publication Critical patent/WO2020213430A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals

Definitions

  • the present invention relates to a technique for connecting a plurality of images shot by overlapping a part of a shooting area.
  • Non-Patent Document 1 images taken by a plurality of cameras are connected in real time in the horizontal and vertical directions, and a surround image showing the entire state of a field competition with a wide competition space is synthesized.
  • a seam is set in the overlapping area where the adjacent images overlap.
  • a composite image can be obtained by cutting and connecting adjacent images with a seam.
  • Patent Document 1 a prohibited area through which the seam does not pass is set in order to make the seam inconspicuous when connecting a plurality of images. For example, by setting a prohibited area for a moving object such as a person, it is possible to avoid the loss or elongation of the moving object caused by the moving object overlapping the seam.
  • the seam may change significantly, avoiding the prohibited area set for the moving object.
  • the moving object appears to move unnaturally. For example, if a seam set on the right side of a moving object in one frame is set on the left side of a moving object in the next frame, the moving object shown in the left image in the previous frame will be used in the composited image. In the next frame, the moving object shown in the image on the right side is used in the image after composition. Due to the difference between the camera that shoots the image on the left and the camera that shoots the image on the right, if the position of the moving object on the left and right images is misaligned in the overlapping area, the moving object may appear to move suddenly. , It seems to move in the direction opposite to the direction of travel, or it seems to have stopped.
  • the present invention has been made in view of the above, and an object of the present invention is to suppress unnatural movement of a moving object at a connecting point when connecting a plurality of video data.
  • the video processing device is a video processing device that connects a plurality of video data shot by overlapping a part of a shooting area, and acquires a plurality of frame data shot at the same time from the plurality of video data.
  • a seam calculation means for calculating the joint so as not to pass through the prohibited area
  • a prohibited area setting means for setting a prohibited area that does not pass the joint in the overlapping area on which the frame data adjacent to each other is overlapped.
  • a concatenated frame output means for concatenating the plurality of frame data and outputting the concatenated frame data according to the joint, the prohibited area setting means allows an object detected from the frame data to enter the overlapping area. At that time, the prohibited area is set based on the position and the moving direction of the object.
  • the video processing method is a video processing method using a video processing device that connects a plurality of video data shot by overlapping a part of a shooting area, and is a plurality of video processing methods shot simultaneously from the plurality of video data.
  • the prohibited area is set based on the position and the moving direction of the object.
  • the video processing program according to the present invention is characterized in that a computer is operated as each means of the above-mentioned video processing device.
  • the configuration of the wide viewing angle remote monitoring system using the video processing according to the present invention will be described with reference to FIG.
  • the wide viewing angle remote monitoring system shown in the figure synthesizes a plurality of images to generate a panoramic image, acquires object information of the object to be monitored from the image, and uses MMTP (MPEG Media Transmission Protocol). It is a system that realizes low delay processing for synchronous transmission of panoramic video, sound, and object information via an IP network.
  • the wide viewing angle remote monitoring system can be used for wide viewing angle monitoring such as air traffic control, public space monitoring, and disaster prevention monitoring.
  • the wide viewing angle remote monitoring system of FIG. 1 includes a synthesis processing server 100, an object information integrated server 200, a decoding server 300, and an integrated object information receiving server 400.
  • the synthesis processing server 100 includes a synthesis processing unit 110, an encoding processing unit 120, and an object detection / tracking processing unit 130.
  • the composition processing server 100 inputs images and sounds from each of a plurality of imaging systems (for example, a 4K camera), connects the images to synthesize a panoramic image, and detects and tracks a target object from each image.
  • a plurality of imaging systems for example, a 4K camera
  • the composition processing unit 110 combines a plurality of input images in real time to synthesize a panoramic image.
  • the compositing processing unit 110 dynamically changes the seam that connects the images.
  • the synthesis processing unit 110 aims to improve the synthesis quality by using the image processing according to the present invention using the tracking result of a moving object. Details of the video processing according to the present invention will be described later.
  • the encoding processing unit 120 encodes the panoramic video and sound data synthesized by the synthesis processing unit 110, converts it into an MMTP stream, and sends it to the decoding server 300.
  • the object detection / tracking processing unit 130 detects and tracks the target object from each video.
  • the object detection / tracking processing unit 130 transmits the processing execution result (tracking information) of each video to the object information integration server 200 and also transmits the synthesis processing unit 110.
  • the object information integration server 200 converts the coordinates on each image of the object into the coordinates on the panoramic image for the tracking information of each image input from the object detection / tracking processing unit 130.
  • the object information integration server 200 integrates tracking information of presumed identical objects appearing in each of the images in the overlapping area where the images are superimposed.
  • the object information integrated server 200 converts the object information in which additional information is added to the tracking information into an MMTP packet and sends it to the integrated object information receiving server 400. Additional information may be obtained by inquiring to an external server.
  • the decoding server 300 decodes the MMTP stream received from the synthesis processing server 100 and outputs a panoramic image and sound.
  • the integrated object information receiving server 400 receives the MMTP packet of the object information from the object information integrated server 200 and outputs the object information.
  • the object information output from the integrated object information receiving server 400 is superimposed and displayed on the panoramic image output from the decoding server 300.
  • the configuration of the video processing device 1 of the present embodiment will be described with reference to FIG.
  • the image processing device 1 corresponds to the synthesis processing unit 110 of FIG.
  • the video processing device 1 shown in FIG. 2 generates one video data by concatenating a plurality of video data shot by superimposing a part of a shooting area by a plurality of cameras C1 and C2, and displays the concatenated video data. It is a device that outputs to the device D.
  • the video processing device 1 searches for an appropriate seam in the frame data captured at the same time of each video data, connects each frame data with the searched seam, and reconstructs the video data.
  • the video data captured by the two cameras C1 and C2 arranged in the horizontal direction are combined, but the present invention is not limited to this. Video data taken by three or more cameras may be combined, video data taken by vertically arranged cameras may be combined, or multiple cameras may be arranged side by side in the horizontal and vertical directions. The resulting video data may be combined.
  • the video processing device 1 shown in FIG. 2 is a general computer including a storage device 10, a processing device 20, and an input / output interface 30.
  • the function shown in FIG. 2 is realized by executing a video processing program on a general computer.
  • the storage device 10 is a ROM (Read only memory), a RAM (Random access memory), a hard disk, or the like, and stores various data such as input data, output data, and intermediate data necessary for the processing device 20 to execute processing.
  • ROM Read only memory
  • RAM Random access memory
  • hard disk or the like
  • the processing device 20 is a central processing unit (CPU) or a graphics processing unit (GPU), and reads / writes data stored in the storage device 10 or inputs / outputs data to / from the input / output interface 30 to input / output video.
  • the processing in the processing device 1 is executed.
  • the input / output interface 30 receives inputs from input devices I such as a keyboard and mouse and a plurality of cameras C1 and C2, and inputs the input data to the processing device 20.
  • the input / output interface 30 further outputs the processing result of the processing device 20 to a display device D such as a display.
  • the input / output interface 30 may transmit the encoded concatenated frame data via the network.
  • the input device I, the plurality of cameras C1 and C2, and the display device D may be connected to the video processing device 1 via a communication interface and a communication network.
  • a recorder or a storage device that stores a plurality of pre-captured shooting data is connected to the video processing device 1, and a plurality of pre-captured shooting data is stored in the video processing device 1. It may be processed.
  • the storage device 10 stores the setting data 11, the frame information data 12, the prohibited area data 13, the seam data 14, and the concatenated frame data 15.
  • the storage device 10 may store a video processing program executed by a computer.
  • the setting data 11 is setting information such as parameters required for processing of the video processing device 1.
  • the setting data 11 includes, for example, the number and arrangement of video data input to the video processing device 1, and parameters used for calculating the prohibited area data 13.
  • the frame information data 12 is information on each frame data taken at the same time in a plurality of video data output by the plurality of cameras C1 and C2.
  • the frame information data 12 is data in which information such as a camera identifier, a pixel value, a frame rate, and a brightness value is associated with the frame data.
  • the prohibited area data 13 is data indicating a prohibited area that is not calculated when calculating the seam.
  • the prohibited area is set by the prohibited area setting means 24 described later.
  • the seam data 14 is data as a result of calculating the joint of each frame data by the seam calculation means 25 described later.
  • the concatenated frame data 15 is the frame data after concatenation in which a plurality of frame data shot at the same time are combined according to the seam data 14.
  • the linked frame data 15 is one frame data that constitutes the video data output by the video processing device 1.
  • the processing device 20 includes a setting acquisition means 21, a frame acquisition means 22, an object detection means 23, a prohibited area setting means 24, a seam calculation means 25, and a connected frame output means 26.
  • the setting acquisition means 21 acquires parameters necessary for processing of the video processing device 1 and stores them in the setting data 11.
  • the setting acquisition means 21 acquires parameters according to the information input from the input device I by the user.
  • the setting acquisition means 21 may acquire parameters by analyzing each video data or the like input from the cameras C1 and C2.
  • the frame acquisition means 22 acquires frame data shot at the same time from each of the video data input from the cameras C1 and C2.
  • the frame acquisition means 22 generates and stores frame information data 12 for each acquired frame data.
  • the frame acquisition means 22 synchronizes each video data when inputting video data from the cameras C1 and C2, and adjusts the time stamp of each frame data.
  • the frame acquisition means 22 may perform correction processing and color correction processing for reducing the influence of parallax caused by shooting with a plurality of cameras C1 and C2.
  • the object detection means 23 corresponds to the object detection / tracking processing unit 130 in FIG.
  • the object detection means 23 detects the target object from each of the frame data and tracks the detected object. Tracking is to determine the identity of an object detected in the current frame data and an object detected in the past frame data, and track the movement of the object.
  • the object to be detected is a moving object to be monitored, such as a person.
  • the prohibited area setting means 24 sets the prohibited area based on the position of the object detected in the overlapping area of the adjacent frame data and the moving direction of the object. As in Patent Document 1, the prohibited area setting means 24 may set the prohibited area based on the brightness value of the frame data. The details of the method of setting the prohibited area based on the detected object will be described later.
  • the seam calculation means 25 acquires a plurality of frame data captured at the same time, does not use the pixels included in the prohibited area indicated by the prohibited area data 13 as the calculation target of the seam calculation, and is a seam which is a joint of frame data adjacent to each other. Data 14 is calculated. More specifically, the seam calculation means 25 uses, among the pixels in the search range of the adjacent line, the pixel having the smallest difference in feature value from the pixel of the seam calculated immediately before as a seam in this line. calculate. At this time, the seam calculation means 25 does not include the pixels included in the prohibited area in the search range. The seam calculation means 25 may calculate the seam by using the reduced frame data obtained by reducing the frame data. In this case, the seam calculation means 25 applies the prohibited area in a reduced size.
  • the concatenated frame output means 26 concatenates a plurality of frame data according to the seam data 14 calculated by the seam calculation means 25, and outputs the concatenated frame data 15 without duplication.
  • the image processing device 1 repeats the following steps S1 to S7 for each frame data simultaneously captured in the image data input from each of the cameras C1 and C2.
  • step S1 the frame acquisition means 22 acquires each frame data taken at the same time from the video data input from each of the cameras C1 and C2.
  • step S2 the frame acquisition means 22 generates duplicate frame data by associating the feature points of each frame data acquired in step S1.
  • FIG. 4 shows duplicate frame data generated from frame data F1 and F2 taken at the same time by two cameras C1 and C2.
  • the frame acquisition means 22 superimposes the frame data F1 and F2 to generate overlapping frame data so that the feature points on the right side of the shooting area of the frame data F1 and the feature points on the left side of the shooting area of the frame data F2 match. ..
  • the frame data F1 and F2 are overlapped so that the overlapping frame data becomes rectangular, but if the roll angles of the cameras C1 and C2 are different, the frame data may be arranged diagonally. ..
  • step S3 the frame acquisition means 22 sets an overlapping area in the overlapping frame data generated in step S2.
  • the overlapping area R is the area where the right side of the shooting area of the frame data F1 and the left side of the shooting area of the frame data F2 overlap.
  • step S4 the prohibited area setting means 24 sets the prohibited area based on the objects detected from the frame data F1 and F2.
  • FIG. 5 illustrates the prohibited area P. The details of the process of setting the prohibited area will be described later.
  • step S5 the seam calculation means 25 does not calculate the seam calculation for the pixels included in the prohibited area, but sequentially specifies the pixels forming the seam in the direction orthogonal to the adjacent direction of the frame data to calculate the seam. ..
  • the seam calculation means 25 since the frame data F1 and F2 are adjacent to each other in the horizontal direction, the seam calculation means 25 does not set the pixels included in the prohibited area P as the calculation target for the seam calculation, and starts from the line next to the overlapping area R.
  • One pixel is determined as a seam, and the pixels that form the seam sequentially in the vertical direction are calculated to obtain the seam SEL.
  • step S6 the concatenated frame output means 26 concatenates each frame data according to the seam and generates the concatenated frame data 15.
  • FIG. 6 shows an example of concatenated frame data in which frame data are concatenated by seams.
  • the frame data F1 and the frame data F2 separated by the seam SEL are connected to generate the concatenated frame data.
  • connection frame output means 26 outputs the connection frame data 15 generated in step S6.
  • the connected frame data 15 is frame data of the video data output by the video processing device 1.
  • step S41 the object detection means 23 detects and tracks the target object for each frame data.
  • the prohibited area setting means 24 acquires the position information and the moving direction of the objects detected in the overlapping area on the frame data.
  • the process of step S41 may be performed before setting the prohibited area.
  • the process of step S41 may be performed after acquiring the frame data from each video data in step S1.
  • Another device may detect and track the object, and the video processing device 1 may receive the detection result of the object.
  • FIG. 8 shows the object O detected in the overlapping area R.
  • the object O shown in the figure moves from the left side (frame data F1 side) of the horizontally arranged frame data F1 and F2 to the right side (frame data F2 side).
  • the object detecting means 23 detects the same object O in each of the frame data F1 and F2 in the overlapping area R. Due to the parallax of the cameras C1 and C2, the detection position of the object O in the frame data F1 and the detection position of the object O in the frame data F2 may deviate from each other. Since the object O is moving from the frame data F1 to the frame data F2, the object detecting means 23 may set the detection position of the object O in the frame data F1 as the position of the object O. The detection position of the object in the frame data F1 and F2 may be converted into the coordinates on the concatenated frame data, and the coordinates may be used as the position of the object O. In this case, even if the detection position of the object O is slightly deviated in the frame data F1 and F2, if it is determined that they are the same object, the coordinates are the same.
  • step S42 the prohibited area setting means 24 sets a certain area including the object detected in the overlapping area as the prohibited area so that the seam is not generated across the objects.
  • FIG. 9 shows how the area including the object O is set as the prohibited area P1.
  • the prohibited area setting means 24 sets the prohibited area P1 based on the detection frame in which the object O is detected, for example.
  • the prohibited area setting means 24 sets the area between the prohibited area set in step S42 and the side of the overlapping area as the prohibited area based on the parameters of the setting data 11 and the moving direction of the object.
  • the prohibited area setting means 24 sets the area from the prohibited area P1 to the side where the object enters the overlapping area R (the side on the left side of the overlapping area R) as the prohibited area P2.
  • the prohibited area setting means 24 may set the area from the prohibited area P1 to the side of the overlapping area R on the approach direction side of the object as the prohibited area, or the prohibited area P1 to the object.
  • the area up to the side in the traveling direction (the side on the right side of the overlapping area R in FIG.
  • the prohibited area setting means 24 may use only the prohibited area P1 as the prohibited area.
  • the prohibited area setting means 24 may change the shape and range of the prohibited area P2 set between the prohibited area P1 and the side of the overlapping area R based on the parameters of the setting data 11.
  • the prohibited area setting means 24 may further perform a process of setting the prohibited area in a portion where the brightness value of the frame data is higher than a predetermined threshold value.
  • the threshold value and the like can be adjusted by the setting data 11. Depending on the setting, it is not necessary to set the prohibited area based on the brightness value.
  • the seam calculation means 25 obtains the seam SEL so as not to pass through the prohibited area P set based on the object.
  • the prohibited area P is set to the area from the side where the object enters the overlapping area R to the current position of the object while the object advances through the overlapping area R.
  • Seam SEL passes through the traveling direction side of the object.
  • the prohibited area setting means 24 overlaps the objects in the traveling direction from the current position.
  • the area up to the side of the area R may be set as the prohibited area P.
  • FIG. 13 is a diagram showing a state in which the prohibited area P is set on the traveling direction side of the object.
  • the object is advancing from the frame data F2 toward the frame data F1.
  • the prohibited area P is set in the area from the current position of the object to the side of the overlapping area R on the traveling direction side of the object while the object advances in the overlapping area R.
  • the seam SEL passes behind the object.
  • the sum may be set as the prohibited area. For example, objects that move in the same direction are handled together and a prohibited area is set.
  • the prohibited area may be set based on the moving direction of each object. Alternatively, the prohibited area may be set by giving priority to each of the objects.
  • the frame acquisition means 22 acquires the frame data simultaneously shot from each of the video data input from the cameras C1 and C2, and the prohibited area setting means 24 determines. Based on the position of the object detected in the overlapping area of the adjacent frame data and the movement direction of the object, a prohibited area that is not calculated when calculating the seam is set, and the seam calculation means 25 sets the pixels included in the prohibited area.
  • the seams of the frame data adjacent to each other are calculated without being included in the calculation target of the seam calculation, and the concatenated frame output means 26 concatenates the frame data according to the seams and outputs the concatenated frame data 15. Can be suppressed and unnatural movement of objects can be suppressed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

複数の映像データを連結する際に、連結箇所での移動物体の不自然な移動を抑制する。フレーム取得手段２２が、カメラＣ１，Ｃ２から入力された映像データのそれぞれから、同時に撮影されたフレームデータを取得する。禁止領域設定手段２４が、隣接するフレームデータの重複領域において検出されたオブジェクトの位置およびオブジェクトの移動方向に基づき、シーム算出の際に計算対象としない禁止領域を設定する。シーム算出手段２５が、禁止領域に含まれる画素をシーム算出の計算対象としないで、互いに隣接するフレームデータのシームを算出する。連結フレーム出力手段２６が、シームに従ってフレームデータを連結し、連結フレームデータ１５を出力する。

Description

映像処理装置、映像処理方法及び映像処理プログラム
　本発明は、撮影領域の一部を重ねて撮影された複数の映像をつなぐ技術に関する。
　非特許文献１では、複数のカメラで撮影した映像を水平垂直方向にリアルタイムでつなぎ合わせて、広い競技空間を持つフィールド競技の様子全体を写したサラウンド映像を合成している。隣接する映像をつなげる際、隣接する映像が重複する重複領域につなぎ目（シーム）を設定する。隣接する映像をシームで切り取って連結することで合成映像が得られる。
　特許文献１では、複数の映像をつなぎ合わせる際にシームを目立たなくさせるために、シームが通らない禁止領域を設定している。例えば、人物などの移動物体に禁止領域を設定することで、移動物体がシームに重なることで発生する移動物体の欠損や伸長を回避できる。
特開２０１９－３６９０６号公報
佐藤孝子、難波功次、小野正人、菊地由実、山口徹也、小野朗、「競技空間全体の高臨場ライブ中継に向けたサラウンド映像合成・同期伝送技術」、ＮＴＴ技術ジャーナル、日本電信電話株式会社、2017, Vol. 29, No. 10, pp. 19-23
　移動物体の移動に伴い、シームが、移動物体に設定した禁止領域を避けて大きく変化することがある。この場合、移動物体が不自然に移動したように見えてしまうという問題があった。例えば、あるフレームにおいて移動物体の右側に設定されたシームが、次のフレームにおいて移動物体の左側に設定された場合、前のフレームでは左側の映像に写った移動物体が合成後の映像に用いられ、次のフレームでは右側の映像に写った移動物体が合成後の映像に用いられる。左側の映像を撮影するカメラと右側の映像を撮影するカメラの視差により、重複領域において、左右の映像上での移動物体の位置がずれていると、移動物体が急に動いたように見えたり、進行方向とは逆方向に動いたように見えたり、もしくは止まったように見えたりする。
　本発明は、上記に鑑みてなされたものであり、複数の映像データを連結する際に、連結箇所での移動物体の不自然な移動を抑制することを目的とする。
　本発明に係る映像処理装置は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、互いに隣接する前記フレームデータが重ねられた重複領域につなぎ目を通さない禁止領域を設定する禁止領域設定手段と、前記禁止領域を通らないように前記つなぎ目を算出するシーム算出手段と、前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力する連結フレーム出力手段と、を備え、前記禁止領域設定手段は、前記フレームデータから検出されたオブジェクトが前記重複領域に進入した際、前記オブジェクトの位置および移動方向に基づいて前記禁止領域を設定することを特徴とする。
　本発明に係る映像処理方法は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置による映像処理方法であって、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、互いに隣接する前記フレームデータが重ねられた重複領域につなぎ目を通さない禁止領域を設定するステップと、前記禁止領域を通らないように前記つなぎ目を算出するステップと、前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力するステップと、を有し、前記禁止領域を設定するステップでは、前記フレームデータから検出されたオブジェクトが前記重複領域に進入した際、前記オブジェクトの位置および移動方向に基づいて前記禁止領域を設定することを特徴とする。
　本発明に係る映像処理プログラムは、上記の映像処理装置の各手段としてコンピュータを動作させることを特徴とする。
　本発明によれば、複数の映像データを連結する際に、連結箇所での移動物体の不自然な移動を抑制することができる。
本実施形態の映像処理装置を用いて構成した広視野角遠隔監視システムの構成を示す図である。 本実施形態の映像処理装置のハードウエア構成および機能ブロックを説明する図である。 本実施形態の映像処理装置の処理の流れを示すフローチャートである。 重複フレームデータの例を示す図である。 重複フレームデータの重複領域に禁止領域を設定した例を示す図である。 フレームデータをシームで連結した連結フレームデータの例を示す図である。 禁止領域を設定する処理の流れを示すフローチャートである。 重複領域で検出されたオブジェクトの例を示す図である。 検出されたオブジェクトを含む一定の領域を禁止領域として設定した例を示す図である。 オブジェクトの移動方向に基づいて禁止領域を設定した例を示す図である。 図１０の重複フレームデータからシームを求めた例を示す図である。 オブジェクトの進入方向側に設定した禁止領域とシームの時系列の変化を示す図である。 オブジェクトの進行方向側に設定した禁止領域とシームの時系列の変化を示す図である。
　以下、本発明の実施の形態について図面を用いて説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
　図１を参照し、本発明にかかる映像処理を用いた広視野角遠隔監視システムの構成を説明する。同図に示す広視野角遠隔監視システムは、複数の映像を合成してパノラマ映像を生成するとともに、映像から監視対象の物体の物体情報を取得し、ＭＭＴＰ（ＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）を利用してＩＰネットワーク経由でパノラマ映像、音および物体情報を同期伝送する処理を低遅延に実現するシステムである。広視野角遠隔監視システムは、例えば、航空管制、公共空間監視、および防災監視などの広視野角での監視に用いることができる。
　図１の広視野角遠隔監視システムは、合成処理サーバ１００、物体情報統合サーバ２００、デコードサーバ３００、および統合物体情報受信サーバ４００を備える。
　合成処理サーバ１００は、合成処理部１１０、エンコード処理部１２０、および物体検出・トラッキング処理部１３０を備える。合成処理サーバ１００は、複数の撮像系（例えば４Ｋカメラ）のそれぞれから映像と音を入力し、映像をつなげてパノラマ映像を合成するとともに、各映像から対象の物体の検出およびトラッキングを行う。
　合成処理部１１０は、入力した複数の映像をリアルタイムにつなぎ合わせてパノラマ映像を合成する。合成処理部１１０は、映像をつなぎ合わせるシームを動的に変更する。合成処理部１１０は、シームを求める際、移動物体のトラッキング結果を利用した本発明にかかる映像処理を用いて合成品質の向上を図る。本発明にかかる映像処理の詳細については後述する。
　エンコード処理部１２０は、合成処理部１１０の合成したパノラマ映像および音データをエンコードし、ＭＭＴＰストリームに変換してデコードサーバ３００へ送出する。
　物体検出・トラッキング処理部１３０は、各映像から対象の物体の検出およびトラッキングを実施する。物体検出・トラッキング処理部１３０は、各映像での処理の実施結果（トラッキング情報）を物体情報統合サーバ２００へ送信するとともに、合成処理部１１０へ送信する。
　物体情報統合サーバ２００は、物体検出・トラッキング処理部１３０から入力される各映像のトラッキング情報について、物体の各映像上の座標をパノラマ映像上の座標へ変換する。物体情報統合サーバ２００は、映像が重ね合わされた重複領域において、映像のそれぞれに現れる同一と推定される物体のトラッキング情報を統合する。物体情報統合サーバ２００は、トラッキング情報に付加情報を追加した物体情報をＭＭＴＰパケット化して統合物体情報受信サーバ４００へ送出する。付加情報は外部サーバへ問い合わせて取得してもよい。
　デコードサーバ３００は、合成処理サーバ１００から受信したＭＭＴＰストリームをデコードし、パノラマ映像および音を出力する。
　統合物体情報受信サーバ４００は、物体情報統合サーバ２００から物体情報のＭＭＴＰパケットを受信し、物体情報を出力する。
　表示系（例えばパノラマスクリーン）では、デコードサーバ３００から出力されたパノラマ映像に統合物体情報受信サーバ４００から出力された物体情報が重畳されて表示される。
　（映像処理装置の構成）
　図２を参照し、本実施形態の映像処理装置１の構成について説明する。映像処理装置１は、図１の合成処理部１１０に相当する。
　図２に示す映像処理装置１は、複数のカメラＣ１，Ｃ２により撮影領域の一部を重ねて撮影された複数の映像データを連結して１つの映像データを生成し、連結した映像データを表示装置Ｄに出力する装置である。映像処理装置１は、各映像データの同時に撮影されたフレームデータにおける適切なシームを探索し、探索されたシームで各フレームデータをつないで、映像データを再構成する。本実施形態では、水平方向に並べた２台のカメラＣ１，Ｃ２で撮影した映像データを合成するが、これに限るものではない。３台以上のカメラで撮影した映像データを合成してもよいし、垂直方向に並べたカメラで撮影した映像データを合成してもよいし、水平方向と垂直方向に複数台のカメラを並べて撮影した映像データを合成してもよい。
　図２に示す映像処理装置１は、記憶装置１０、処理装置２０および入出力インタフェース３０を備える一般的なコンピュータである。一般的なコンピュータが映像処理プログラムを実行することにより、図２に示す機能を実現する。
　記憶装置１０は、ＲＯＭ（Ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）、ハードディスク等であって、処理装置２０が処理を実行するために必要な入力データ、出力データおよび中間データなどの各種データを記憶する。
　処理装置２０は、中央処理装置（ＣＰＵ）またはグラフィクスプロセシングユニット（ＧＰＵ）であって、記憶装置１０に記憶されたデータを読み書きしたり、入出力インタフェース３０とデータを入出力したりして、映像処理装置１における処理を実行する。
　入出力インタフェース３０は、キーボード、マウスなどの入力装置Ｉおよび複数のカメラＣ１，Ｃ２からの入力を受け付け、入力されたデータを処理装置２０に入力する。入出力インタフェース３０は、さらに、処理装置２０による処理結果をディスプレイなどの表示装置Ｄに出力する。処理結果の連結フレームデータを伝送する場合、入出力インタフェース３０は、エンコードした連結フレームデータをネットワークを介して送出してもよい。入力装置Ｉ、複数のカメラＣ１，Ｃ２、および表示装置Ｄは、通信インタフェースおよび通信ネットワークを介して、映像処理装置１に接続されても良い。また複数のカメラＣ１，Ｃ２に代わって、予め撮影された複数の撮影データを記憶した録画機または記憶装置を映像処理装置１に接続し、映像処理装置１に予め撮影された複数の撮影データを処理させても良い。
　記憶装置１０は、設定データ１１、フレーム情報データ１２、禁止領域データ１３、シームデータ１４、および連結フレームデータ１５を記憶する。記憶装置１０は、コンピュータが実行する映像処理プログラムを記憶してもよい。
　設定データ１１は、映像処理装置１の処理に必要なパラメータ等の設定情報である。設定データ１１は、例えば、映像処理装置１に入力される映像データの数およびその配列、禁止領域データ１３の算出に用いるパラメータを含む。
　フレーム情報データ１２は、複数のカメラＣ１，Ｃ２が出力する複数の映像データにおいて、同時に撮影された各フレームデータの情報である。フレーム情報データ１２は、フレームデータに、カメラの識別子、画素値、フレームレート、輝度値などの情報を対応づけたデータである。
　禁止領域データ１３は、シーム算出の際に計算対象としない禁止領域を示すデータである。禁止領域は、後述の禁止領域設定手段２４により設定される。
　シームデータ１４は、後述するシーム算出手段２５によって各フレームデータのつなぎ目を算出した結果のデータである。
　連結フレームデータ１５は、同時に撮影された複数のフレームデータをシームデータ１４に従って結合した連結後のフレームデータである。連結フレームデータ１５は、映像処理装置１が出力する映像データを構成する一つのフレームデータとなる。
　処理装置２０は、設定取得手段２１、フレーム取得手段２２、オブジェクト検出手段２３、禁止領域設定手段２４、シーム算出手段２５、および連結フレーム出力手段２６を備える。
　設定取得手段２１は、映像処理装置１の処理に必要なパラメータを取得して、設定データ１１に記憶させる。設定取得手段２１は、ユーザにより入力装置Ｉから入力された情報に従ってパラメータを取得する。設定取得手段２１は、カメラＣ１，Ｃ２から入力された各映像データ等を解析することによってパラメータを取得してもよい。
　フレーム取得手段２２は、カメラＣ１，Ｃ２から入力された映像データのそれぞれから、同時に撮影されたフレームデータを取得する。フレーム取得手段２２は、取得した各フレームデータについて、フレーム情報データ１２を生成して記憶する。フレーム取得手段２２は、カメラＣ１，Ｃ２から映像データを入力するときに各映像データを同期させて、各フレームデータのタイムスタンプを合わせる。フレーム取得手段２２は、複数のカメラＣ１，Ｃ２での撮影により生じた視差の影響を低減するための補正処理および色補正処理を実施してもよい。
　オブジェクト検出手段２３は、図１の物体検出・トラッキング処理部１３０に相当する。オブジェクト検出手段２３は、フレームデータのそれぞれから対象のオブジェクトを検出するとともに、検出したオブジェクトのトラッキングを実施する。トラッキングとは、現在のフレームデータで検出されたオブジェクトと過去のフレームデータで検出されたオブジェクトとの同一性を判定し、オブジェクトの移動を追跡することである。検出対象のオブジェクトは、例えば人物などの監視対象となる移動物体である。
　禁止領域設定手段２４は、隣接するフレームデータの重複領域において検出されたオブジェクトの位置およびオブジェクトの移動方向に基づいて禁止領域を設定する。禁止領域設定手段２４は、特許文献１と同様に、フレームデータの輝度値に基づいて禁止領域を設定してもよい。検出されたオブジェクトに基づく禁止領域の設定方法の詳細については後述する。
　シーム算出手段２５は、同時に撮影された複数のフレームデータを取得し、禁止領域データ１３が示す禁止領域に含まれる画素をシーム算出の計算対象としないで、互いに隣接するフレームデータのつなぎ目であるシームデータ１４を算出する。より具体的には、シーム算出手段２５は、隣接方向のラインの検索範囲の各画素のうち、直前に算出されたシームの画素との特徴値の差分が最も少ない画素を、このラインにおけるシームとして算出する。このとき、シーム算出手段２５は、禁止領域に含まれる画素を探索範囲に含めない。なお、シーム算出手段２５は、フレームデータを縮小した縮小フレームデータを用いてシームを算出してもよい。この場合、シーム算出手段２５は、禁止領域を縮小して適用する。
　連結フレーム出力手段２６は、シーム算出手段２５が算出したシームデータ１４に従って複数のフレームデータを連結し、重複のない連結フレームデータ１５を出力する。
　（映像処理装置の動作）
　次に、図３を参照して、映像処理装置１による映像処理方法を説明する。映像処理装置１は、カメラＣ１，Ｃ２のそれぞれから入力した映像データにおいて、同時に撮影された各フレームデータについて、以下のステップＳ１～Ｓ７の処理を繰り返す。
　ステップＳ１において、フレーム取得手段２２は、カメラＣ１，Ｃ２のそれぞれから入力した映像データから、同時刻に撮影された各フレームデータを取得する。
　ステップＳ２において、フレーム取得手段２２は、ステップＳ１で取得した各フレームデータの特徴点を対応付けて、重複フレームデータを生成する。
　図４に重複フレームデータの例を示す。図４では、２台のカメラＣ１，Ｃ２で同時に撮影されたフレームデータＦ１，Ｆ２から生成された重複フレームデータを示している。フレーム取得手段２２は、フレームデータＦ１の撮影領域の右側の特徴点とフレームデータＦ２の撮影領域の左側の特徴点とが一致するように、フレームデータＦ１，Ｆ２を重ねて重複フレームデータを生成する。なお、図４では、重複フレームデータが矩形になるようにフレームデータＦ１，Ｆ２を重ねているが、各カメラＣ１，Ｃ２のロール角が異なる場合はフレームデータが斜めに配設されることもある。
　ステップＳ３において、フレーム取得手段２２は、ステップＳ２で生成した重複フレームデータに重複領域を設定する。図４では、フレームデータＦ１の撮影領域の右側とフレームデータＦ２の撮影領域の左側が重複した領域が重複領域Ｒである。
　ステップＳ４において、禁止領域設定手段２４は、フレームデータＦ１，Ｆ２から検出されたオブジェクトに基づいて禁止領域を設定する。図５では、禁止領域Ｐを図示している。禁止領域を設定する処理の詳細については後述する。
　ステップＳ５において、シーム算出手段２５は、禁止領域に含まれる画素をシーム算出の計算対象としないで、フレームデータの隣接方向に直交する方向にシームを形成する画素を順次特定してシームを算出する。例えば、図５では、フレームデータＦ１，Ｆ２が水平方向に隣接するので、シーム算出手段２５は、禁止領域Ｐに含まれる画素をシーム算出の計算対象としないで、重複領域Ｒの横のラインから１つの画素をシームとして決定し、縦方向に順次シームを形成する画素を算出してシームＳＥＬを求める。
　ステップＳ６において、連結フレーム出力手段２６は、シームに従って、各フレームデータを連結し、連結フレームデータ１５を生成する。図６にフレームデータをシームで連結した連結フレームデータの例を示す。図６では、シームＳＥＬで切り離したフレームデータＦ１とフレームデータＦ２とをつなぎ合わせて連結フレームデータを生成している。
　ステップＳ７において、連結フレーム出力手段２６は、ステップＳ６で生成した連結フレームデータ１５を出力する。この連結フレームデータ１５は、映像処理装置１が出力する映像データのフレームデータとなる。
　（禁止領域の設定）
　次に、図７を参照して、禁止領域の設定処理について説明する。
　ステップＳ４１において、オブジェクト検出手段２３は、各フレームデータについて、対象のオブジェクトの検出およびトラッキングを実施する。禁止領域設定手段２４は、重複領域で検出されたオブジェクトのフレームデータ上での位置情報および移動方向を取得する。ステップＳ４１の処理は禁止領域を設定する前に実施すればよい。例えば、ステップＳ１において各映像データからフレームデータを取得後にステップＳ４１の処理を実施してもよい。別の装置がオブジェクトの検出およびトラッキングを実施し、映像処理装置１がオブジェクトの検出結果を受信してもよい。
　図８に、重複領域Ｒで検出されたオブジェクトＯを示す。同図に示すオブジェクトＯは、水平方向に並べたフレームデータＦ１，Ｆ２の左側（フレームデータＦ１側）から右側（フレームデータＦ２側）へ移動している。
　なお、オブジェクト検出手段２３は、重複領域ＲではフレームデータＦ１，Ｆ２のそれぞれにおいて同一のオブジェクトＯを検出する。カメラＣ１，Ｃ２の視差により、オブジェクトＯのフレームデータＦ１での検出位置とオブジェクトＯのフレームデータＦ２での検出位置とがずれることがある。オブジェクトＯはフレームデータＦ１からフレームデータＦ２の方向へ移動しているので、オブジェクト検出手段２３は、オブジェクトＯのフレームデータＦ１での検出位置をオブジェクトＯの位置としてもよい。フレームデータＦ１，Ｆ２でのオブジェクトの検出位置を連結フレームデータ上の座標に変換し、その座標をオブジェクトＯの位置としてもよい。この場合、フレームデータＦ１，Ｆ２でオブジェクトＯの検出位置が微妙にずれていても同一オブジェクトと判断すれば同じ座標とする。
　ステップＳ４２において、禁止領域設定手段２４は、シームがオブジェクトをまたいで生成されないように、重複領域で検出されたオブジェクトを含む一定の領域を禁止領域として設定する。図９に、オブジェクトＯを含む領域を禁止領域Ｐ１として設定した様子を示す。禁止領域設定手段２４は、例えば、オブジェクトＯを検出した検出枠に基づいて禁止領域Ｐ１を設定する。
　ステップＳ４３において、禁止領域設定手段２４は、設定データ１１のパラメータおよびオブジェクトの移動方向に基づき、ステップＳ４２で設定した禁止領域と重複領域の辺との間の領域を禁止領域として設定する。図１０の例では、禁止領域設定手段２４は、禁止領域Ｐ１からオブジェクトが重複領域Ｒに進入した辺（重複領域Ｒの左側の辺）までの間の領域を禁止領域Ｐ２とする。禁止領域設定手段２４は、オブジェクトの移動方向に基づき、図１０のように禁止領域Ｐ１からオブジェクトの進入方向側の重複領域Ｒの辺までの領域を禁止領域としてもよいし、禁止領域Ｐ１からオブジェクトの進行方向側の辺（図９では重複領域Ｒの右側の辺）までの領域を禁止領域としてもよい。あるいは、禁止領域設定手段２４は、禁止領域Ｐ１のみを禁止領域としてもよい。禁止領域設定手段２４は、設定データ１１のパラメータに基づき、禁止領域Ｐ１から重複領域Ｒの辺までの間に設定する禁止領域Ｐ２の形状および範囲等を変化させてもよい。
　なお、禁止領域設定手段２４は、さらに、フレームデータの輝度値が所定の閾値よりも高い部分に禁止領域を設定する処理を実施してもよい。設定データ１１により、閾値等を調整することが可能である。設定によっては、輝度値に基づく禁止領域の設定を実施しなくてもよい。
　図１１に示すように、シーム算出手段２５は、オブジェクトに基づいて設定された禁止領域Ｐを通らないようにシームＳＥＬを求める。
　上記の禁止領域を設定する処理により、図１２に示すように、オブジェクトが重複領域Ｒを進む間、禁止領域Ｐはオブジェクトが重複領域Ｒに進入した辺からオブジェクトの現在位置までの領域に設定され、シームＳＥＬはオブジェクトの進行方向側を通る。その結果、オブジェクトが重複領域Ｒを進む間は、進入元のフレームデータＦ１中のオブジェクトの画像が連結フレームデータに用いられるので、重複領域Ｒの各フレームデータＦ１，Ｆ２においてオブジェクトの位置がずれている場合であっても、合成映像において重複領域Ｒでのオブジェクトの不自然な移動を抑制できる。なお、重複領域Ｒにおける各フレームデータＦ１，Ｆ２上のオブジェクトの検出位置がほぼ同じ（所定の範囲内）になったタイミングで、禁止領域設定手段２４は、オブジェクトの現在位置から進行方向にある重複領域Ｒの辺までの領域を禁止領域Ｐとするようにしてもよい。
　図１３は、オブジェクトの進行方向側に禁止領域Ｐを設定した様子を示す図である。図１３の例では、フレームデータＦ２からフレームデータＦ１に向けてオブジェクトが進行している。図１３では、オブジェクトが重複領域Ｒを進む間、オブジェクトの現在位置からオブジェクトの進行方向側の重複領域Ｒの辺までの領域に禁止領域Ｐが設定される。シームＳＥＬは、オブジェクトの後ろ側を通る。
　なお、複数のオブジェクトが重複領域に進入した際、オブジェクトが同一方向の場合は、その総和を禁止領域にしてもよい。例えば、同一方向に移動するオブジェクトをまとめて扱い、禁止領域を設定する。オブジェクトの移動方向が別々の場合は、オブジェクトそれぞれの移動方向に基づいて禁止領域を設定してもよい。または、オブジェクトのそれぞれに優先度をつけて禁止領域を設定してもよい。
　以上説明したように、本実施形態によれば、フレーム取得手段２２が、カメラＣ１，Ｃ２から入力された映像データのそれぞれから、同時に撮影されたフレームデータを取得し、禁止領域設定手段２４が、隣接するフレームデータの重複領域において検出されたオブジェクトの位置およびオブジェクトの移動方向に基づき、シーム算出の際に計算対象としない禁止領域を設定し、シーム算出手段２５が、禁止領域に含まれる画素をシーム算出の計算対象としないで、互いに隣接するフレームデータのシームを算出し、連結フレーム出力手段２６が、シームに従ってフレームデータを連結し、連結フレームデータ１５を出力することにより、シームの急激な変化を抑え、オブジェクトの不自然な移動を抑制できる。
　１…映像処理装置
　１０…記憶装置
　１１…設定データ
　１２…フレーム情報データ
　１３…禁止領域データ
　１４…シームデータ
　１５…連結フレームデータ
　２０…処理装置
　２１…設定取得手段
　２２…フレーム取得手段
　２３…オブジェクト検出手段
　２４…禁止領域設定手段
　２５…シーム算出手段
　２６…連結フレーム出力手段
　３０…入出力インタフェース
　１００…合成処理サーバ
　１１０…合成処理部
　１２０…エンコード処理部
　１３０…物体検出・トラッキング処理部
　２００…物体情報統合サーバ
　３００…デコードサーバ
　４００…統合物体情報受信サーバ

Claims (5)

  1. 　撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、
    　前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、
    　互いに隣接する前記フレームデータが重ねられた重複領域につなぎ目を通さない禁止領域を設定する禁止領域設定手段と、
    　前記禁止領域を通らないように前記つなぎ目を算出するシーム算出手段と、
    　前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力する連結フレーム出力手段と、を備え、
    　前記禁止領域設定手段は、前記フレームデータから検出されたオブジェクトが前記重複領域に進入した際、前記オブジェクトの位置および移動方向に基づいて前記禁止領域を設定する
    　ことを特徴とする映像処理装置。
  2. 　前記禁止領域設定手段は、前記オブジェクトの位置から前記オブジェクトの進入方向側の前記重複領域の辺までの間の領域または前記オブジェクトの位置から前記オブジェクトの進行方向側の前記重複領域の辺までの間の領域を禁止領域として設定する
    　ことを特徴とする請求項１に記載の映像処理装置。
  3. 　撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置による映像処理方法であって、
    　前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、
    　互いに隣接する前記フレームデータが重ねられた重複領域につなぎ目を通さない禁止領域を設定するステップと、
    　前記禁止領域を通らないように前記つなぎ目を算出するステップと、
    　前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力するステップと、を有し、
    　前記禁止領域を設定するステップでは、前記フレームデータから検出されたオブジェクトが前記重複領域に進入した際、前記オブジェクトの位置および移動方向に基づいて前記禁止領域を設定する
    　ことを特徴とする映像処理方法。
  4. 　前記禁止領域を設定するステップでは、前記オブジェクトの位置から前記オブジェクトの進入方向側の前記重複領域の辺までの間の領域または前記オブジェクトの位置から前記オブジェクトの進行方向側の前記重複領域の辺までの間の領域を禁止領域として設定する
    　ことを特徴とする請求項３に記載の映像処理方法。
  5. 　請求項１または２に記載の映像処理装置の各手段としてコンピュータを動作させることを特徴とする映像処理プログラム。
PCT/JP2020/015299 2019-04-18 2020-04-03 映像処理装置、映像処理方法及び映像処理プログラム WO2020213430A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/599,065 US20220199120A1 (en) 2019-04-18 2020-04-03 Image processing device, image processing method, and image processing program
CN202080029286.XA CN113711580A (zh) 2019-04-18 2020-04-03 影像处理装置、影像处理方法和影像处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019079285A JP7231825B2 (ja) 2019-04-18 2019-04-18 映像処理装置、映像処理方法及び映像処理プログラム
JP2019-079285 2019-04-18

Publications (1)

Publication Number Publication Date
WO2020213430A1 true WO2020213430A1 (ja) 2020-10-22

Family

ID=72837758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015299 WO2020213430A1 (ja) 2019-04-18 2020-04-03 映像処理装置、映像処理方法及び映像処理プログラム

Country Status (4)

Country Link
US (1) US20220199120A1 (ja)
JP (1) JP7231825B2 (ja)
CN (1) CN113711580A (ja)
WO (1) WO2020213430A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200727A (zh) * 2020-11-06 2021-01-08 厦门星宸科技有限公司 图像缝合装置、图像处理芯片、及图像缝合方法
WO2022157984A1 (ja) * 2021-01-25 2022-07-28 三菱電機株式会社 画像合成装置、画像合成方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11420173B2 (en) 2020-03-31 2022-08-23 Yokogawa Electric Corporation Reaction analysis device, reaction analysis system, and reaction analysis method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140791A1 (en) * 2015-11-12 2017-05-18 Intel Corporation Multiple camera video image stitching by placing seams for scene objects
JP2017103672A (ja) * 2015-12-03 2017-06-08 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2017102785A (ja) * 2015-12-03 2017-06-08 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20180095533A1 (en) * 2016-09-30 2018-04-05 Samsung Electronics Co., Ltd. Method for displaying an image and an electronic device thereof
JP2019036906A (ja) * 2017-08-21 2019-03-07 日本電信電話株式会社 映像処理装置、映像処理方法及び映像処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4899367B2 (ja) * 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
US20160307350A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis - panorama
US9911213B2 (en) * 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
KR102513640B1 (ko) * 2016-09-30 2023-03-23 엘지디스플레이 주식회사 터치스크린 내장형 표시장치 및 이의 구동방법
JP6715217B2 (ja) * 2017-06-26 2020-07-01 日本電信電話株式会社 映像処理装置、映像処理方法および映像処理プログラム
US10244164B1 (en) * 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching
US10917565B1 (en) * 2019-03-08 2021-02-09 Gopro, Inc. Image capture device with a spherical capture mode and a non-spherical capture mode
US11341614B1 (en) * 2019-09-24 2022-05-24 Ambarella International Lp Emirror adaptable stitching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140791A1 (en) * 2015-11-12 2017-05-18 Intel Corporation Multiple camera video image stitching by placing seams for scene objects
JP2017103672A (ja) * 2015-12-03 2017-06-08 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2017102785A (ja) * 2015-12-03 2017-06-08 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20180095533A1 (en) * 2016-09-30 2018-04-05 Samsung Electronics Co., Ltd. Method for displaying an image and an electronic device thereof
JP2019036906A (ja) * 2017-08-21 2019-03-07 日本電信電話株式会社 映像処理装置、映像処理方法及び映像処理プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200727A (zh) * 2020-11-06 2021-01-08 厦门星宸科技有限公司 图像缝合装置、图像处理芯片、及图像缝合方法
CN112200727B (zh) * 2020-11-06 2023-11-21 星宸科技股份有限公司 图像缝合装置、图像处理芯片、及图像缝合方法
WO2022157984A1 (ja) * 2021-01-25 2022-07-28 三菱電機株式会社 画像合成装置、画像合成方法、及びプログラム
JPWO2022157984A1 (ja) * 2021-01-25 2022-07-28
JP7199613B2 (ja) 2021-01-25 2023-01-05 三菱電機株式会社 画像合成装置、画像合成方法、及びプログラム

Also Published As

Publication number Publication date
JP2020178237A (ja) 2020-10-29
CN113711580A (zh) 2021-11-26
JP7231825B2 (ja) 2023-03-02
US20220199120A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
WO2020213430A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
US9049384B2 (en) Video processing apparatus, camera apparatus, video processing method, and program
US9774896B2 (en) Network synchronized camera settings
US7366359B1 (en) Image processing of regions in a wide angle video camera
JP7080103B2 (ja) 撮像装置、その制御方法、および、プログラム
CN107211081B (zh) 基于独立编码的背景更新的视频传输
KR20180125878A (ko) 비디오 카메라 및 클라이언트 디바이스를 포함하는 시스템 및 그에 의해 수행되는 방법
KR101769118B1 (ko) 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치
JP2009071478A (ja) 情報通信端末および情報通信システム
JP4539015B2 (ja) 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
JP6374754B2 (ja) 画像合成装置及びそのプログラム
CN107172413A (zh) 现实场景视频显示方法和系统
JPWO2014192804A1 (ja) デコーダ及び監視システム
JP2000057350A (ja) 画像処理装置と方法及び画像送信装置と方法
JP7174252B2 (ja) 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
JP2011151773A (ja) 映像処理装置及び制御方法
US11076224B2 (en) Processing of data of a video sequence in order to zoom to a speaker detected in the sequence
JP2019036906A (ja) 映像処理装置、映像処理方法及び映像処理プログラム
JP2005092363A (ja) 画像生成装置および画像生成プログラム
KR101868057B1 (ko) 파노라마 영상 생성 방법 및 그 장치
JP4423416B2 (ja) 映像合成処理システム
JP3171349B2 (ja) 映像通信方式
JP2001148806A (ja) 映像合成演算処理装置、その方法及びシステム
KR102305172B1 (ko) 방송 컨텐츠와 연계된 부가 컨텐츠 출력 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20791716

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20791716

Country of ref document: EP

Kind code of ref document: A1