JP7383680B2 - 遠隔制御における画像処理方法、装置、機器及びコンピュータプログラム - Google Patents

遠隔制御における画像処理方法、装置、機器及びコンピュータプログラム Download PDF

Info

Publication number
JP7383680B2
JP7383680B2 JP2021180515A JP2021180515A JP7383680B2 JP 7383680 B2 JP7383680 B2 JP 7383680B2 JP 2021180515 A JP2021180515 A JP 2021180515A JP 2021180515 A JP2021180515 A JP 2021180515A JP 7383680 B2 JP7383680 B2 JP 7383680B2
Authority
JP
Japan
Prior art keywords
image
data
image data
pass
stitched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021180515A
Other languages
English (en)
Other versions
JP2022020066A (ja
Inventor
慶瑞 孫
靖超 馮
黎明 夏
卓 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022020066A publication Critical patent/JP2022020066A/ja
Application granted granted Critical
Publication of JP7383680B2 publication Critical patent/JP7383680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Traffic Control Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)
  • Information Transfer Between Computers (AREA)

Description

本開示は、コンピュータ技術に関し、特に自動運転技術に関する。
自動運転技術の発達に伴い、現在、ますます多くの車両が知能運転をサポートするようになっている。例えば、自家用車、バスや貨車等の車両は、何れも知能運転をサポート可能であり、且つそれらの知能運転は、遠隔制御又は車両の自動運転によるものとされることが可能である。現在の車両知能運転は、主に車両によって収集された画像を元に車両運転を実現しており、遠隔制御運転技術では、主に、車両が画像をリモートコックピット機器にそれぞれ送信し、リモートコックピット機器がこれらの画像に基づいて遠隔運転制御を行うようになっている。
本開示は、遠隔制御における画像処理方法、装置、機器及びプログラム製品を提供する。
本開示の一局面によれば、クラウド機器によって実行される、遠隔制御における画像処理方法であって、車両から送信された画像情報を受信することと、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることと、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信することとを含み、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる、遠隔制御における画像処理方法を提供している。
本開示の別の局面によれば、クラウド機器に適用される、遠隔制御における画像処理装置であって、車両から送信された画像情報を受信するための受信モジュールであって、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる受信モジュールと、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るための繋ぎ合わせモジュールと、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信するための送信モジュールと、を備える、遠隔制御における画像処理装置を提供している。
本開示の別の局面によれば、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信接続されたメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行され得る命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが本開示による遠隔制御における画像処理方法を実行可能となる電子機器を提供している。
本開示の別の局面によれば、コンピュータ命令を記憶した非一時的なコンピュータ読取可能な記憶媒体であって、前記コンピュータ命令は、本開示による遠隔制御における画像処理方法をコンピュータに実行させるためのものである、非一時的なコンピュータ読取可能な記憶媒体を提供している。
本開示の別の局面によれば、コンピュータプログラム製品であって、前記コンピュータプログラム製品が電子機器上で動作すると、本開示による遠隔制御における画像処理方法が前記電子機器によって実行されるコンピュータプログラム製品を提供している。
本開示の別の局面によれば、本開示による電子機器を備えるクラウド機器を提供している。
本開示の技術案によれば、クラウド機器が、車両から送信された複数パスの画像データを繋ぎ合わせて、繋ぎ合わせ画像をリモートコックピット機器に送信しているため、リモートコックピット機器の遠隔運転効果を向上させることができる。
理解されたいのは、この部分で説明された内容は、本開示の実施例における肝心又は重要な特徴を特定することを意図せず、本開示の範囲を制限するためのものでもない。本開示の他の特徴は、以下の説明により理解され易くなるであろう。
図面は、本技術案をより好く理解するためのものであり、本開示に対する制限を構成するものではない。
本開示による遠隔制御における画像処理方法のフローチャートである。 本開示による複数パスの画像データの模式図である。 本開示による画像繋ぎ合わせの模式図である。 本開示による画像処理の模式図である。 本開示による遠隔制御における画像処理装置の構造図である。 本開示による別の遠隔制御における画像処理装置の構造図である。 本開示の実施例に係る遠隔制御における画像処理方法を実現するための電子機器のブロック図である。
以下、図面を参照して本願の例示的な実施例を説明する。理解を助けるために、その中には、本願の実施例の様々な詳細を含むが、これらの詳細は、単に例示的なものであると理解されたい。したがって、当業者であれば、本願の範囲及び精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更及び修正を加えることができると認識すべきである。同様に、説明の明確化及び簡素化のために、以下の説明では、周知の機能及び構造についての記載が省略される。
以下、図面を参照して本願の例示的な実施例を説明する。理解を助けるために、その中には、本願の実施例の様々な詳細を含むが、これらの詳細は、単に例示的なものであると理解されたい。したがって、当業者であれば、本願の範囲及び精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更及び修正を加えることができると認識すべきである。同様に、説明の明確化及び簡素化のために、以下の説明では、周知の機能及び構造についての記載が省略される。
図１を参照して、図１は、本開示による画像処理方法のフローチャートである。当該方法は、クラウド機器によって実行されるものであり、図１に示すように、以下のステップＳ１０１～Ｓ１０３を含む。
ステップＳ１０１、車両から送信された画像情報を受信し、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる。
上記画像情報は、車両からリアルタイムに送信された画像情報、例えば車両から５Ｇ、６Ｇネットワークを通して送信された画像情報であってもよい。
上記複数パスの画像データは、車両の複数のカメラによって収集された画像データであってもよく、各パスの画像データには、カメラが１つずつ対応付けられている。例えば、車両の前方、左側及び右側のカメラによって収集された３パスの画像データである。そして、上記画像データは、ビデオ画像データ、例えば３パスのビデオ画像データであってもよい。更に、前方画像データは、広視界画像データであってもよい。
本開示における車両は、例えば無人乗用車、無人バスや無人貨車等の無人車両であってもよく、これらの無人車両は、リモートにあるリモートコックピット機器によって遠隔制御されることが可能である。ここで、遠隔制御については、全行程で車両を遠隔運転してもよいし、車両の自動運転中に運転の一部を遠隔的にテイクオーバーしてもよい。即ち、車両は、自動運転及び遠隔制御運転をサポート可能である。
ステップＳ１０２、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得る。
クラウド機器は、上記複数パスの画像データを取得した後、当該複数パスの画像データを１つの画像に繋ぎ合わせる。例えば、複数パスの画像データにおける重畳画像データを融合して繋ぎ合わせることで、上記繋ぎ合わせ画像を得る。
また、上記繋ぎ合わせは、フレーム単位の繋ぎ合わせであってもよく、例えば、車両から送信された複数パスの画像データにおける同じ時点での画像フレームを繋ぎ合わせて、繋ぎ合わせ後の１フレームの画像を得てもよい。
ステップＳ１０３、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信する。
前記車両を制御する上記リモートコックピット機器は、上記車両を遠隔運転するための機器であって、上記繋ぎ合わせ画像を提示するための表示装置を備える機器とされてもよい。こうした場合、リモートコックピット機器のユーザは、提示された繋ぎ合わせ画像に基づいて、車両の現在の環境を把握し、遠隔的に車両を制御することができる。
クラウド機器は、上記繋ぎ合わせ画像を得た後、リアルタイムにリモートコックピット機器に伝送してもよく、例えば、５Ｇ又は６Ｇネットワークを通して、リモートコックピット機器に上記繋ぎ合わせ画像を送信してもよい。
クラウド機器からリモートコックピット機器に送信されるのが、複数パスの画像を繋ぎ合わせて得られた繋ぎ合わせ画像となるため、リモートコックピット機器は、当該画像を提示するだけでよく、リモートコックピット機器のユーザは、当該画像を閲覧するだけで、車両の複数パスの画像データを把握することができ、その結果、リモートコックピット機器の遠隔運転効果が向上される。そして、クラウド機器によって繋ぎ合わせを行っているため、クラウド機器の高い演算性能が利用されることになっており、その結果、車両によって収集された画像がリモートコックピット機器に伝送されるまでの時間遅延を低減することができる。
本開示におけるクラウド機器は、サーバや計算機等のクラウド電子機器であってもよい。
選択的な実施形態の１つとして、前記の車両から送信された画像情報を受信することは、
前記車両からリアルタイム通信ＲＴＣ（Ｒｅａｌ－ｔｉｍｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を通して送信された第一画像圧縮情報を受信するを含み、前記第一画像圧縮情報には、前記車両によって収集された複数パスの画像データが含まれ、前記の前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることは、前記第一画像圧縮情報に対して解凍処理を行って、前記複数パスの画像データを得て、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることを含む。
上述の前記車両からＲＴＣを通して送信された第一画像圧縮情報を受信することは、車両からＲＴＣサービスを用いて送信された第一画像圧縮情報を、クラウド機器がＲＴＣサービスを通して受信することであってもよい。上記第一画像圧縮情報は、車両が上記複数パスの画像データを収集した後に圧縮することで得られた画像圧縮情報であってもよく、例えば、ｈ２６４圧縮技術を用いて圧縮された画像であってもよい。本開示は、圧縮技術について特に限定せず、例えば、ｈ２６３圧縮技術を用いて圧縮してもよい。
本実施形態では、ＲＴＣを通して圧縮画像情報が伝送されるため、車両とクラウド機器との間の伝送時間遅延を低減し、リモートコックピット機器による車両の遠隔運転の安全性を向上させることができる。
説明すべきなのは、本開示において、クラウド機器は、前記車両からＲＴＣを通して送信された第一画像圧縮情報を受信することに限定されない。例えば、クラウド機器は、車両から他の通信技術方式を通して送信された第一画像圧縮情報を受信してもよく、又は、車両からＲＴＣを通して送信された未圧縮の複数パスの画像データを受信してもよい。
選択的な実施形態の１つとして、前記複数パスの画像データには、第１パスの画像データ、第２パスの画像データ及び第３パスの画像データが含まれ、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることは、前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出することと、前記第一共通画素点を元に第一座標系を作成し、前記第１パスの画像データを前記第一座標系にマッピングして、第一画像マッピングデータを得るとともに、前記第２パスの画像データを前記第一座標系にマッピングして、第二画像マッピングデータを得ることと、前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーし、前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合して、第一繋ぎ合わせサブ画像を得ることと、前記第３パスの画像データと前記第２パスの画像データとの第二共通画素点を抽出することと、前記第二共通画素点を元に第二座標系を作成し、前記第３パスの画像データを前記第二座標系にマッピングして、第三画像マッピングデータを得るとともに、前記第２パスの画像データを前記第二座標系にマッピングして、第四画像マッピングデータを得ることと、前記第三画像マッピングデータ及び前記第四画像マッピングデータを第二空白画像内にそれぞれコピーし、前記第三画像マッピングデータと前記第四画像マッピングデータとの前記第二空白画像内での重畳画像データを重み付け融合して、第二繋ぎ合わせサブ画像を得ることと、前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得ることとを含む。
ここで、上記第１パスの画像データは、車両のカメラのうち、左側又は右側の画像を収集するためのカメラによって収集された画像データであってもよい。上記第２パスの画像データは、車両のカメラのうち、車両の前方の画像を収集するためのカメラによって収集された画像データであってもよく、そして、当該カメラは、広視界カメラであってもよい。上記第３パスの画像データは、車両のカメラのうち、右側又は左側の画像を収集するためのカメラによって収集された画像データであってもよい。
上述の前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出することは、第１パスの画像データと第２パスの画像データとで同じになっている複数の画素点を抽出することであってもよい。実際では、各画像には、その独自の画素点があり、これらの画素点は、当該画像の特徴点として理解できる。一方で、本開示では、第１パスの画像データと第２パスの画像データとには、例えば図２に示す領域２０１のような重複領域がある。そのため、第１パスの画像データと第二路データ画像とから当該重複領域の画素点を抽出すると、上記第一共通画素点が得られて、これらの画素点は、第１パスの画像データと第２パスの画像データとの両方に存在する画素点となる。
説明すべきなのは、本開示における図２は、簡単な例示模式図に過ぎず、本開示による技術案を何らか限定するものではない。
一実施形態では、高速化ロバスト特徴ＳＵＲＦ（Ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ）特徴抽出及び特徴マッチングアルゴリズムによって、第１パスの画像データと第２パスの画像データとの第一共通画素点を抽出してもよい。そして、抽出の際、閾値を設定して第１パスの画像データと第２パスの画像データとの最適な共通画素点を抽出することで、画像の繋ぎ合わせ効果を向上させてもよく、当該閾値は、ユークリッド距離閾値であってもよい。こうした場合、第１パスの画像データと第２パスの画像データの画素点との間のユークリッド距離が当該閾値以下であるかどうかを判断し、当該閾値以下の場合、当該画素点を第１パスの画像データと第２パスの画像データとの共通画素点として確定してもよい。
説明すべきなのは、本開示において、ＳＵＲＦ特徴抽出及び特徴マッチングアルゴリズムによって共通画素点を抽出することに限定されず、例えば、スケール不変特徴変換ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）アルゴリズムによって、第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出してもよい。
上述の前記第一共通画素点を元に第一座標系を作成することは、第一共通画素点を参照として新しい座標系を作成してもよい。こうした場合、第１パスの画像データにおける各画素点が、第一共通画素点を基準として当該座標系にマッピングされ、第２パスの画像データにおける各画素点も、第一共通画素点を基準として当該座標系にマッピングされるため、この座標系で２パスの画像データにおける全ての画素点の再キャリブレーションが実現される。
上述の前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーすることは、空白画像を作成してから、第一画像マッピングデータ及び前記第二画像マッピングデータを当該空白画像内にそれぞれコピーすることであってもよい。第一画像マッピングデータと第二画像マッピングデータとが、同一座標系における画像データであるため、このように第一画像マッピングデータ及び第二画像マッピングデータを第一空白画像内にそれぞれコピーすることで、同一座標系における２つの画像データの繋ぎ合わせを実現できる。
上述の前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合することは、第一画像マッピングデータと第二画像マッピングデータとの第一空白画像内で重畳する画素点の画像データを重み付け融合することであってもよい。ここで、第一画像マッピングデータ及び第二画像マッピングデータの重みは、予め設定されたもので、実際の必要に応じて具体的に設定可能である。
重畳画像データが重み付け融合されることによって、繋ぎ合わせ画像の境界箇所では、光線や色合いの原因で境界箇所の遷移が悪くて不自然になるという事態を回避され、重畳部分が一方の画像データから他方の画像データへ徐々に遷移することを実現され、画像繋ぎ合わせの際、その繋ぎ合わせ効果が向上される。
上記第２パスの画像データと第３パスの画像データとの繋ぎ合わせについては、第１パスの画像データと第２パスの画像データとの繋ぎ合わせを参照可能であり、例えば、図２に示すように、第３パスの画像データと第２パスの画像データとの第二共通画素点は、図２に示す領域２０２内の画素点とされてもよい。
上述の前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得ることは、上記の第一繋ぎ合わせサブ画像及び第二繋ぎ合わせサブ画像のような方式で繋ぎ合わせてもよい。又は、第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とをそのまま繋ぎ合わせてもよく、なぜならば、第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像との重複領域が、完全に同じ領域、例えば第２パスの画像データの中間領域となり得るからである。
上記実施形態において、画像繋ぎ合わせ過程には、共通画素点抽出、座標系への画像データマッピング、マッピングデータコピー、及び重み付け融合が包含されているため、画像繋ぎ合わせ効果を向上させることができる。具体的に、図３に示すように、共通画素点抽出、座標系への画像データマッピング、マッピングデータコピー、及び重み付け融合を通じて、繋ぎ合わせ画像を得ることが可能である。
説明すべきなのは、本開示において、上記の繋ぎ合わせ方式によって繋ぎ合わせ画像を得ることに限定されず、例えば、スケール不変特徴変換ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）マッチングアルゴリズムに基づく画像繋ぎ合わせアルゴリズムによって、繋ぎ合わせ画像を得てもよい。
選択的な実施形態の１つとして、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信することは、前記繋ぎ合わせ画像を圧縮して第二画像圧縮情報を得て、ＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信することを含む。
そのうち、上記圧縮は、Ｈ２６４圧縮技術によって繋ぎ合わせ画像を圧縮してもよいし、他の圧縮技術を用いてもよく、これについて限定しない。
また、上述のＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信することは、クラウド機器がＲＴＣサービスを通してリモートコックピット機器に前記第二画像圧縮情報を送信することであってもよい。
本実施形態では、ＲＴＣを通してリモートコックピット機器に第二画像圧縮情報が送信されるため、クラウド機器からリモートコックピット機器までの伝送時間遅延を低減し、リモートコックピット機器による車両の遠隔運転の安全性を向上させることができる。
以下、図４を参照して、左側カメラによって収集された左側画像データと、前方カメラによって収集された前方画像データと、右側カメラによって収集された右側画像データとが複数パスの画像データに含まれる場合について、例を挙げて説明する。図４に示すように、車両は、左側画像データ、前方画像データ及び右側画像データを収集しており、これらの画像データがＨ２４６圧縮技術によって圧縮され、圧縮画像について、５Ｇネットワークを用いて、ＲＴＣサービスを通してクラウド機器に圧縮画像情報が送信され、クラウド機器は、圧縮画像情報を受信した後にＨ２６４を用いて解凍し、解凍された画像データを繋ぎ合わせ、更にＨ２６４によって繋ぎ合わせ画像を圧縮して、ＲＴＣサービスを通してリモートコックピット機器にアップロードする。リモートコックピット機器は、圧縮された繋ぎ合わせ画像を受信した後に解凍して提示することで、ユーザは、リモートコックピット機器によって提示された繋ぎ合わせ画像に基づいて、車両を遠隔運転操作するようになる。
本開示の技術案によれば、クラウド機器が、車両から送信された複数パスの画像データを繋ぎ合わせて、繋ぎ合わせ画像をリモートコックピット機器に送信しているため、リモートコックピット機器の遠隔運転効果を向上させることができる。
図５を参照して、図５は、本開示による画像処理装置である。当該装置は、クラウド機器に適用されるものであり、図５に示すように、画像処理装置５００は、車両から送信された画像情報を受信するための受信モジュールであって、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる受信モジュール５０１と、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るための繋ぎ合わせモジュール５０２と、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信するための送信モジュール５０３とを備える。
選択的に、前記受信モジュール５０１は、前記車両からリアルタイム通信ＲＴＣを通して送信された第一画像圧縮情報を受信するために用いられ、前記第一画像圧縮情報には、前記車両によって収集された複数パスの画像データが含まれ、前記繋ぎ合わせモジュール５０２は、前記第一画像圧縮情報に対して解凍処理を行って、前記複数パスの画像データを得て、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るために用いられる。
選択的に、前記複数パスの画像データには、第１パスの画像データ、第２パスの画像データ及び第３パスの画像データが含まれ、図６に示すように、前記繋ぎ合わせモジュール５０２は、前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出するための第一抽出ユニット５０２１と、前記第一共通画素点を元に第一座標系を作成し、前記第１パスの画像データを前記第一座標系にマッピングして、第一画像マッピングデータを得るとともに、前記第２パスの画像データを前記第一座標系にマッピングして、第二画像マッピングデータを得るための第一作成ユニット５０２２と、前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーし、前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合して、第一繋ぎ合わせサブ画像を得るための第一融合ユニット５０２３と、前記第３パスの画像データと前記第２パスの画像データとの第二共通画素点を抽出するための第二抽出ユニット５０２４と、前記第二共通画素点を元に第二座標系を作成し、前記第３パスの画像データを前記第二座標系にマッピングして、第三画像マッピングデータを得るとともに、前記第２パスの画像データを前記第二座標系にマッピングして、第四画像マッピングデータを得るための第二作成ユニット５０２５と、前記第三画像マッピングデータ及び前記第四画像マッピングデータを第二空白画像内にそれぞれコピーし、前記第三画像マッピングデータと前記第四画像マッピングデータとの前記第二空白画像内での重畳画像データを重み付け融合して、第二繋ぎ合わせサブ画像を得るための第二融合ユニット５０２６と、前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得るための繋ぎ合わせユニット５０２７とを備える。
選択的に、前記送信モジュール５０３は、前記繋ぎ合わせ画像を圧縮して第二画像圧縮情報を得て、ＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信するために用いられる。
本実施例による装置は、図１に示す方法実施例で実現された各手順を実現できるとともに、同じ有益な効果を奏することができるが、重複を避けるため、ここで繰り返して説明しない。
本開示の実施例によれば、本開示には、電子機器と、コンピュータ命令を記憶した非一時的なコンピュータ読取可能な記憶媒体と、コンピュータプログラム製品とが更に提供されている。
図７に、本開示の実施例に係る遠隔制御における画像処理方法による電子機器のブロック図を示す。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、パーソナルデジタルアシスタント、及びその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを目的としている。電子機器は、パーソナルデジタル処理、セルラフォン、スマートフォン、ウェアラブルデバイス、及びその他の同様のコンピューティング装置等、様々な形態のモバイル装置を表すこともできる。本明細書で示されるコンポーネント、それらの接続及び関係、並びにそれらの機能は単なる例であり、本明細書で説明及び／又は要求される本開示の実現を制限することを意図するものではない。
図７に示すように、当該電子機器には、１つ又は複数のプロセッサ７０１と、メモリ７０２と、高速インターフェース及び低速インターフェースを備える、様々なコンポーネントを接続するためのインターフェースとが備えられる。各コンポーネントは、異なるバスを使用して相互に接続され、且つ共通のマザーボードに取り付けられるか、或いは、必要に応じて他の方式で取り付けられてもよい。プロセッサは、外部入力／出力装置（例えば、インターフェースに結合された表示機器）にＧＵＩのグラフィカル情報を表示するためにメモリに格納された命令を含めて、電子機器内で実行される命令を処理することが可能である。他の実施例では、必要であれば、複数のプロセッサ及び／又は複数本のバスを複数のメモリとともに使用してもよい。同様に、複数の電子機器を接続して、それぞれの機器が（例えば、サーバアレイ、１セットのブレードサーバ、又はマルチプロセッサシステムとして）、必要な操作の一部を提供するようにしてもよい。図７では、１つのプロセッサ７０１を例に挙げている。
メモリ７０２は、本開示による非一時的なコンピュータ読取可能な記憶媒体となる。前記メモリには、本開示による画像処理方法を少なくとも１つのプロセッサに実行させるための、前記なくとも１つのプロセッサによって実行可能な命令が記憶されている。本開示の非一時的なコンピュータ読取可能な記憶媒体は、本開示による画像処理方法をコンピュータに実行させるためのコンピュータ命令を記憶するものである。
メモリ７０２は、非一時的なコンピュータ読取可能な記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、例えば本開示の実施例における画像処理方法に対応するプログラム命令／モジュール（例として、図５に示す受信モジュール５０１、繋ぎ合わせモジュール５０２及び送信モジュール５０３）を記憶することに用いられ得る。プロセッサ７０１は、メモリ７０２に記憶された非一時的なソフトウェアプログラム、命令及びモジュールを実行することで、サーバの様々な機能的アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例における画像処理方法を実現する。
メモリ７０２は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、画像処理方法の電子機器の使用に応じて作成されたデータ等を記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを備えてもよいし、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステート記憶デバイス等の非一時的なメモリを備えてもよい。いくつかの実施例において、メモリ７０２は、プロセッサ７０１に対して遠隔に配置されたメモリを選択的に備えてもよく、これらの遠隔メモリは、ネットワークを介して画像処理方法の電子機器に接続されることが可能である。上記のネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
画像処理方法の電子機器は、入力装置７０３及び出力装置７０４を更に備えてもよい。プロセッサ７０１と、メモリ７０２と、入力装置７０３と、出力装置７０４とは、バス又は他の方式で接続可能であり、図７では、バスを介した接続が例示されている。
入力装置７０３は、入力された数字又は文字情報を受信し、画像処理方法の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、小型キーパッド、マウス、トラックパネル、タッチパネル、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置である。出力装置７０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバック装置（例えば、振動モータ）等を備えてもよい。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを備えてもよいが、これらに限定されない。いくつかの実施例では、表示装置は、タッチスクリーンであってもよい。
本明細書に記載のシステム及び技術の様々な実装形態は、デジタル電子回路システム、集積回路システム、特定用途向け集積回路（ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現可能である。これらの様々な実施例は、少なくとも１つのプログラマブルプロセッサを備えるプログラマブルシステム上で実行及び／又は解釈可能な１つ又は複数のコンピュータプログラムで実施されてもよく、当該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に送信可能な専用又は汎用のプログラマブルプロセッサであってもよい。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含んでもよく、そして、これらのコンピューティングプログラムは、高レベル過程及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械語で実施され得る。本明細書で使用される用語「機械読取可能な媒体」及び「コンピュータ読取可能な媒体」とは、プログラマブルプロセッサに機械命令及び／又はデータを提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理装置（ＰＬＤ））を意味し、機械読取可能な信号としての機械命令を受信する機械読取可能な媒体を含む。「機械読取可能な信号」という用語とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を意味する。
ユーザとのインタラクションを提供するために、本明細書に記載のシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティング装置（例えば、マウス又はトラックボール）とを有するコンピュータで実施されてもよく、ユーザは、当該キーボード及び当該ポインティング装置を介してコンピュータに入力を提供可能である。他の種類の装置を使用してユーザとのインタラクションを提供してもよい。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、また、任意の形式（音響入力、音声入力、又は触覚入力を含む）を用いてユーザからの入力を受信してもよい。
本明細書に記載のシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとして）、又はミドルコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はＷｅｂブラウザを備えたユーザコンピュータ。ユーザは、当該グラフィカルユーザインターフェース又は当該Ｗｅｂブラウザを介して、ここで説明されるシステム及び技術の実施形態とインタラクションできる）、又はこのようなバックエンドコンポーネント、ミドルコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステム内で実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互接続してもよい。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットが含まれる。
コンピュータシステムは、クライアントとサーバとを備えることが可能である。一般的に、クライアントとサーバとは互いに離れており、通常は通信ネットワークを介してインタラクションする。それぞれのコンピュータで実行され且つ互いにクライアント－サーバの関係を持つコンピュータプログラムによってクライアントとサーバとの関係を生成する。
本開示は、コンピュータプログラム製品を提供しており、前記コンピュータプログラム製品が電子機器上で動作すると、本開示による画像処理方法が前記電子機器によって実行される。
本開示は、本開示による電子機器を備えるクラウド機器を提供している。
なお、上記に示す様々な形態のフローを使用して、ステップを並べ替え、追加又は削除可能であることを理解されたい。例えば、本開示で説明された各ステップは、並列、順次、又は異なる順序で実行可能である。本開示で掲載された技術案の望ましい結果を達成できればよく、本明細書は、これについて限定しない。
上記の具体的な実施形態は、本開示の保護範囲に対する制限を構成するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置き換えを行えることを理解するべきである。本開示の精神及び原則内で行われた修正、同等の置き換え、及び改善は、何れも本開示の保護範囲に含まれるものとする。

Claims (10)

  1. クラウド機器によって実行される、遠隔制御における画像処理方法であって、
    車両から送信された画像情報であって、前記車両によって収集された複数パスの画像データが含まれる画像情報を受信することと、
    前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることと、
    前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信することと、
    を含み、
    前記複数パスの画像データには、第１パスの画像データ、第２パスの画像データ及び第３パスの画像データが含まれ、
    前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることが、
    前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出することと、
    前記第一共通画素点を元に第一座標系を作成し、前記第１パスの画像データを前記第一座標系にマッピングして、第一画像マッピングデータを得るとともに、前記第２パスの画像データを前記第一座標系にマッピングして、第二画像マッピングデータを得ることと、
    前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーし、前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合して、第一繋ぎ合わせサブ画像を得ることと、
    前記第３パスの画像データと前記第２パスの画像データとの第二共通画素点を抽出することと、
    前記第二共通画素点を元に第二座標系を作成し、前記第３パスの画像データを前記第二座標系にマッピングして、第三画像マッピングデータを得るとともに、前記第２パスの画像データを前記第二座標系にマッピングして、第四画像マッピングデータを得ることと、
    前記第三画像マッピングデータ及び前記第四画像マッピングデータを第二空白画像内にそれぞれコピーし、前記第三画像マッピングデータと前記第四画像マッピングデータとの前記第二空白画像内での重畳画像データを重み付け融合して、第二繋ぎ合わせサブ画像を得ることと、
    前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得ることと、
    を含む、遠隔制御における画像処理方法。
  2. 前記車両から送信された画像情報を受信することが、
    前記車両からリアルタイム通信ＲＴＣ（ｒｅａｌ－ｔｉｍｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を通して送信された第一画像圧縮情報を受信することを含み、前記第一画像圧縮情報には、前記車両によって収集された複数パスの画像データが含まれ、
    前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることが、
    前記第一画像圧縮情報に対して解凍処理を行って、前記複数パスの画像データを得て、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることを含む請求項１に記載の方法。
  3. 前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信することが、
    前記繋ぎ合わせ画像を圧縮して第二画像圧縮情報を得て、ＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信することを含む請求項１に記載の方法。
  4. クラウド機器に適用される、遠隔制御における画像処理装置であって、
    車両から送信された画像情報を受信するための受信モジュールであって、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる受信モジュールと、
    前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るための繋ぎ合わせモジュールと、
    前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信するための送信モジュールと、
    を備え、
    前記複数パスの画像データには、第１パスの画像データ、第２パスの画像データ及び第３パスの画像データが含まれ、
    前記繋ぎ合わせモジュールが、
    前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出するための第一抽出ユニットと、
    前記第一共通画素点を元に第一座標系を作成し、前記第１パスの画像データを前記第一座標系にマッピングして、第一画像マッピングデータを得るとともに、前記第２パスの画像データを前記第一座標系にマッピングして、第二画像マッピングデータを得るための第一作成ユニットと、
    前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーし、前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合して、第一繋ぎ合わせサブ画像を得るための第一融合ユニットと、
    前記第３パスの画像データと前記第２パスの画像データとの第二共通画素点を抽出するための第二抽出ユニットと、
    前記第二共通画素点を元に第二座標系を作成し、前記第３パスの画像データを前記第二座標系にマッピングして、第三画像マッピングデータを得るとともに、前記第２パスの画像データを前記第二座標系にマッピングして、第四画像マッピングデータを得るための第二作成ユニットと、
    前記第三画像マッピングデータ及び前記第四画像マッピングデータを第二空白画像内にそれぞれコピーし、前記第三画像マッピングデータと前記第四画像マッピングデータとの前記第二空白画像内での重畳画像データを重み付け融合して、第二繋ぎ合わせサブ画像を得るための第二融合ユニットと、
    前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得るための繋ぎ合わせユニットと、
    を備える、遠隔制御における画像処理装置。
  5. 前記受信モジュールが、前記車両からリアルタイム通信ＲＴＣを通して送信された第一画像圧縮情報を受信するために用いられ、前記第一画像圧縮情報には、前記車両によって収集された複数パスの画像データが含まれ、
    前記繋ぎ合わせモジュールが、前記第一画像圧縮情報に対して解凍処理を行って、前記複数パスの画像データを得て、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るために用いられる請求項４に記載の装置。
  6. 前記送信モジュールが、前記繋ぎ合わせ画像を圧縮して第二画像圧縮情報を得て、ＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信するために用いられる請求項４に記載の装置。
  7. 少なくとも１つのプロセッサと、
    該少なくとも１つのプロセッサと通信接続されたメモリと、
    を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行され得る命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが請求項１から３のいずれか一項に記載の方法を実行可能となる電子機器。
  8. コンピュータ命令を記憶した非一時的なコンピュータ読取可能な記憶媒体であって、前記コンピュータ命令が、請求項１から３のいずれか一項に記載の方法をコンピュータに実行させるためのものである非一時的なコンピュータ読取可能な記憶媒体。
  9. 電子機器上で動作すると、請求項１から３のいずれか一項に記載の方法が前記電子機器によって実行されるコンピュータプログラム。
  10. 請求項７に記載の電子機器を備えるクラウド機器。
JP2021180515A 2020-12-22 2021-11-04 遠隔制御における画像処理方法、装置、機器及びコンピュータプログラム Active JP7383680B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011525076.8 2020-12-22
CN202011525076.8A CN112714282A (zh) 2020-12-22 2020-12-22 远程控制中的图像处理方法、装置、设备和程序产品

Publications (2)

Publication Number Publication Date
JP2022020066A JP2022020066A (ja) 2022-01-31
JP7383680B2 true JP7383680B2 (ja) 2023-11-20

Family

ID=75544997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021180515A Active JP7383680B2 (ja) 2020-12-22 2021-11-04 遠隔制御における画像処理方法、装置、機器及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20220058771A1 (ja)
EP (1) EP3929813A3 (ja)
JP (1) JP7383680B2 (ja)
KR (1) KR20220090380A (ja)
CN (1) CN112714282A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113900431B (zh) * 2021-09-30 2024-06-18 北京百度网讯科技有限公司 远程控制信息处理方法、装置、电子设备及自动驾驶车辆
CN113986057A (zh) * 2021-10-22 2022-01-28 北京三快在线科技有限公司 图像处理方法、装置、可读存储介质及无人设备
US20240293837A1 (en) 2021-11-29 2024-09-05 Lg Energy Solution, Ltd. Dual Slot Die For Simultaneously Performing Electrode Slurry Coating And Insulating Solution Coating And Coating Method Using The Same
CN116017060A (zh) * 2022-12-12 2023-04-25 蔚来软件科技(上海)有限公司 一种车辆图像数据处理方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170345129A1 (en) 2016-05-26 2017-11-30 Gopro, Inc. In loop stitching for multi-camera arrays
WO2018079028A1 (ja) 2016-10-27 2018-05-03 パナソニックＩｐマネジメント株式会社 遠隔型自動走行システム、無線通信方法及び移動体装置
JP2018515840A (ja) 2015-04-28 2018-06-14 フィリップス ライティング ホールディング ビー ヴィ 多画像シーン内のメタデータ
CN109509153A (zh) 2019-01-24 2019-03-22 北京大椽科技有限公司 一种拖挂车图像的全景拼接方法及系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9876954B2 (en) * 2014-10-10 2018-01-23 Iec Infrared Systems, Llc Calibrating panoramic imaging system in multiple dimensions
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
US9843725B2 (en) * 2015-12-29 2017-12-12 VideoStitch Inc. Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US10244211B2 (en) * 2016-02-29 2019-03-26 Microsoft Technology Licensing, Llc Immersive interactive telepresence
CN105869119A (zh) * 2016-05-06 2016-08-17 安徽伟合电子科技有限公司 一种动态视频获取方法
JP7059522B2 (ja) * 2017-06-09 2022-04-26 ソニーグループ株式会社 制御装置、制御方法、プログラム及び撮像システム
US10620638B2 (en) * 2017-08-18 2020-04-14 Wipro Limited Method, system, and device for guiding autonomous vehicles based on dynamic extraction of road region
US10685239B2 (en) * 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
CN108428357B (zh) * 2018-03-22 2020-08-18 青岛慧拓智能机器有限公司 一种用于智能网联车的平行遥控驾驶系统
CN109101014A (zh) * 2018-07-20 2018-12-28 驭势科技（北京）有限公司 一种智能驾驶车辆远程控制系统、方法及存储介质
CN110874817B (zh) * 2018-08-29 2022-02-01 上海商汤智能科技有限公司 图像拼接方法和装置、车载图像处理装置、设备、介质
CN111464978A (zh) * 2019-01-22 2020-07-28 岳秀兰 主次无线设备通过物联网连接建立的车辆远程驾驶体系
CN109808705B (zh) * 2019-01-23 2021-11-02 青岛慧拓智能机器有限公司 一种用于远程遥控驾驶控制的系统
CN111489288B (zh) * 2019-01-28 2023-04-07 北京魔门塔科技有限公司 一种图像的拼接方法和装置
CN109739157A (zh) * 2019-02-26 2019-05-10 常熟理工学院 基于4g网络通信的远程驾驶系统及方法
US10992860B2 (en) * 2019-03-29 2021-04-27 Nio Usa, Inc. Dynamic seam adjustment of image overlap zones from multi-camera source images
CN111783502A (zh) * 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
US11112791B2 (en) * 2019-05-02 2021-09-07 Valeo Schalter Und Sensoren Gmbh Selective compression of image data during teleoperation of a vehicle
CN116433475A (zh) * 2019-06-26 2023-07-14 图码思(成都)科技有限公司 一种基于特征点提取的图像拼接方法及终端
US11158056B2 (en) * 2019-06-26 2021-10-26 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection
CN210454716U (zh) * 2019-08-19 2020-05-05 长沙智能驾驶研究院有限公司 5g远程驾驶系统
US11341614B1 (en) * 2019-09-24 2022-05-24 Ambarella International Lp Emirror adaptable stitching
CN110942023A (zh) * 2019-11-25 2020-03-31 鹰驾科技（深圳）有限公司 车辆视觉盲区的指示方法、装置、设备及存储介质
CN111634234B (zh) * 2020-05-26 2022-11-29 东风汽车股份有限公司 远程驾驶车端信息展示方法及远程驾驶方法
CN111736604B (zh) * 2020-06-24 2023-02-21 中国第一汽车股份有限公司 一种远程驾驶控制方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018515840A (ja) 2015-04-28 2018-06-14 フィリップス ライティング ホールディング ビー ヴィ 多画像シーン内のメタデータ
US20170345129A1 (en) 2016-05-26 2017-11-30 Gopro, Inc. In loop stitching for multi-camera arrays
WO2018079028A1 (ja) 2016-10-27 2018-05-03 パナソニックＩｐマネジメント株式会社 遠隔型自動走行システム、無線通信方法及び移動体装置
CN109509153A (zh) 2019-01-24 2019-03-22 北京大椽科技有限公司 一种拖挂车图像的全景拼接方法及系统

Also Published As

Publication number Publication date
EP3929813A2 (en) 2021-12-29
US20220058771A1 (en) 2022-02-24
JP2022020066A (ja) 2022-01-31
KR20220090380A (ko) 2022-06-29
EP3929813A3 (en) 2022-05-25
CN112714282A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
JP7383680B2 (ja) 遠隔制御における画像処理方法、装置、機器及びコンピュータプログラム
US11722727B2 (en) Special effect processing method and apparatus for live broadcasting, and server
CN111291885B (zh) 近红外图像的生成方法、生成网络的训练方法和装置
CN111768386A (zh) 产品缺陷检测方法、装置、电子设备和存储介质
KR102463304B1 (ko) 비디오 처리 방법 및 장치, 전자기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램
US20230186583A1 (en) Method and device for processing virtual digital human, and model training method and device
US11528472B2 (en) Display control apparatus, display control method, and non-transitory computer-readable storage medium
CN112584077B (zh) 视频的插帧方法、装置及电子设备
EP3872760A2 (en) Method and apparatus of training depth estimation network, and method and apparatus of estimating depth of image
CN111832745A (zh) 数据增广的方法、装置及电子设备
CN111654746A (zh) 视频的插帧方法、装置、电子设备和存储介质
CN112487979B (zh) 目标检测方法和模型训练方法、装置、电子设备和介质
CN111768356A (zh) 一种人脸图像融合方法、装置、电子设备及存储介质
US11641446B2 (en) Method for video frame interpolation, and electronic device
CN108648140A (zh) 图像拼接方法、系统、设备及存储介质
JP2023525462A (ja) 特徴を抽出するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
JP2022013579A (ja) 画像処理方法、装置、電子機器および記憶媒体
CN116801037A (zh) 将真人主播影像投射于远程真实环境的增强现实直播方法
CN115908218A (zh) Xr场景的第三视角拍摄方法、装置、设备以及存储介质
CN114339071A (zh) 图像处理电路、图像处理方法及电子设备
CN113362409B (zh) 图像上色及其模型训练方法、装置、电子设备、存储介质
JP7269979B2 (ja) 歩行者を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
CN113489920A (zh) 一种视频合成方法、装置及电子设备
CN112053280A (zh) 全景地图显示的方法、装置、设备和存储介质
KR102579124B1 (ko) 영상 데이터 보정 방법, 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 및 자율 주행 차량

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231108

R150 Certificate of patent or registration of utility model

Ref document number: 7383680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150