JP2023545222A - 画像同期方法及び装置、機器並びにコンピュータ記憶媒体 - Google Patents

画像同期方法及び装置、機器並びにコンピュータ記憶媒体 Download PDF

Info

Publication number
JP2023545222A
JP2023545222A JP2021573271A JP2021573271A JP2023545222A JP 2023545222 A JP2023545222 A JP 2023545222A JP 2021573271 A JP2021573271 A JP 2021573271A JP 2021573271 A JP2021573271 A JP 2021573271A JP 2023545222 A JP2023545222 A JP 2023545222A
Authority
JP
Japan
Prior art keywords
image
images
analyzed
group
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021573271A
Other languages
English (en)
Inventor
ジアチョン ウー
ドンリアン スン
シュワイ ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Priority claimed from PCT/IB2021/058759 external-priority patent/WO2023041966A1/en
Publication of JP2023545222A publication Critical patent/JP2023545222A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本開示の実施例は、複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各候補画像に対応する時間パラメータを取得するステップと、各組の候補画像からそれぞれ１枚の候補画像を解析対象画像として選択し、且つ複数枚の解析対象画像に基づいて解析対象画像群を構築するステップと、解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、解析対象画像群を目標対象に対応する１つの同期画像群と決定するステップとを含む画像同期方法及び装置、機器並びにコンピュータ記憶媒体を提供する。【選択図】図１

Description

（関連出願の相互参照）
本願は、２０２１年９月１６日にシンガポール知識財産権局に提出された、出願番号が１０２０２１１０２３０Ｔであるシンガポール特許出願に基づく優先権を主張し、その全ての内容が参照によって本願に組み込まれる。
本開示は、スマートビデオ解析の分野に関し、特に、画像同期方法及び装置、機器並びにコンピュータ記憶媒体に関する。
現在、特定のシーン、例えば生放送やボードゲームのようなシーンでは、異なる角度方向に設置された複数台のカメラによって連携処理を行うことが多く、即ち、複数台のカメラをトリガして同一の目標対象を異なる角度で撮影し、複数枚のイメージを返信した後、見える目標対象が更に顔視覚での真実直観世界に一致するように複数枚のイメージに対して情報解析及び情報融合を行う。このように、複数台のカメラは厳しいフレーム同期要求に従うことが必要である。
しかしながら、ネットワーク伝送又はカメラ自身のハードウェアによる時間誤差の問題が存在するため、複数台のカメラの返信した複数枚の画像はフレーム同期したものではないことがある。
本開示の実施例は、画像同期方法及び装置、機器並びにコンピュータ記憶媒体を提供する。
本開示の実施例の技術的解決手段は以下のように実現される。
本開示の実施例は、
複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各前記候補画像に対応する時間パラメータを取得するステップであって、各前記画像収集装置は前記複数組の候補画像のうちの１組の候補画像に対応し、各組の候補画像は少なくとも１つの前記候補画像を含むステップと、前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択し、且つ複数の前記解析対象画像に基づいて解析対象画像群を構築するステップと、前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップとを含む画像同期方法を提供する。
このように、複数の画像収集装置が目標対象に対して収集した複数組の候補画像及び各候補画像に対応する時間パラメータを取得することによって、時間パラメータが全てプリセット同期条件を満たしている同期画像群が決定されるまで、各画像収集装置が収集した１組の候補画像の内の１枚の候補画像に基づいて構築された解析対象画像群に対して、時間パラメータに応じて同期判断を行うことができる。
いくつかの実施例では、前記方法は、前記複数の画像収集装置に同期に画像収集トリガ信号を送信するステップと、いずれか１つの前記画像収集装置が返信した、前記画像収集トリガ信号に応えて収集した前記候補画像を受信すると、前記候補画像に対応する前記時間パラメータを記録するステップと、前記時間パラメータの順序付けされた先後順序に応じて、前記候補画像と前記時間パラメータを対応関係にていずれか１つの画像キャッシュキューにキャッシュして、いずれか１組の候補画像を構築するステップであって、各前記画像収集装置は１つの画像キャッシュキューに対応するステップとを更に含む。
いくつかの実施例では、前記複数の画像収集装置に同期に画像収集トリガ信号を送信するステップは、各前記画像収集装置に対応するプリセットフレーム周波数を取得し、且つ複数のプリセットフレーム周波数に基づいて信号発信周波数を決定するステップであって、前記信号発信周波数はいずれか１つの前記プリセットフレーム周波数以下であるステップと、前記信号発信周波数に応じてそれぞれ前記複数の画像収集装置に同期に前記画像収集トリガ信号を送信するステップとを含む。
このように、画像収集装置のフレーム周波数により画像収集トリガ信号の発信周波数を決定することで、単位時間当たりより多い画像データを取得することを確保できる。
いくつかの実施例では、前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択するステップは、各前記画像キャッシュキューにキャッシュされた１組の候補画像から、それぞれ前記時間パラメータが最も前に順序付けされた１枚の候補画像を解析対象画像として選択して、前記複数の解析対象画像を得るステップを含む。
いくつかの実施例では、複数の前記解析対象画像に基づいて解析対象画像群を構築するステップの後、且つ前記前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップの前に、前記方法は、前記解析対象画像群の内の前記時間パラメータが最も後に順序付けされた１枚の解析対象画像を前記目標画像と決定するステップと、前記目標画像に対応する時間パラメータと前記解析対象画像群の内の他のいずれか１つの前記解析対象画像に対応する時間パラメータとの間の時間差値を計算するステップと、前記時間差値が全てプリセット時間閾値以下であることに応えて、前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていると決定するステップとを更に含む。
このように、解析対象画像群から時間パラメータが最も新しく順序付けされたものを目標画像として決定し、続いてそれに対応する時間パラメータを他のいずれか１つの解析対象画像に対応する時間パラメータと比較し、更に時間パラメータの差値が全てプリセット誤差範囲を満たしている場合に、目標対象の１組のフレーム同期画像を決定する。
いくつかの実施例では、前記目標画像に対応する時間パラメータと前記解析対象画像群の内の他のいずれか１つの前記解析対象画像に対応する時間パラメータとの間の時間差値を計算するステップの後、前記方法は、前記目標画像に対応する時間パラメータと前記解析対象画像群の内の第１解析対象画像に対応する時間パラメータとの間の時間差値が前記プリセット時間閾値より大きいことに応えて、前記第１解析対象画像を廃棄するステップであって、前記第１解析対象画像は前記解析対象画像群の内の前記目標画像以外の他のいずれか１つの解析対象画像であるステップと、前記第１解析対象画像の所属する第１画像キャッシュキューから、引き続き前記時間パラメータが最も前に順序付けされた第２解析対象画像を選択するステップと、前記第２解析対象画像に基づいて前記解析対象画像群を更新し、引き続き更新後の解析対象画像群に基づいて前記目標画像の決定処理と前記プリセット同期条件の判断処理を実行するステップとを更に含む。
このように、時間パラメータの差値がプリセット誤差範囲を満たしていない解析対象画像が存在するとき、当該解析対象画像を廃棄し、そして対応する画像キャッシュキューから時間パラメータが最も前に位置する新しい１枚の解析対象画像を再度取得して解析対象画像群を更新し、目標画像の決定とプリセット同期条件の判断処理とを繰り返して画像フレーム同期の決定を行う。
いくつかの実施例では、前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップの後、前記方法は、前記同期画像群における各前記解析対象画像を前処理して、プリセットモデル入力条件を満たした処理済の同期画像群を得るステップと、前記処理済の同期画像群を目標アルゴリズムモデルに入力して画像解析処理を行うステップとを更に含む。
いくつかの実施例では、前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップの後、前記方法は、引き続き各前記画像キャッシュキューにおける時間パラメータが最も前に位置する１枚の解析対象画像に基づいて次の解析対象画像群を構築し、前記目標対象に対応する次の同期画像群の決定処理を実行するステップを更に含む。
いくつかの実施例では、前記複数の画像収集装置が対向するように前記目標対象の複数の角度方向に設置され、１つの画像収集装置が１つの角度方向に設置される。
本開示の実施例は、
複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各前記候補画像に対応する時間パラメータを取得するように構成される取得モジュールであって、各前記画像収集装置は前記複数組の候補画像のうちの１組の候補画像に対応し、各組の候補画像は少なくとも１つの前記候補画像を含む取得モジュールと、
前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択するように構成される選択モジュールと、
複数の前記解析対象画像に基づいて解析対象画像群を構築するように構成される構築モジュールと、
前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するように構成される決定モジュールとを備える画像同期装置を提供する。
本開示の実施例は、メモリとプロセッサとを備え、前記メモリにプロセッサで実行可能なコンピュータプログラムが記憶されているコンピュータ機器において、前記プロセッサは、前記プログラムを実行すると、上記方法のステップを実現することを特徴とする前記コンピュータ機器を提供する。
本開示の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体において、当該コンピュータプログラムがプロセッサにより実行されると、上記方法のステップを実現することを特徴とする前記コンピュータ読み取り可能記憶媒体を提供する。
本開示の実施例は、複数の画像収集装置が目標対象に対して収集した複数組の候補画像及び各候補画像に対応する時間パラメータを取得することによって、時間パラメータが全てプリセット同期条件を満たしている同期画像群が決定されるまで、各画像収集装置が収集した１組の候補画像の内の１枚の候補画像に基づいて構築された解析対象画像群に対して時間パラメータの同期判断を行う画像同期方法及び装置、機器並びに記憶媒体を提供する。以上から分かるように、タイムスタンプに基づいて複数のカメラの画像に対して同期判断を行うことによって、複数のカメラがアルゴリズムに出力する検出認識及び情報融合を行うための１組の画像は、同期したものであり、厳しいフレーム同期要求を満たしていることを確保する。
以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示を制限しないことを理解すべきである。
本開示の実施例に係る画像同期方法を実現するフローチャート１である。 本開示の実施例に係る画像同期方法を実現するフローチャート２である。 本開示の実施例に係る画像同期方法を実現するフローチャート３である。 本開示の実施例に係る画像同期方法を実現するフローチャート４である。 本開示の実施例に係る画像同期方法を実現するフローチャート５である。 本開示の実施例に係る画像同期装置の構成の模式図である。 本開示の実施例に係るコンピュータ機器の構成の模式図である。
本開示の目的、技術的解決手段及び利点をより明確にするために、以下において、本開示の実施例における図面を参照しながら、発明の具体的な技術的解決手段をさらに詳細に説明する。以下の実施例は、本開示を説明するためのものであり、本開示の範囲を制限するものではない。
以下において、全ての可能な実施例のサブセットを記述する「いくつかの実施例」を説明したが、「いくつかの実施例」は全ての可能な実施例の同じサブセットであっても、異なるサブセットであってもよく、また、矛盾が生じない場合に相互に組み合わせてもよいことを理解可能である。
以下の説明に記載される用語の「第１／第２／第３」はただ類似的な対象を区別するためのものに過ぎず、対象の特定の順序を表すものではなく、理解できるように、「第１／第２／第３」は許容される場合に特定の順序又は先後順序を互いに交換してもよく、それによって、ここに記載の本開示の実施例はここに図示又は記載された以外の順序で実施可能になる。
特に定義されない限り、本明細書で使用される技術用語と科学用語は全て当業者に一般に理解されている意味と同じである。本明細書で使用される用語は本開示の実施例の目的を説明するためのものに過ぎず、本開示を限定する意図がない。
本開示の実施例を更に詳細に説明する前に、本開示の実施例における名詞及び用語を説明し、本開示の実施例における名詞及び用語は下記のような解釈に適用される。
１）コールバック関数：引数として渡される関数である。コールバックは字面から理解すればシステムが戻して指定された関数を呼び出すことである。プロセスは、以後の特定時間に使用されるために記憶される。
現在、特定のシーン、例えば生放送やボードゲームのようなシーンでは、異なる角度方向に設置された複数台のカメラによって連携処理を行うことが多く、即ち、複数台のカメラをトリガして同一の目標対象を異なる角度で撮影し、見える目標対象が更に顔視覚での真実直観世界に一致するように複数枚のイメージを返信した後、見える複数枚のイメージに対して情報解析及び情報融合を行う。このように、複数台のカメラは厳しいフレーム同期要求に従うことが必要である。
しかしながら、ネットワーク伝送又はカメラ自身のハードウェアによる時間誤差の問題が存在するため、複数台のカメラの返信した複数枚の画像はフレーム同期したものではないことがある。
本開示の実施例は、複数の画像収集装置が目標対象に対して収集した複数組の候補画像及び各候補画像に対応する時間パラメータを取得することによって、時間パラメータが全てプリセット同期条件を満たしている同期画像群が決定されるまで、各画像収集装置が収集した１組の候補画像の内の１枚の候補画像に基づいて構築された解析対象画像群に対して時間パラメータの同期判断を行う画像同期方法及び装置、機器、コンピュータ記憶媒体を提供する。以上から分かるように、タイムスタンプに基づいて複数台のカメラの画像に対して同期判断を行うことによって、複数のカメラがアルゴリズムに出力する検出認識及び情報融合を行うための１組の画像は、同期したものであり、厳しいフレーム同期要求を満たしていることを確保する。
本開示の実施例は、コンピュータ機器に応用される画像同期方法を提供し、前記コンピュータ機器には、エンドツーエンドの可視化モデル生成プラットフォームが配置されており、物体検出、画像分類等の視覚分野で一般に用いられる人工知能モデル汎用トレーニング仕組みが内蔵されている。
以下において、本開示の実施例に係る画像同期装置の例示的応用を説明し、本開示の実施例に係る画像同期装置は、コンピュータ、ノートパソコン、タブレットコンピュータ、マルチメディア機器、モバイルインターネット機器又は他のタイプの機器並びにサーバ、分散コンピューティングノード等の計算能力を有する機器を含むが、それらに限定されない。
ここで、当該方法が実現する機能は、コンピュータ機器におけるプロセッサによってプログラムコードを呼び出すことで実現されてもよく、当然ながら、プログラムコードはコンピュータ記憶媒体に格納されてもよく、以上から分かるように、当該コンピュータ機器は少なくともプロセッサと記憶媒体を備える。
本開示の実施例は画像同期方法を提供し、図１は本開示の実施例に係る画像同期方法を実現するフローチャート１である。図１に示すように、画像同期を実行する方法は、下記のステップを含む。
ステップＳ１０１で、複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各候補画像に対応する時間パラメータを取得し、各画像収集装置は複数組の候補画像のうちの１組の候補画像に対応し、各組の候補画像は少なくとも１つの候補画像を含む。
本開示の実施例では、画像処理装置は、先に複数の画像収集装置が目標対象に対して収集した複数組の候補画像及び各候補画像フレームに対応する時間パラメータを取得してもよい。
いくつかの実施例では、目標対象とは、現在シーン（例えば、ボードゲームシーン又は舞台シーン）における目標人物を指し、画像収集装置は、画像同期装置に対して独立した、目標対象を撮影するための装置、例えば、カメラであってもよい。
ここで、各角度方向での目標人物の動作情報又は体特徴情報等を取得するために、複数の画像収集装置を設置してもよく、ここで、これらの複数の画像収集装置は、それぞれ対向するように目標人物の各角度方向に設置されて、現在シーンにおける各角度方向での目標人物の動作情報及び体特徴情報の撮影を実現する。
一実施形態では、複数の画像収集装置は情報を交換するようにいずれも画像同期装置に通信可能に接続されており、ここで、各画像収集装置はいずれも画像同期装置に対して有線接続されていてもよく、無線接続されていてもよく、又は、複数の画像収集装置のうちの一部は有線接続され、他の残りの一部は無線接続されていてもよい。
例示的に、現在シーンがボードゲームシーンであると仮定し、画像同期装置をコンピュータ機器とし、画像収集装置をカメラとした例として、上、下、前、後、左及び右等を含む当該ボードゲームのゲームプラットフォーム領域の各角度方向には、いずれもカメラが設置され、これらのカメラは、コンピュータと同一のローカルエリアネットワークに位置し又は同一の無線ホットスポットに接続されており、コンピュータと情報を交換することができ、例えば、コンピュータは、命令をカメラに送信したり、カメラが返信した目標人物に対して収集した画像データを受信することができる。
いくつかの実施例では、各画像収集装置にはその対応する機器識別マークがあり、画像同期装置は機器識別マークに応じて各画像収集装置が返信した画像をそれぞれ記憶して、複数の画像収集装置に対応する複数組の候補画像を取得することができ、言い換えると、各画像収集装置は１組の候補画像に対応する。ここで、各組の候補画像には少なくとも１つの候補画像を含む。
本開示の実施例では、画像同期装置は複数の画像収集装置が目標対象に対して収集した画像を受信すると、各候補画像に対応する時間パラメータを記録し、候補画像と時間パラメータを対応関係の形にて記憶してもよい。
ここで、時間パラメータは、画像同期装置が画像を受信する時に記録する受信時間であってもよく、更に画像収集装置が画像を収集する時の収集時間であってもよく、言い換えると、時間パラメータは候補画像の受信タイムスタンプ又は収集タイムスタンプであってもよく、本願はこれを具体的に限定しない。
なお、画像同期装置が本開示に係る画像同期方法を実行するとき、取得した候補画像及びその対応する時間パラメータは、リアルタイムで取得されたものであり、即ち、リアルタイムで受信された画像収集装置の返信した候補画像、及びリアルタイムで記録された時間パラメータであってもよく、また、オフラインのものであり、即ち、履歴としてキャッシュされた画像収集装置の収集返信した画像、及びその対応する履歴として記録された時間パラメータであってもよい。
Ｓ１０２で、各組の候補画像からそれぞれ１つの候補画像を解析対象画像として選択し、且つ複数の解析対象画像に基づいて解析対象画像群を構築する。
本開示の実施例では、複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各候補画像に対応する時間パラメータを取得した後、各組の候補画像の内の１枚の候補画像に基づいて解析対象画像群を構築してもよい。
いくつかの実施例では、各画像収集装置の収集した各組の候補画像から１つの候補画像を解析対象画像として選択し、更にこれらの複数枚の解析対象画像に基づいて解析対象画像群を構築してもよい。
ここで、解析対象画像を選択するとき、時間パラメータの順序付けされた先後順序に応じて選択してもよく、即ち、各組の候補画像の内の時間パラメータが最も前に位置する１枚の候補画像を解析対象画像として選択する。
Ｓ１０３で、解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、解析対象画像群を目標対象に対応する１つの同期画像群と決定する。
本開示の実施例では、各組の候補画像から解析対象画像を選択して解析対象画像群を構築形成した後、解析対象画像群の内の解析対象画像に対して時間パラメータの同期判断を行うことが可能になる。
いくつかの実施例では、画像同期装置においては画像同期条件を予め設置してもよく、当該同期条件とは解析対象画像群の内の複数の解析対象画像がフレーム同期したものであることを指す。ここで、時間パラメータによって同期条件を特徴付けてもよく、言い換えると、時間パラメータが一定の条件を満たしていれば解析対象画像がフレーム同期したものであると考えられる。
本開示の実施例では、画像同期装置は、解析対象画像群の内の各解析対象画像に対応する時間パラメータに基づいてプリセット同期条件を満たしているか否かを判断し、且つ複数の解析対象画像に対応する時間パラメータが全てプリセット同期条件を満たしている場合に、当該解析対象画像群が同期画像群であると決定することができる。ここで、同期画像群の内の複数の画像は同期フレームしたものである。
目標画像の１つの同期画像群を取得した後、画像同期装置は引き続き次の同期画像群の決定処理を行ってもよいことを理解可能である。
ここで、画像同期装置は、引き続き各画像収集装置が収集した１組の候補画像の内の残りの候補画像から、それぞれ１枚の候補画像を選択して次ラウンドの解析対象画像としてもよく、ここで、目標対象の次の同期画像群が取得されるまで、時間パラメータの順序付けされた先後順序に応じて各組の候補画像の内の残りの候補画像から、引き続き時間パラメータが最も前に順序付けされた１枚の候補画像を解析対象画像として選択し、且つ複数枚の解析対象画像に基づいて新しい解析対象画像群を構築し、続いて解析対象画像の時間パラメータがプリセット同期条件を満たしているか否かについての判断処理を引き続き行ってもよい。
続いて、上記Ｓ１０２とＳ１０３の画像同期方法を繰り返して、目標対象の次の同期画像群の決定処理を実行する。
いくつかの実施例では、本開示の実施例で、画像同期装置は目標対象の１つの同期画像群を決定した後、情報解析及び情報融合等の処理を行うように、当該同期画像群を後続のアルゴリズムモデルに入力してもよい。
異なるアルゴリズムモデルは画像入力形式に対して異なる要求があるので、本開示の実施例では、同期画像群における複数枚のフレーム同期画像に対して画像切り取り、画像形式変換等のような前処理を行って、アルゴリズムモデル入力要求を満たしている複数枚のフレーム同期画像を得てもよいことを理解可能である。更に、情報解析と情報融合を行うように、アルゴリズム入力要求を満たしており、且つフレーム同期した同期画像群をアルゴリズムモデルに入力する。
以上から分かるように、本開示の実施例は、複数の画像収集装置が目標対象に対して収集した複数組の候補画像及び各候補画像に対応する時間パラメータを取得することによって、時間パラメータが全てプリセット同期条件を満たしている同期画像群が決定されるまで、各画像収集装置が収集した１組の候補画像の内の１枚の候補画像に基づいて構築された解析対象画像群に対して、時間パラメータの同期判断を行う画像同期方法を提供する。以上から分かるように、タイムスタンプに基づいて複数台のカメラの画像に対して同期判断を行うことによって、複数のカメラがアルゴリズムに出力する検出認識及び情報融合を行うための１組の画像は、同期したものであり、厳しいフレーム同期要求を満たしていることを確保する。
上記実施例によれば、本開示の一実施例では、図２Ａは、本開示の実施例に係る画像同期方法を実現するフローチャート２である。図２Ａに示すように、画像同期を実行する方法は、下記のステップを含む。
Ｓ２０１で、複数の画像収集装置に同期に画像収集トリガ信号を送信する。
本開示の実施例では、画像同期装置は複数の画像収集装置に通信可能に接続されており、複数の画像収集装置によって収集された画像がフレーム同期を実現することを促進するために、画像収集装置は更に画像収集プロセスで一定の同期手段、例えば収集同期トリガを実施してもよい。
ここで、収集同期トリガは、例えばハードウェアスイッチを同期オンして同期収集をトリガするような同期ハードトリガであってもよく、例えば同期に画像収集トリガ信号を送信するような同期ソフトトリガであってもよい。
ここで、画像同期装置は、複数の画像収集装置によって収集された画像がフレーム同期を実現することを促進するように、複数の画像収集装置に対して同期に画像収集トリガ信号を送信する手段を採用してもよい。
いくつかの実施例では、画像同期装置は、画像フレームの同期を図ると共により多い画像を収集できるために、画像収集装置のフレーム周波数に基づいて画像収集トリガ信号の周波数を決定してもよい。
ここで、図２Ｂは、本開示の実施例に係る画像同期方法を実現するフローチャート３である。図２Ｂに示すように、本開示の実施例では、複数の画像収集装置に同期に画像収集トリガ信号を送信する方法は、下記のステップを含んでもよい。
Ｓ２０１ａで、各画像収集装置に対応するプリセットフレーム周波数を取得し、且つ複数のプリセットフレーム周波数に基づいて信号発信周波数を決定し、信号発信周波数はいずれか１つのプリセットフレーム周波数以下である。
Ｓ２０１ｂで、信号発信周波数に応じてそれぞれ複数の画像収集装置に同期に画像収集トリガ信号を送信する。
なお、本開示の実施例では、複数の画像収集装置のそれぞれに対応するフレーム周波数は同じであっても、異なってもよい。
本開示の実施例では、画像収集装置が最大限に画像を収集できることを確保するために、画像同期装置は複数の画像収集装置のそれぞれに対応するフレーム周波数を取得し、且つ複数のフレーム周波数のうちの最小フレーム周波数に基づいて画像収集トリガ信号の発信周波数を決定してもよい。
一実施形態では、複数の画像収集装置のそれぞれに対応するフレーム周波数が同じであると、いずれか１つの画像収集装置のフレーム周波数の大きさを画像収集トリガ信号の発信周波数の大きさと決定してもよく、このとき、画像収集トリガ信号の発信周波数が画像収集装置フレーム周波数の最大値に到達したことにより、画像収集装置は単位時間当たりより多い画像データを収集して取得することができる。
別の実施形態では、複数の画像収集装置のそれぞれに対応するフレーム周波数が異なると、画像収集装置の最小フレーム周波数の大きさを画像収集トリガ信号発信周波数の大きさと決定してもよく、このとき、画像収集トリガ信号の発信周波数は、画像が良好であり、且つ画像を効率的に収集することを確保した場合に最大値に到達した。
ここで、画像収集トリガ信号の発信周波数を決定した後、画像同期装置は、当該信号の発信周波数に応じて複数の画像収集装置に同期に画像収集トリガ信号を送信することができる。
Ｓ２０２で、いずれか１つの画像収集装置が返信した、画像収集トリガ信号に応えて収集した候補画像を受信すると、候補画像に対応する時間パラメータを記録する。
本開示の実施例では、画像同期装置が複数の画像収集装置に同期に画像収集トリガ信号を送信した後、各画像収集装置は当該トリガ信号に応えて目標対象に対する画像収集処理を行うことができる。
なお、ネットワーク伝送の原因で、画像収集トリガ信号が同時に画像収集装置に到達しないことがあるため、複数の画像収集装置が同期画像収集を実現できないことがあり、又は画像収集装置自身のハードウェアの何らかの欠陥の原因で、複数の画像収集装置が同期画像収集を実現できないこともある。
画像収集装置が画像収集トリガ信号に応えて目標対象に対する画像収集処理を行った後、画像同期装置は画像収集装置の返信した目標対象に対して収集した画像、即ち候補画像を受信することができる。
いくつかの実施例では、画像収集装置は候補画像収集時間を記録し、且つ当該候補画像及びその対応する収集時間を画像同期装置に返信してもよく、このとき、画像同期装置は当該収集時間を記録し、且つそれを候補画像に対応する時間パラメータと決定してもよい。
画像が各画像収集装置から画像同期装置に伝送される時間が基本的に同じであるので、画像収集装置側のデータ計算量を軽減するために、本開示の実施例では、画像同期装置は、複数の画像収集装置のうちのいずれか１つの画像収集装置の返信したいずれか１つの候補画像を受信すると、受信時間を記録し、且つ当該受信時間をいずれか１つの候補画像に対応する時間パラメータと決定してもよいことを理解可能である。
ここで、画像が各画像収集装置から画像同期装置に伝送される時間が基本的に同じであるので、異なる画像同士の収集時間の間隔は、受信時間の間隔で好適に表現すると共に、画像収集装置側のデータ計算量を軽減することができる。
Ｓ２０３で、時間パラメータの順序付けされた先後順序に応じて、候補画像と時間パラメータを対応関係にていずれか１つの画像キャッシュキューにキャッシュして、いずれか１組の候補画像を構築し、各画像収集装置はそれぞれ１つの画像キャッシュキューに対応する。
ここで、各候補画像に対応する受信時間を候補画像に対応する時間パラメータと決定した後、各候補画像と対応する時間パラメータの対応関係を築き、且つ当該対応関係を記憶してもよい。
ここで、各画像収集装置にはそれぞれの対応する機器識別マークを有するため、画像同期装置は収集画像を受信するとき、機器識別マークに基づいて候補画像がどちらの画像収集装置に由来するかを正確に決定できる。
本開示の実施例では、複数の画像収集装置が収集した画像をより好適に区分するために、画像同期装置は、各画像収集装置に対して、当該画像収集装置の返信した候補画像と時間パラメータとの対応関係を記憶するための記憶領域を１つ画定してもよい。ここで、各記憶領域は画像収集装置の機器識別マークに応じて画定されてもよい。
画像収集時間が遅いほど、画像同期装置が返信画像を受信した時間が遅くなることを理解可能であり、画像収集時間又は受信時間をより好適に規範化するために、画像同期装置は、各画像収集装置に対して、画像を記憶する画像キャッシュキューを１つ設置する。ここで、各画像キャッシュキューは、先に進入するものが先に退出するという規則に従い、時間パラメータの順序付けされた先後順序に応じて候補画像と時間パラメータとの対応関係を記憶する。
言い換えると、各画像キャッシュキューは、各画像収集装置が１つの角度方向で目標対象を撮影した１組の候補画像を記憶するように構成される。
本開示の実施例では、画像同期装置は、関連コードの実行プロセスにおいてコールバック関数を導入してもよく、コールバック関数の内容は、画像受信タイムスタンプを記録し、且つ画像とタイムスタンプを対応関係の形にて対応する画像キャッシュキューに記憶することである。
ここで、当該コールバック関数は、画像収集装置の返信した候補画像を受信するコードステップの後に設置されてもよい。このように、いずれか１つの画像収集装置の返信した候補画像を受信するたびに、当該コールバック関数によって候補画像の受信時間、即ち候補画像に対応する時間パラメータを記録し、且つ当該候補画像と時間パラメータを対応関係の形にて当該画像収集装置に対応する画像キャッシュキューに記憶することができる。
以上から分かるように、本開示の実施例では、画像収集装置のフレーム周波数により画像収集トリガ信号の発信周波数を決定することで、単位時間当たりより多い画像データを取得することを確保できる。
上記実施例によれば、本開示の別の実施例では、図３Ａは、本開示の実施例に係る画像同期方法を実現するフローチャート４である。図３Ａに示すように、画像同期を実行する方法は、下記のステップを含んでもよい。
Ｓ３０１で、各画像キャッシュキューにキャッシュされた１組の候補画像から、それぞれ時間パラメータが最も前に順序付けされた１枚の候補画像を解析対象画像として選択して、複数枚の解析対象画像を得る。
Ｓ３０２で、解析対象画像群の内の時間パラメータが最も後に順序付けされた１枚の解析対象画像を目標画像と決定する。
Ｓ３０３で、目標画像に対応する時間パラメータと解析対象画像群の内の他のいずれか１つの解析対象画像に対応する時間パラメータとの間の時間差値を計算する。
Ｓ３０４で、時間差値が全てプリセット時間閾値以下であることに応えて、解析対象画像の時間パラメータが全てプリセット同期条件を満たしていると決定する。
本開示の実施例では、複数の画像収集装置が収集した画像のフレーム同期判断を行うプロセスにおいて、先に当該画像収集装置の候補画像を記憶するための画像キャッシュキューからそれぞれ１枚の候補画像を選択して解析対象画像としてもよい。
画像の処理解析がいずれも画像収集時間の先後順序に応じて実行されることを理解可能であり、ここで、上記Ｓ２０１～Ｓ２０２の画像同期方法に説明した画像キャッシュキューの画像キャッシュ規則によれば、それぞれ各画像キャッシュキューにおける１組の候補画像から時間パラメータが最も前に順序付けされた１枚の候補画像を解析対象画像として選択し、且つこれらの複数枚の解析対象画像に基づいて先に１つの解析対象画像群を構築してもよい。
次に、画像同期装置は、解析対象画像群における複数枚の解析対象画像から１つの解析対象画像を目標画像として決定し、続いて当該目標画像に対応する時間パラメータと他の残りのいずれか１つの解析対象画像に対応する時間パラメータとの間の時間差値に基づいて複数枚の解析対象画像フレームの同期判断を行ってもよい。
ここで、目標画像は、複数枚の解析対象画像のうち、時間パラメータが最も後に順序付けされた１枚の解析対象画像であり、つまり、画像同期装置が目標画像を受信した時間は最も遅い。目標画像は、複数枚の解析対象画像のうち、時間パラメータが最も後に順序付けされた１枚の解析対象画像又は時間パラメータが中間に位置するように順序付けされた１枚の解析対象画像であってもよく、本願はこれを具体的に限定しない。
目標画像が、複数枚の解析対象画像のうち、時間パラメータが最も後に順序付けされた１枚の解析対象画像である場合に、当該目標画像に対応する時間パラメータと他の各解析対象画像に対応する時間パラメータとの間の時間差値を計算し、且つ各時間差値とプリセット時間閾値との比較結果に基づいて各解析対象画像に対応する時間パラメータがプリセット同期条件を満たしているか否かを決定する。
ここで、プリセット時間閾値は、画像同期装置で予め設置された、プリセットフレーム同期条件を満たす時間パラメータ同士の差値誤差範囲である。ここで、カメラのフレーム周波数に基づいてプリセット時間閾値を設置してもよく、例えば、フレーム周波数が１０ＦＰＳであるカメラに対してプリセット時間閾値を２０ｍｓに設置してもよい。
目標画像に対応する時間パラメータと他の各解析対象画像に対応する時間パラメータとの間の時間差値が全てプリセット時間閾値以下である場合に、各解析対象画像に対応する時間パラメータが全てプリセット同期条件を満たしていると決定し、即ち複数枚の解析対象画像がフレーム同期したものであると決定することができ、このように、解析対象画像群を同期画像群と決定することができる。
このように、本開示の実施例では、複数の画像収集装置が収集した複数枚の画像のフレーム同期の判断を行うとき、各キャッシュキューからそれぞれ１つの解析対象画像を取得して解析対象画像群を構築し、且つそれらから時間パラメータが最も新しく順序付けされたものを決定して目標画像とし、続いてそれに対応する時間パラメータを他のいずれか１つの解析対象画像に対応する時間パラメータと比較し、更に時間パラメータの差値が全てプリセット誤差範囲を満たしている場合に、目標対象の１組のフレーム同期画像を決定するようにしてもよい。
上記実施例によれば、本開示の別の実施例では、図３Ｂは、本開示の実施例に係る画像同期方法を実現するフローチャート５である。図３Ｂに示すように、目標画像に対応する時間パラメータと解析対象画像群の内の他のいずれか１つの解析対象画像に対応する時間パラメータとの間の時間差値を計算した後、即ちＳ３０３の後、画像同期を実行する方法は、更に下記のステップを含んでもよい。
Ｓ３０５で、目標画像に対応する時間パラメータと解析対象画像群の内の第１解析対象画像に対応する時間パラメータとの間の時間差値がプリセット時間閾値より大きいことに応えて、第１解析対象画像を廃棄し、第１解析対象画像は解析対象画像群の内の目標画像以外の他のいずれか１つの解析対象画像である。
Ｓ３０６で、第１解析対象画像の所属する第１画像キャッシュキューから、引き続き時間パラメータが最も前に順序付けされた第２解析対象画像を選択する。
Ｓ３０７で、第２解析対象画像に基づいて解析対象画像群を更新し、引き続き更新後の解析対象画像群に基づいて目標画像の決定処理とプリセット同期条件の判断処理を実行する。
目標画像が、複数枚の解析対象画像のうち、時間パラメータが最も後に順序付けされた１枚の解析対象画像である場合に、当該目標画像に対応する時間パラメータと他の各解析対象画像に対応する時間パラメータとの間の時間差値を計算し、解析対象画像群の内の他の１つ又は複数の解析対象画像に対応する時間パラメータと、目標画像に対応する時間パラメータとの間の時間差値がプリセット時間閾値より大きい場合に、この他の１つ又は複数の解析対象画像に対応する時間パラメータがプリセット同期条件を満たしていないと決定することができる。
また、目標画像に対応する時間パラメータとの間の時間差値がプリセット時間閾値以下である残りの解析対象画像は、プリセット同期条件を満たしていると決定することができる。
ここで、画像同期装置は、プリセット同期条件を満たしていないと決定された他の１つ又は複数の解析対象画像を廃棄し、続いてこのプリセット同期条件を満たしていない解析対象画像の所属する画像キャッシュキューから、引き続き次の候補画像を解析対象画像として選択してもよく、ここで、次の解析対象画像は依然として、それの所属する画像キャッシュキューにおける時間パラメータが最も前に順序付けされたものである。
いくつかの実施例では、新たに選択された解析対象画像と、前ラウンドにおけるプリセットフレーム同期条件を満たしている解析対象画像と、前ラウンドにおける目標画像とに基づいて解析対象画像群を更新し、つまり、１つの新しい解析対象画像群を新たに構築してもよく。ここで、解析対象画像には依然として、各画像キャッシュキューの１組の候補画像からそれぞれ選択された時間パラメータが最も前にある１枚の候補画像を含む。
本開示の実施例では、更新後の解析対象画像群に基づいて、新しい目標画像の決定処理と、解析対象画像に対応する時間パラメータに基づいて実行されるプリセット同期条件を満たしているか否かについての判断処理と、を引き続き行ってもよい。言い換えると、Ｓ３０２、Ｓ３０３及びＳ３０４の画像同期方法を繰り返して実行し、又はステップＳ３０２、Ｓ３０３、Ｓ３０５、Ｓ３０６及びＳ３０７の画像同期方法を繰り返して実行して、目標対象の同期画像群を決定する。
このように、本開示の実施例では、解析対象画像群から時間パラメータが最も新しく順序付けされたものを決定して目標画像とし、続いてそれに対応する時間パラメータを他のいずれか１つの解析対象画像に対応する時間パラメータと比較し、時間パラメータの差値がプリセット誤差範囲を満たしていない解析対象画像が存在するとき、当該解析対象画像を廃棄し、そして、対応する画像キャッシュキューから時間パラメータが最も前に位置する新しい１枚の解析対象画像を再度取得して解析対象画像群を更新し、目標画像の決定とプリセット同期条件の判断処理とを繰り返して画像フレーム同期の決定を行うようにしてもよい。
上記実施例に基づいて、本開示の別の実施例では、画像同期を実行する方法は、下記のステップを含んでもよい。
Ｓ４０１で、複数の画像収集装置のうちの各画像収集装置に対応するプリセットフレーム周波数を取得し、且つ複数のプリセットフレーム周波数に基づいて信号発信周波数を決定し、信号発信周波数はいずれか１つのプリセットフレーム周波数以下である。
Ｓ４０２で、信号発信周波数に応じてそれぞれ複数の画像収集装置に同期に画像収集トリガ信号を送信する。
Ｓ４０３で、いずれか１つの画像収集装置が返信した、画像収集トリガ信号に応えて収集した候補画像を受信すると、候補画像に対応する時間パラメータを記録する。
Ｓ４０４で、時間パラメータの順序付けされた先後順序に応じて、候補画像と時間パラメータを対応関係にていずれか１つの画像キャッシュキューにキャッシュして、いずれか１組の候補画像を構築し、各画像収集装置はそれぞれ１つの画像キャッシュキューに対応する。
Ｓ４０５で、各画像キャッシュキューにキャッシュされた１組の候補画像から、それぞれ時間パラメータが最も前に順序付けされた１枚の候補画像を解析対象画像として選択して、複数枚の解析対象画像を得て、複数枚の解析対象画像に基づいて解析対象画像群を構築する。
Ｓ４０６で、解析対象画像群の内の時間パラメータが最も後に順序付けされた１枚の解析対象画像を目標画像と決定する。
Ｓ４０７で、目標画像に対応する時間パラメータと解析対象画像群の内の他のいずれか１つの解析対象画像に対応する時間パラメータとの間の時間差値を計算する。
Ｓ４０８で、時間差値が全てプリセット時間閾値を満たしているか否かを判断し、満たしている場合にステップＳ４０９を実行し、満たしていない場合にステップＳ４１１に移行する。
Ｓ４０９で、解析対象画像の時間パラメータが全てプリセット同期条件を満たしていると決定した場合に、解析対象画像群を目標対象に対応する１つの同期画像群と決定する。
Ｓ４１０で、同期画像群における各解析対象画像を前処理し、プリセットモデル入力条件を満たした処理済の同期画像群を得て、且つ処理済の同期画像群を目標アルゴリズムモデルに入力して画像解析処理を行う。
Ｓ４１１で、その時間パラメータと目標画像に対応する時間パラメータとの間の時間差値がプリセット時間閾値より大きい第１解析対象画像を廃棄し、第１解析対象画像は解析対象画像群の内の目標画像以外の他のいずれか１つの解析対象画像である。
Ｓ４１２で、第１解析対象画像の所属する第１画像キャッシュキューから、引き続き時間パラメータが最も前に順序付けされた第２解析対象画像を選択する。
Ｓ４１３で、第２解析対象画像に基づいて解析対象画像群を更新し、Ｓ４０６～Ｓ４１３を繰り返して実行する。
以上から分かるように、Ｓ４０１～Ｓ４１２の画像同期方法によれば、複数の画像収集装置が目標対象に対して収集した複数組の候補画像及び各候補画像に対応する時間パラメータを取得することによって、時間パラメータが全てプリセット同期条件を満たしている同期画像群が決定されるまで、各画像収集装置が収集した１組の候補画像の内の１枚の候補画像に基づいて構築された解析対象画像群に対して時間パラメータに応じて同期判断を行うことができる。以上から分かるように、タイムスタンプに基づいて複数台のカメラのイメージフレームに対して同期判断を行うことによって、複数のカメラがアルゴリズムに出力する検出認識及び情報融合を行うためのイメージフレーム群は、同期したものであり、厳しいフレーム同期要求を満たしていることを確保する。
本開示の実施例は、画像同期装置を提供し、図４は、本開示の実施例に係る画像同期装置の構成の模式図である。図４に示すように、前記画像同期装置４００は、
複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各前記候補画像に対応する時間パラメータを取得するように構成される取得モジュール４０１であって、各前記画像収集装置は前記複数組の候補画像のうちの１組の候補画像に対応し、各組の候補画像は少なくとも１つの前記候補画像を含む取得モジュール４０１と、
前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択するように構成される選択モジュール４０２と、
複数の前記解析対象画像に基づいて解析対象画像群を構築するように構成される構築モジュール４０３と、
前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するように構成される決定モジュール４０４とを備える。
いくつかの実施例では、前記画像同期装置４００は、前記複数の画像収集装置に同期に画像収集トリガ信号を送信するように構成される送信モジュール４０５を更に備える。
いくつかの実施例では、記録モジュール４０６は、いずれか１つの前記画像収集装置が返信した、前記画像収集トリガ信号に応えて収集した前記候補画像を受信すると、前記候補画像に対応する前記時間パラメータを記録するように構成される。
いくつかの実施例では、キャッシュモジュール４０７は、前記時間パラメータの順序付けされた先後順序に応じて、前記候補画像と前記時間パラメータを対応関係にていずれか１つの画像キャッシュキューにキャッシュして、いずれか１組の候補画像を構築するように構成され、各前記画像収集装置は１つの画像キャッシュキューに対応する。
いくつかの実施例では、送信モジュール４０５は、具体的には、各前記画像収集装置に対応するプリセットフレーム周波数を取得し、且つ複数のプリセットフレーム周波数に基づいて信号発信周波数を決定するステップであって、前記信号発信周波数はいずれか１つの前記プリセットフレーム周波数以下であるステップと、前記信号発信周波数に応じてそれぞれ前記複数の画像収集装置に同期に前記画像収集トリガ信号を送信するステップとを実行するように構成される。
いくつかの実施例では、選択モジュール４０２は、各前記画像キャッシュキューにキャッシュされた１組の候補画像から、それぞれ前記時間パラメータが最も前に順序付けされた１枚の候補画像を解析対象画像として選択して、前記複数の解析対象画像を得るように構成される。
いくつかの実施例では、決定モジュール４０４は、更に、複数の前記解析対象画像に基づいて解析対象画像群を構築した後、且つ前記前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定する前に、前記解析対象画像群の内の前記時間パラメータが最も後に順序付けされた１枚の解析対象画像を前記目標画像と決定するように構成される。
いくつかの実施例では、計算モジュール４０８は、前記目標画像に対応する時間パラメータと前記解析対象画像群の内の他のいずれか１つの前記解析対象画像に対応する時間パラメータとの間の時間差値を計算するように構成される。
いくつかの実施例では、決定モジュール４０４は、更に、前記時間差値が全てプリセット時間閾値以下であることに応えて、前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていると決定するように構成される。
いくつかの実施例では、廃棄モジュール４０９は、前記目標画像に対応する時間パラメータと前記解析対象画像群の内の他のいずれか１つの前記解析対象画像に対応する時間パラメータとの間の時間差値を計算するステップの後、前記目標画像に対応する時間パラメータと前記解析対象画像群の内の第１解析対象画像に対応する時間パラメータとの間の時間差値が前記プリセット時間閾値より大きいことに応えて、前記第１解析対象画像を廃棄するように構成され、前記第１解析対象画像は前記解析対象画像群の内の前記目標画像以外の他のいずれか１つの解析対象画像である。
いくつかの実施例では、選択モジュール４０２は、更に、前記第１解析対象画像の所属する第１画像キャッシュキューから、引き続き前記時間パラメータが最も前に順序付けされた第２解析対象画像を選択するように構成される。
いくつかの実施例では、更新モジュール４１０は、前記第２解析対象画像に基づいて前記解析対象画像群を更新し、引き続き更新後の解析対象画像群に基づいて前記目標画像の決定処理と前記プリセット同期条件の判断処理を実行するように構成される。
いくつかの実施例では、前処理モジュール４１１は、前記同期画像群における各前記解析対象画像を前処理して、プリセットモデル入力条件を満たした処理後の同期画像群を得るように構成される。
いくつかの実施例では、入力モジュール４１２は、前記処理後の同期画像群を目標アルゴリズムモデルに入力して画像解析処理を行うように構成される。
いくつかの実施例では、構築モジュール４０３は、更に、引き続き各前記画像キャッシュキューにおける時間パラメータが最も前に位置する１枚の解析対象画像に基づいて次の解析対象画像群を構築し、前記目標対象に対応する次の同期画像群の決定処理を実行するように構成される。
いくつかの実施例では、前記複数の画像収集装置が対向するように前記目標対象の複数の角度方向に設置され、１つの画像収集装置が１つの角度方向に設置される。
なお、以上の装置の実施例についての説明は、上記の方法の実施例の説明に類似し、方法の実施例に類似する有益な効果を有する。本開示の装置の実施例において開示されていない技術的詳細については、本開示の方法の実施例に対する説明を参照すれば理解可能である。
なお、本開示の実施例では、上記の画像同期方法はソフトウェア機能モジュールの形で実現され且つ独立した製品として販売又は使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本開示の実施例の技術的解決手段は実質的に又は従来技術に寄与する部分がソフトウェア製品の形で表すことができ、当該コンピュータソフトウェア製品は記憶媒体に記憶され、１台のコンピュータ機器（端末、サーバ等であってもよい）に本開示の各実施例に記載の方法の全て又は一部を実行させるための複数の命令を含む。前記記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。このように、本開示の実施例は、何らかの特定のハードウェアとソフトウェアの組み合せに限定されない。
対応的に、本開示の実施例は、更に、コンピュータ実行可能命令を含み、当該コンピュータ実行可能命令が実行されると、本開示の実施例に係る画像同期方法のステップを実現できるコンピュータプログラム製品を提供する。
本開示の実施例は、更に、コンピュータ実行可能命令が記憶されており、前記当該コンピュータ実行可能命令がプロセッサにより実行される時に上記実施例に係る画像同期方法のステップを実現するコンピュータ記憶媒体を提供する。
図５は本開示の実施例に係るコンピュータ機器の構成の模式図であり、図５に示すように、本開示の実施例に係るコンピュータ機器５００は、更に、プロセッサ５０１と、プロセッサ５０１によって実行可能な命令を記憶したメモリ５０２とを含んでもよく、更に、コンピュータ機器５００は、通信インターフェース５０３と、プロセッサ５０１、メモリ５０２及び通信インターフェース５０３を接続するためのバス５０４とを含んでもよい。
本開示の実施例では、上記プロセッサ５０１は、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理装置（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブルロジックデバイス（ＰｒｏｇＲＡＭｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、コントローラー、マイクロコントローラー、マイクロプロセッサのうちの少なくとも１種であってもよい。装置によっては、上記プロセッサ機能を実現するための電子機器は他のものであってもよく、本開示の実施例では具体的に限定されないことが理解される。コンピュータ機器５００は、プロセッサ５０１に接続可能で、コンピュータ操作命令を含む実行可能プログラムコードを記憶するメモリ５０２を更に含んでもよく、メモリ５０２は高速ＲＡＭメモリを含んでもよく、更に、非揮発性メモリ、例えば、少なくとも２つの磁気ディスクメモリを含んでもよい。
本開示の実施例では、バス５０４は、通信インターフェース５０３、プロセッサ５０１及びメモリ５０２を接続するように構成され、これらのデバイス間の相互通信を実現する。
本開示の実施例では、メモリ５０２は、命令とデータを記憶するように構成される。
更に、本開示の実施例では、上記プロセッサ５０１は、
複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各前記候補画像に対応する時間パラメータを取得するステップであって、各前記画像収集装置は前記複数組の候補画像のうちの１組の候補画像に対応し、各組の候補画像は少なくとも１つの前記候補画像を含むステップと、
前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択し、且つ複数の前記解析対象画像に基づいて解析対象画像群を構築するステップと、
前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップとを含む上記画像同期方法を実行するように構成される。
実際の応用では、上記メモリ５０２は、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）のような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、又は、例えば、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）又はソリッドステートディスク（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）のような非揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、又は、上記のようなメモリの組み合せであってもよく、プロセッサ５０１に命令とデータを提供する。
また、本実施例における各機能モジュールは、１つの推薦ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、二つ又は二つ以上で１つのユニットに統合されてもよい。上記統合されたユニットは、ハードウェアの形で実現されてもよく、又はソフトウェア機能モジュールの形で実現されてもよい。
統合されたユニットは、独立した製品として販売又は使用されず、ソフトウェア機能モジュールの形で実現される場合に、コンピュータ読み取り可能記憶媒体に記憶されてもよく、このような見解をもとに、本実施例の技術的解決手段は実質的に又は従来技術に寄与する部分またはこの技術的手段の全部又は一部がソフトウェア製品の形で表すことができ、当該コンピュータソフトウェア製品は１つの記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい）又はｐｒｏｃｅｓｓｏｒ（プロセッサ）に本実施例に記載の方法のステップの全部又は一部を実行させるための複数の命令を含む。上記の記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。
本開示の実施例は、複数の画像収集装置が目標対象に対して収集した複数組の候補画像及び各候補画像に対応する時間パラメータを取得することによって、時間パラメータが全てプリセット同期条件を満たしている同期画像群が決定されるまで、各画像収集装置が収集した１組の候補画像の内の１枚の候補画像に基づいて構築された解析対象画像群に対して時間パラメータに応じて同期判断を行うことができる画像同期装置を提供する。以上から分かるように、タイムスタンプに基づいて複数台のカメラのイメージフレームに対して同期判断を行うことによって、複数のカメラがアルゴリズムに出力する検出認識及び情報融合を行うためのイメージフレーム群は、同期したものであり、厳しいフレーム同期要求を満たしていることを確保する。
本開示の実施例は、プログラムが記憶されており、当該プログラムがプロセッサにより実行される時に上記の画像同期方法を実現するコンピュータ読み取り可能記憶媒体を提供する。
具体的には、本実施例における画像同期方法に対応するプログラム命令は、光ディスク、ハードディスク、ＵＳＢメモリ等の記憶媒体に記憶されてもよく、記憶媒体における画像同期方法に対応するプログラム命令が電子機器により読み取られ又は実行されるとき、上記画像同期方法を実現する。
対応的に、本開示の実施例は、更に、コンピュータ実行可能命令を含み、当該コンピュータ実行可能命令が本開示の実施例に係る画像処理方法のステップを実現するコンピュータプログラム製品を提供する。
当業者であれば、本開示の実施例が方法、システム又はコンピュータプログラム製品として提供されてもよいことを理解すべきである。従って、本開示は、ハードウェア実施例、ソフトウェア実施例又はソフトウェアとハードウェアを組み合わせた実施例の形態を採用してもよい。また、本開示は、コンピュータ利用可能なプログラムコードを含む１つ又は複数のコンピュータ利用可能な記憶媒体（ディスクメモリや光学的メモリ等を含むが、それらに限定されない）で実施されるコンピュータプログラム製品の形態を採用してもよい。
本開示は本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品の実現フローチャート及び／又はブロック図を参照して説明している。フローチャート及び／又はブロック図におけるそれぞれのフロー及び／又はブロック、並びに実現フローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせはコンピュータプログラム命令によって実現できることを理解すべきである。これらのコンピュータプログラム命令は、機械を製造するために、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラマブルデータ処理装置のプロセッサに提供されてもよく、それにより、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行される命令は、実現フローチャートにおける１つ又は複数のフロー及び／又はブロック図における１つ又は複数のブロックにおいて指定された機能を実現するための手段を創出する。
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置を特定の方式で動作させるように指導可能なコンピュータ読み取り可能メモリに記憶されてもよく、それによって当該コンピュータ読み取り可能メモリに記憶された命令は、実現フローチャートにおける１つ又は複数のフロー及び／又はブロック図における１つ又は複数のブロックにおいて指定された機能を実現する命令手段を含む製品を創出する。
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置にロードされることにより、コンピュータによって実現可能な処理を生成ために、コンピュータ又は他のプログラマブルデータ処理装置において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ又は他のプログラマブルデータ処理装置において実行される命令は、フローチャートの１つ又は複数のフロー及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能を実現するためのステップを提供する。
上記は本開示の好ましい実施例に過ぎず、本開示の保護範囲を限定する意図がない。

Claims (20)

  1. 複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各前記候補画像に対応する時間パラメータを取得するステップであって、各前記画像収集装置は前記複数組の候補画像のうちの１組の候補画像に対応し、各組の候補画像は少なくとも１つの前記候補画像を含むステップと、
    前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択し、且つ複数の前記解析対象画像に基づいて解析対象画像群を構築するステップと、
    前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップとを含むことを特徴とする画像同期方法。
  2. 前記複数の画像収集装置に同期に画像収集トリガ信号を送信するステップと、
    いずれか１つの前記画像収集装置が返信した、前記画像収集トリガ信号に応えて収集した前記候補画像を受信すると、前記候補画像に対応する前記時間パラメータを記録するステップと、
    前記時間パラメータの順序付けされた先後順序に応じて、前記候補画像と前記時間パラメータを対応関係にていずれか１つの画像キャッシュキューにキャッシュして、いずれか１組の候補画像を構築するステップであって、各前記画像収集装置は１つの画像キャッシュキューに対応するステップとを更に含むことを特徴とする請求項１に記載の方法。
  3. 前記複数の画像収集装置に同期に画像収集トリガ信号を送信するステップは、
    各前記画像収集装置に対応するプリセットフレーム周波数を取得し、且つ複数のプリセットフレーム周波数に基づいて信号発信周波数を決定するステップであって、前記信号発信周波数はいずれか１つの前記プリセットフレーム周波数以下であるステップと、
    前記信号発信周波数に応じてそれぞれ前記複数の画像収集装置に同期に前記画像収集トリガ信号を送信するステップとを含むことを特徴とする請求項２に記載の方法。
  4. 前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択するステップは、
    各前記画像キャッシュキューにキャッシュされた１組の候補画像から、それぞれ前記時間パラメータが最も前に順序付けされた１枚の候補画像を解析対象画像として選択して、前記複数の解析対象画像を得るステップを含むことを特徴とする請求項２に記載の方法。
  5. 複数の前記解析対象画像に基づいて解析対象画像群を構築するステップの後、且つ前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップの前に、前記方法は、
    前記解析対象画像群の内の前記時間パラメータが最も後に順序付けされた１枚の解析対象画像を前記目標画像と決定するステップと、
    前記目標画像に対応する時間パラメータと前記解析対象画像群の内の他のいずれか１つの前記解析対象画像に対応する時間パラメータとの間の時間差値を計算するステップと、
    前記時間差値が全てプリセット時間閾値以下であることに応えて、前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていると決定するステップとを更に含むことを特徴とする請求項４に記載の方法。
  6. 前記目標画像に対応する時間パラメータと前記解析対象画像群の内の他のいずれか１つの前記解析対象画像に対応する時間パラメータとの間の時間差値を計算するステップの後、前記方法は、
    前記目標画像に対応する時間パラメータと前記解析対象画像群の内の第１解析対象画像に対応する時間パラメータとの間の時間差値が前記プリセット時間閾値より大きいことに応えて、前記第１解析対象画像を廃棄するステップであって、前記第１解析対象画像は前記解析対象画像群の内の前記目標画像以外の他のいずれか１つの解析対象画像であるステップと、
    前記第１解析対象画像の所属する第１画像キャッシュキューから、引き続き前記時間パラメータが最も前に順序付けされた第２解析対象画像を選択するステップと、
    前記第２解析対象画像に基づいて前記解析対象画像群を更新し、引き続き更新後の解析対象画像群に基づいて前記目標画像の決定処理と前記プリセット同期条件の判断処理を実行するステップとを更に含むことを特徴とする請求項５に記載の方法。
  7. 前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップの後、前記方法は、
    前記同期画像群における各前記解析対象画像を前処理して、プリセットモデル入力条件を満たした処理済の同期画像群を得るステップと、
    前記処理済の同期画像群を目標アルゴリズムモデルに入力して画像解析処理を行うステップとを更に含むことを特徴とする請求項１～６のいずれか一項に記載の方法。
  8. 前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップの後、前記方法は、
    引き続き各前記画像キャッシュキューにおける時間パラメータが最も前に位置する１枚の解析対象画像に基づいて次の解析対象画像群を構築し、前記目標対象に対応する次の同期画像群の決定処理を実行するステップを更に含むことを特徴とする請求項２～６のいずれか一項に記載の方法。
  9. 前記複数の画像収集装置が対向するように前記目標対象の複数の角度方向に設置され、１つの画像収集装置が１つの角度方向に設置されることを特徴とする請求項１に記載の方法。
  10. メモリとプロセッサとを備え、前記メモリにプロセッサで実行可能なコンピュータプログラムが記憶されているコンピュータ機器において、
    前記プロセッサは、前記プログラムを実行すると、
    複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各前記候補画像に対応する時間パラメータを取得するステップであって、各前記画像収集装置は前記複数組の候補画像のうちの１組の候補画像に対応し、各組の候補画像は少なくとも１つの前記候補画像を含むステップと、
    前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択し、且つ複数の前記解析対象画像に基づいて解析対象画像群を構築するステップと、
    前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップとを実行するように構成されることを特徴とするコンピュータ機器。
  11. 前記プロセッサは、更に、
    前記複数の画像収集装置に同期に画像収集トリガ信号を送信するステップと、
    いずれか１つの前記画像収集装置が返信した、前記画像収集トリガ信号に応えて収集した前記候補画像を受信すると、前記候補画像に対応する前記時間パラメータを記録するステップと、
    前記時間パラメータの順序付けされた先後順序に応じて、前記候補画像と前記時間パラメータを対応関係にていずれか１つの画像キャッシュキューにキャッシュして、いずれか１組の候補画像を構築するステップであって、各前記画像収集装置は１つの画像キャッシュキューに対応するステップとを実行するように構成されることを特徴とする請求項１０に記載のコンピュータ機器。
  12. 前記複数の画像収集装置に同期に画像収集トリガ信号を送信するとき、前記プロセッサは、
    各前記画像収集装置に対応するプリセットフレーム周波数を取得し、且つ複数のプリセットフレーム周波数に基づいて信号発信周波数を決定するステップであって、前記信号発信周波数はいずれか１つの前記プリセットフレーム周波数以下であるステップと、
    前記信号発信周波数に応じてそれぞれ前記複数の画像収集装置に同期に前記画像収集トリガ信号を送信するステップとを実行するように構成されることを特徴とする請求項１１に記載のコンピュータ機器。
  13. 前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択するとき、前記プロセッサは、
    各前記画像キャッシュキューにキャッシュされた１組の候補画像から、それぞれ前記時間パラメータが最も前に順序付けされた１枚の候補画像を解析対象画像として選択して、前記複数の解析対象画像を得るステップを実行するように構成されることを特徴とする請求項１１に記載のコンピュータ機器。
  14. 複数の前記解析対象画像に基づいて解析対象画像群を構築した後、且つ前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定する前に、前記プロセッサは、更に、
    前記解析対象画像群の内の前記時間パラメータが最も後に順序付けされた１枚の解析対象画像を前記目標画像と決定するステップと、
    前記目標画像に対応する時間パラメータと前記解析対象画像群の内の他のいずれか１つの前記解析対象画像に対応する時間パラメータとの間の時間差値を計算するステップと、
    前記時間差値が全てプリセット時間閾値以下であることに応えて、前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていると決定するステップとを実行するように構成されることを特徴とする請求項１３に記載のコンピュータ機器。
  15. 前記目標画像に対応する時間パラメータと前記解析対象画像群の内の他のいずれか１つの前記解析対象画像に対応する時間パラメータとの間の時間差値を計算した後、前記プロセッサは、更に、
    前記目標画像に対応する時間パラメータと前記解析対象画像群の内の第１解析対象画像に対応する時間パラメータとの間の時間差値が前記プリセット時間閾値より大きいことに応えて、前記第１解析対象画像を廃棄するステップであって、前記第１解析対象画像は前記解析対象画像群の内の前記目標画像以外の他のいずれか１つの解析対象画像であるステップと、
    前記第１解析対象画像の所属する第１画像キャッシュキューから、引き続き前記時間パラメータが最も前に順序付けされた第２解析対象画像を選択するステップと、
    前記第２解析対象画像に基づいて前記解析対象画像群を更新し、引き続き更新後の解析対象画像群に基づいて前記目標画像の決定処理と前記プリセット同期条件の判断処理を実行するステップとを実行するように構成されることを特徴とする請求項１４に記載のコンピュータ機器。
  16. 前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定した後、前記プロセッサは、更に、
    前記同期画像群における各前記解析対象画像を前処理して、プリセットモデル入力条件を満たした処理済の同期画像群を得るステップと、
    前記処理済の同期画像群を目標アルゴリズムモデルに入力して画像解析処理を行うステップとを実行するように構成されることを特徴とする請求項１０～１５のいずれか一項に記載のコンピュータ機器。
  17. 前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定した後、前記プロセッサは、更に、
    引き続き各前記画像キャッシュキューにおける時間パラメータが最も前に位置する１枚の解析対象画像に基づいて次の解析対象画像群を構築し、前記目標対象に対応する次の同期画像群の決定処理を実行するステップを実行するように構成されることを特徴とする請求項１１～１５のいずれか一項に記載のコンピュータ機器。
  18. 前記複数の画像収集装置が対向するように前記目標対象の複数の角度方向に設置され、１つの画像収集装置が１つの角度方向に設置されることを特徴とする請求項１０に記載のコンピュータ機器。
  19. コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体において、当該コンピュータプログラムがプロセッサにより実行されると、
    複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各前記候補画像に対応する時間パラメータを取得するステップであって、各前記画像収集装置は前記複数組の候補画像のうちの１組の候補画像に対応し、各組の候補画像は少なくとも１つの前記候補画像を含むステップと、
    前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択し、且つ複数の前記解析対象画像に基づいて解析対象画像群を構築するステップと、
    前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップとを実行するように構成されることを特徴とする前記コンピュータ読み取り可能記憶媒体。
  20. 電子機器によって実行可能なコンピュータ命令を含むコンピュータプログラムにおいて、前記コンピュータ命令が前記電子機器におけるプロセッサにより実行されると、
    複数の画像収集装置が目標対象に対して収集した複数組の候補画像と各前記候補画像に対応する時間パラメータを取得するステップであって、各前記画像収集装置は前記複数組の候補画像のうちの１組の候補画像に対応し、各組の候補画像は少なくとも１つの前記候補画像を含むステップと、
    前記各組の候補画像からそれぞれ１つの前記候補画像を解析対象画像として選択し、且つ複数の前記解析対象画像に基づいて解析対象画像群を構築するステップと、
    前記解析対象画像の時間パラメータが全てプリセット同期条件を満たしていることに応えて、前記解析対象画像群を前記目標対象に対応する１つの同期画像群と決定するステップとを実行するように構成される前記コンピュータプログラム。
JP2021573271A 2021-09-16 2021-09-26 画像同期方法及び装置、機器並びにコンピュータ記憶媒体 Pending JP2023545222A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202110230T 2021-09-16
SG10202110230T 2021-09-16
PCT/IB2021/058759 WO2023041966A1 (en) 2021-09-16 2021-09-26 Image synchronization method and apparatus, and device and computer storage medium

Publications (1)

Publication Number Publication Date
JP2023545222A true JP2023545222A (ja) 2023-10-27

Family

ID=78686695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021573271A Pending JP2023545222A (ja) 2021-09-16 2021-09-26 画像同期方法及び装置、機器並びにコンピュータ記憶媒体

Country Status (5)

Country Link
US (1) US20230082766A1 (ja)
JP (1) JP2023545222A (ja)
KR (1) KR102585604B1 (ja)
CN (1) CN113728653A (ja)
AU (1) AU2021240231A1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209208A (ja) * 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
KR101750047B1 (ko) * 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
US10332089B1 (en) * 2015-03-31 2019-06-25 Amazon Technologies, Inc. Data synchronization system
JP2018007031A (ja) * 2016-07-01 2018-01-11 株式会社リコー 撮影システム、撮影装置及び撮影方法
US20180192033A1 (en) * 2016-12-30 2018-07-05 Google Inc. Multi-view scene flow stitching
US10699421B1 (en) * 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
JP2019050463A (ja) * 2017-09-08 2019-03-28 キヤノン株式会社 画像処理システム及び画像処理システムの制御方法
US10477076B1 (en) * 2018-09-14 2019-11-12 Gopro, Inc. Systems and methods for synchronizing visual content
CN109862384A (zh) * 2019-03-13 2019-06-07 北京河马能量体育科技有限公司 一种音视频自动同步方法及同步系统

Also Published As

Publication number Publication date
CN113728653A (zh) 2021-11-30
AU2021240231A1 (en) 2023-03-30
KR102585604B1 (ko) 2023-10-05
KR20220007172A (ko) 2022-01-18
US20230082766A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
JP7472362B2 (ja) 受信方法、端末及びプログラム
US9699432B2 (en) Information processing apparatus, information processing method, and data structure of position information
CN109218619A (zh) 图像获取方法、装置和系统
CN112153306B (zh) 图像采集系统、方法、装置、电子设备及可穿戴设备
CN112449152B (zh) 多路视频同步的方法、系统及设备
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
CN111047622B (zh) 视频中对象的匹配方法和装置、存储介质及电子装置
CN111105434A (zh) 运动轨迹合成方法及电子设备
CN110514198B (zh) 一种基于计算机视觉技术的前后端架构地图定位方法
CN112887666B (zh) 视频处理方法和装置、网络摄像头和服务器及存储介质
US11258939B2 (en) System, method and apparatus for networking independent synchronized generation of a series of images
JP2023545222A (ja) 画像同期方法及び装置、機器並びにコンピュータ記憶媒体
JP2019086365A (ja) 位置推定システム
CN115103204B (zh) 一种支持ai引擎的边缘智能应用实现方法及装置
CN110222206A (zh) 一种客户端、服务器及图像识别系统
CN111008611B (zh) 排队时长的确定方法及装置、存储介质、电子装置
CN108206940B (zh) 视频串流的接合与传输方法、网关装置及观看装置
US20200218700A1 (en) Image synchronized storage method and image processing device
WO2023041966A1 (en) Image synchronization method and apparatus, and device and computer storage medium
CN113469130A (zh) 一种遮挡目标检测方法、装置、存储介质及电子装置
CN114844585A (zh) 一种数据同步的方法、系统及相关设备
CN115334322B (zh) 视频帧同步方法、终端、服务器、电子设备及存储介质
CN111953898B (zh) 监控视频录制与传输方法及系统
CN114389697B (zh) 基于光纤通信组网的阵列光场相机系统及其ai分析方法
CN115410241A (zh) 对象识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416