JP7252352B2 - 転送制御装置、システム、転送制御方法およびプログラム - Google Patents

転送制御装置、システム、転送制御方法およびプログラム Download PDF

Info

Publication number
JP7252352B2
JP7252352B2 JP2021541373A JP2021541373A JP7252352B2 JP 7252352 B2 JP7252352 B2 JP 7252352B2 JP 2021541373 A JP2021541373 A JP 2021541373A JP 2021541373 A JP2021541373 A JP 2021541373A JP 7252352 B2 JP7252352 B2 JP 7252352B2
Authority
JP
Japan
Prior art keywords
image
difference area
transfer control
area
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021541373A
Other languages
English (en)
Other versions
JPWO2021033252A1 (ja
JPWO2021033252A5 (ja
Inventor
洋輔 栗原
宏昌 長沼
正和 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2021033252A1 publication Critical patent/JPWO2021033252A1/ja
Publication of JPWO2021033252A5 publication Critical patent/JPWO2021033252A5/ja
Application granted granted Critical
Publication of JP7252352B2 publication Critical patent/JP7252352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、転送制御装置、システム、転送制御方法およびプログラムに関する。
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置、例えばフレーム型ビジョンセンサと組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。
そこで、本発明は、イベント駆動型のビジョンセンサをフレーム型ビジョンセンサと組み合わせて用いることによって有利な効果を得ることができる転送制御装置、システム、転送制御方法およびプログラムを提供することを目的とする。
本発明のある観点によれば、同期的なスキャンによって連続的に撮像される第１および第２の画像について、第１および第２の画像の１または複数のピクセルにおいて第１の画像の撮像から第２の画像の撮像までの間に発生した光の強度変化を示すイベント信号に基づいて第２の画像の差分領域を特定する差分領域特定部と、第２の画像について、差分領域と差分領域以外の領域とでそれぞれ異なるデータ転送を実行する転送制御部とを備える転送制御装置が提供される。
本発明の別の観点によれば、同期的なスキャンによって撮像された第１の画像と、第１の画像よりも後に同期的なスキャンによって撮像された撮像された第２の画像とについて、第２の画像の第１の画像に対する差分領域のデータとを受信するデータ受信部と、第１の画像の全体のデータと差分領域のデータとに基づいて第２の画像の全体を復元する画像復元部とを備える画像処理装置
本発明のさらに別の観点によれば、同期的なスキャンによって連続的に撮像される第１および第２の画像について、第１および第２の画像の１または複数のピクセルにおいて第１の画像の撮像から第２の画像の撮像までの間に発生した光の強度変化に応じて生成されたイベント信号に基づいて第２の画像の差分領域を特定するステップと、第２の画像について、差分領域と差分領域以外の領域とでそれぞれ異なるデータ転送を実行するステップとを含む転送制御方法が提供される。
本発明のさらに別の観点によれば、同期的なスキャンによって連続的に撮像される第１および第２の画像について、第１および第２の画像の１または複数のピクセルにおいて第１の画像の撮像から第２の画像の撮像までの間に発生した光の強度変化に応じて生成されたイベント信号に基づいて第２の画像の差分領域を特定する機能と、第２の画像について、差分領域と差分領域以外の領域とでそれぞれ異なるデータ転送を実行する機能とをコンピュータに実現させるためのプログラムが提供される。
本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の一実施形態におけるカメラ・センサ間のキャリブレーションについて概略的に説明するための図である。 本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。 本発明の一実施形態における転送制御および画像復元の例について説明するための図である。 本発明の一実施形態に係る転送制御方法の例を示すフローチャートである。
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図１は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。図１に示されるように、システム１０は、ＲＧＢカメラ１００と、ＥＤＳ（Event Driven Sensor）２００と、転送制御装置３００と、画像処理装置４００とを含む。
ＲＧＢカメラ１００は、同期的なスキャンによって画像を撮像する第１のビジョンセンサの例であり、イメージセンサ１１０と、イメージセンサ１１０に接続される処理回路１２０とを含む。イメージセンサ１１０は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像１０１を撮像する。本実施形態において、ＲＧＢ画像１０１は、所定のフレームレートで連続的に撮像される画像、具体的には例えば動画像を構成する一連のフレーム画像であってもよい。処理回路１２０は、例えばＲＧＢ画像１０１を保存および伝送に適した形式に変換する。また、処理回路１２０は、ＲＧＢ画像１０１にタイムスタンプ１０２を与える。
ＥＤＳ２００は、センサが光の強度変化を検出したときにイベント信号を生成する第２のビジョンセンサの例であり、センサアレイを構成するセンサ２１０と、センサ２１０に接続される処理回路２２０とを含む。センサ２１０は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号２０１を生成する。入射する光の強度変化を検出しなかったセンサ２１０はイベント信号２０１を生成しないため、ＥＤＳ２００においてイベント信号２０１は時間非同期的に生成される。処理回路２２０を経て出力されるイベント信号２０１は、センサ２１０の識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプ２０２とを含む。
ここで、本実施形態において、ＲＧＢ画像１０１に与えられるタイムスタンプ１０２と、イベント信号２０１に与えられるタイムスタンプ２０２とは同期している。具体的には、例えば、ＥＤＳ２００でタイムスタンプ２０２を生成するために用いられる時刻情報をＲＧＢカメラ１００に提供することによって、タイムスタンプ１０２をタイムスタンプ２０２に同期させることができる。あるいは、タイムスタンプ１０２，２０２を生成するための時刻情報がＲＧＢカメラ１００とＥＤＳ２００とでそれぞれ独立している場合、特定のイベント（例えば、画像全体にわたる被写体の変化）が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にタイムスタンプ１０２とタイムスタンプ２０２とを同期させることができる。
また、本実施形態では、事前に実行されるＲＧＢカメラ１００とＥＤＳ２００とのキャリブレーション手順によって、ＥＤＳ２００のセンサ２１０がＲＧＢ画像１０１の１または複数のピクセルに対応付けられ、イベント信号２０１はＲＧＢ画像１０１の１または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、図２に示すようにＲＧＢカメラ１００とＥＤＳ２００とで共通の校正パターン２１を撮像し（ＥＤＳ２００の場合、例えば光源２２を用いて校正パターン２１の領域全体を明滅させることによって校正パターンを撮像できる）、ＲＧＢカメラ１００およびＥＤＳ２００のぞれぞれの内部パラメータおよび外部パラメータからカメラ・センサ間の対応パラメータを算出することによって、ＲＧＢ画像１０１の１または複数のピクセルにセンサ２１０を対応付けることができる。
図３は、本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。図示された例では、ＲＧＢカメラ１００で撮像されたＲＧＢ画像１０１と、ＲＧＢ画像１０１のスキャンに対応する時間にＥＤＳ２００から出力されたイベント信号２０１をピクセルの位置に配置したものとが示されている。上記で図２を参照して説明したようなカメラ・センサ間の対応パラメータを予め算出しておくことによって、図３に示されるようにイベント信号２０１の座標系をＲＧＢ画像１０１の座標系に変換し、ＲＧＢ画像１０１にイベント信号２０１を重ね合わせることが可能になる。
再び図１を参照して、転送制御装置３００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される差分領域特定部３１０および転送制御部３２０の機能を含む。以下、各部の機能についてさらに説明する。
差分領域特定部３１０は、イベント信号２０１に基づいて、ＲＧＢ画像１０１の差分領域を特定する。本実施形態において、ＲＧＢ画像１０１は、連続的に撮像される少なくとも２つの画像（第１および第２の画像）を含む。差分領域特定部３１０は、これらの画像の撮像の間に画像の１または複数のピクセルにおいて発生した光の強度変化を示すイベント信号２０１に基づいて、後に撮像された画像（第２の画像）において、先に撮像された画像（第１の画像）との差分領域を特定する。画像の撮像の間の時間は、タイムスタンプ２０２を用いて、例えば第１の画像を撮像するスキャンの開始から第２の画像を撮像するスキャンの開始までの時間として特定することができる。例えば、差分領域特定部３１０は、２つの画像の撮像の間に光の強度変化が発生したピクセル領域を差分領域として特定する。このとき、差分領域特定部３１０は、差分領域の大きさに下限値を設定することによって、ノイズによって輝点状の差分領域が生成されるのを防止してもよい。
転送制御部３２０は、差分領域特定部３１０が特定した差分領域を利用してＲＧＢ画像１０１のデータ転送を実行する。より具体的には、転送制御部３２０は、時系列で後に撮像されたＲＧＢ画像１０１（第２の画像）の差分領域と差分領域以外の領域とでそれぞれ異なるデータ転送を実行する。ここで、２つの領域でそれぞれ異なるデータ転送を実行することは、一方の領域でデータ転送を実行し、他方の領域ではデータ転送を実行しないことを含む。つまり、転送制御部３２０は、第２の画像の差分領域ではデータ転送を実行し、差分領域以外の領域ではデータ転送を実行しなくてもよい。あるいは、転送制御部３２０は、第２の画像の差分領域では第１の形式でデータ転送を実行し、差分領域以外の領域では第１の形式よりも圧縮率が高い第２の形式でデータ転送を実行してもよい。
本実施形態では、転送制御装置３００において、差分領域特定部３１０がイベント信号２０１に基づいて特定した差分領域のみについてデータ転送が実行されるか、または差分領域のみ圧縮率の低い形式でデータ転送が実行される。従って、例えば画像の一部で被写体の動きが発生したような場合に、時系列で後に撮像されたＲＧＢ画像１０１（第２の画像）のデータ転送量を削減することができる。先に撮像された画像を利用して後に撮像された画像のデータ転送量を削減する技術としては、例えば前後の画像を比較して動きベクトルを算出する技術が知られているが、本実施形態ではイベント信号２０１によって光の強度変化が発生したピクセル領域が差分領域として特定されるため、動きベクトルを算出する場合に比べて演算量が少なく、簡単な処理でデータ転送量を削減することができる。
なお、本実施形態では転送制御装置３００が外部装置である画像処理装置４００への転送データ３２１の転送を実行するが、他の例では転送制御装置が装置内のメモリへのデータ転送を実行してもよい。外部装置へのデータ転送では転送量を削減することによって通信を高速化できるのに対し、装置内へのメモリへのデータ転送では転送量を削減することによってメモリ容量を節約することができる。
画像処理装置４００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現されるデータ受信部４１０および画像復元部４２０の機能を含む。以下、各部の機能についてさらに説明する。
データ受信部４１０は、転送制御装置３００から転送データ３２１を受信する。本実施形態において、転送データ３２１は、時系列で先に撮像されたＲＧＢ画像１０１（第１の画像）の全体のデータと、時系列で後に撮像されたＲＧＢ画像１０１（第２の画像）の差分領域の第１の画像に対する差分領域のデータとを含む。ここで、上述のように転送制御部３２０が差分領域ではデータ転送を実行し差分領域以外の領域ではデータ転送を実行しない場合、転送データ３２１は第２の画像については差分領域のデータのみを含む。また、転送制御部３２０が差分領域のみ圧縮率の低い形式でデータ転送を実行する場合、転送データ３２１は第１の画像の全体および第２の画像の差分領域については低圧縮率のデータを含み、第２の画像の差分領域以外の領域については高圧縮率のデータを含む。
画像復元部４２０は、データ受信部４１０が受信した転送データ３２１に基づいて、差分領域のデータが転送されたＲＧＢ画像１０１（第２の画像）の全体を復元して出力画像４２１を得る。例えば、転送データ３２１が第２の画像について差分領域のデータのみを含む場合、画像復元部４２０は、先に全体のデータが転送されたＲＧＢ画像１０１（第１の画像）に差分領域のデータを上書きすることによって第２の画像を復元する。また、例えば、転送データ３２１が第１の画像の全体および第２の画像の差分領域については低圧縮率のデータを含み、第２の画像の差分領域以外の領域については高圧縮率のデータを含む場合、画像復元部４２０は、第１の画像のデータに差分領域のデータを上書きすることによって全体が低圧縮率の第２の画像を復元する。ここで、先に転送されたＲＧＢ画像１０１（第１の画像）のデータは、キャッシュ画像４１１として画像処理装置４００のメモリに格納されていてもよい。
本実施形態では、画像処理装置４００において、画像復元部４２０が第１の画像の全体のデータと第２の画像の差分領域のデータとに基づいて第２の画像の全体を復元する。第２の画像の復元の処理は、例えば上述したようなデータの上書きであり得るため、例えば上述のように動きベクトルを算出する場合に比べて演算量が少なく、簡単な処理で第２の画像の全体を復元することができる。
図４は、本発明の一実施形態における転送制御および画像復元の例について説明するための図である。図４に示された例では、転送制御装置３００において、差分領域特定部３１０がイベント信号２０１に基づいてＲＧＢ画像１０１Ｂ（上記の第２の画像）の差分領域ＲＤＩＦＦを特定する。図示された例では、転送制御部３２０が、第２の画像については差分領域ＲＤＩＦＦのデータのみが転送データ３２１として画像処理装置４００に転送される。画像処理装置４００では、データ受信部４１０が転送データ３２１を受信し、画像復元部４２０が転送データ３２１に含まれる差分領域ＲＤＩＦＦのデータと、先に転送された前回のＲＧＢ画像１０１Ａ（上記の第１の画像）とに基づいて、ＲＧＢ画像１０１Ｂ（第２の画像）の全体を復元する。
図５は、本発明の一実施形態に係る転送制御方法の例を示すフローチャートである。図示された例では、ＲＧＢカメラ１００がＲＧＢ画像１０１を撮像し（ステップＳ１０１）、それと同時にＥＤＳ２００がイベント信号２０１を生成する（ステップＳ１０２）。なお、イベント信号２０１を生成するステップＳ１０２は、ＲＧＢ画像１０１の１または複数のピクセルに対応付けられるセンサ２１０が光の強度変化を検出した場合にのみ実行される。ＲＧＢ画像１０１にはタイムスタンプ１０２が与えられ（ステップＳ１０３）、イベント信号にはタイムスタンプ２０２が与えられる（ステップＳ１０４）。
次に、転送制御装置３００での処理が実行される。まず、差分領域特定部３１０が、イベント信号２０１に基づいて、ＲＧＢ画像１０１について、時系列で先に撮像された前の画像（第１の画像）と、処理対象になっている現在の画像（第２の画像）との差分領域を特定する（ステップＳ１０５）。次に、転送制御部３２０が、差分領域のデータを転送する（ステップＳ１０６）。図示された例では、転送データ３２１が画像処理装置４００に転送され、画像処理装置４００で画像復元部４２０が第１の画像の全体のデータと第２の画像の差分領域のデータとに基づいてＲＧＢ画像１０１（第２の画像）の全体を復元する（ステップＳ１０７）。ＲＧＢ画像１０１が動画像を構成する一連のフレーム画像である場合、次のフレームのＲＧＢ画像１０１があれば上記のステップＳ１０５～Ｓ１０７の処理を繰り返す（ステップＳ１０１～Ｓ１０４の処理も繰り返されるが、必ずしもステップＳ１０５～Ｓ１０７と同じ周期でなくてもよい）ことによって（ステップＳ１０８）、動画像のデータ転送量を効果的に削減することができる。このとき、あるフレームで復元された第２の画像は、次のフレームの画像を復元するときには第１の画像として利用される。
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１０…システム、１００…ＲＧＢカメラ、１０１，１０１Ａ，１０１Ｂ…ＲＧＢ画像、１０２…タイムスタンプ、１１０…イメージセンサ、１２０…処理回路、２０１…イベント信号、２０２…タイムスタンプ、２１０…センサ、２２０…処理回路、３００…転送制御装置、３１０…差分領域特定部、３２０…転送制御部、３２１…転送データ、４００…画像処理装置、４１０…データ受信部、４１１…キャッシュ画像、４２０…画像復元部、４２１…出力画像、ＲＤＩＦＦ…差分領域。

Claims (9)

  1. 同期的なスキャンによって連続的に撮像される第１および第２の画像について、前記第１および第２の画像の１または複数のピクセルにおいて発生した光の強度変化を示すイベント信号に基づいて、前記第１の画像の撮像から前記第２の画像の撮像までの間に光の強度変化が発生したピクセル領域を前記第２の画像の差分領域として特定する差分領域特定部と、
    前記第２の画像について、前記差分領域と前記差分領域以外の領域とでそれぞれ異なるデータ転送を実行する転送制御部と
    を備える転送制御装置。
  2. 前記転送制御部は、前記第２の画像について、前記差分領域ではデータ転送を実行し、前記差分領域以外の領域ではデータ転送を実行しない、請求項１に記載の転送制御装置。
  3. 前記転送制御部は、前記第２の画像について、前記差分領域では第１の形式でデータ転送を実行し、前記差分領域以外の領域では前記第１の形式よりも圧縮率が高い第２の形式でデータ転送を実行する、請求項１に記載の転送制御装置。
  4. 前記転送制御部は、外部装置へのデータ転送を実行する、請求項１から請求項３のいずれか１項に記載の転送制御装置。
  5. 前記転送制御部は、装置内のメモリへのデータ転送を実行する、請求項１から請求項３のいずれか１項に記載の転送制御装置。
  6. 前記差分領域特定部は、前記差分領域の大きさに下限値を設定する、請求項１から請求項５のいずれか１項に記載の転送制御装置。
  7. 転送制御装置および画像処理装置を含むシステムであって、
    前記転送制御装置は、
    同期的なスキャンによって連続的に撮像される第１および第２の画像について、前記第１および第２の画像の１または複数のピクセルにおいて発生した光の強度変化を示すイベント信号に基づいて、前記第１の画像の撮像から前記第２の画像の撮像までの間に光の強度変化が発生したピクセル領域を前記第２の画像の差分領域として特定する差分領域特定部と、
    前記第２の画像について、前記差分領域と前記差分領域以外の領域とでそれぞれ異なるデータ転送を実行する転送制御部とを備え、
    前記画像処理装置は、
    前記第２の画像の前記第１の画像に対する差分領域のデータを受信するデータ受信部と、
    前記第１の画像の全体のデータと前記差分領域のデータとに基づいて前記第２の画像の全体を復元する画像復元部と
    を備えるシステム。
  8. 同期的なスキャンによって連続的に撮像される第１および第２の画像について、前記第１および第２の画像の１または複数のピクセルにおいて発生した光の強度変化を示すイベント信号に基づいて、前記第１の画像の撮像から前記第２の画像の撮像までの間に光の強度変化が発生したピクセル領域を前記第２の画像の差分領域として特定するステップと、
    前記第２の画像について、前記差分領域と前記差分領域以外の領域とでそれぞれ異なるデータ転送を実行するステップと
    を含む転送制御方法。
  9. 同期的なスキャンによって連続的に撮像される第１および第２の画像について、前記第１および第２の画像の１または複数のピクセルにおいて発生した光の強度変化を示すイベント信号に基づいて、前記第１の画像の撮像から前記第２の画像の撮像までの間に光の強度変化が発生したピクセル領域を前記第２の画像の差分領域として特定する機能と、
    前記第２の画像について、前記差分領域と前記差分領域以外の領域とでそれぞれ異なるデータ転送を実行する機能と
    をコンピュータに実現させるためのプログラム。
JP2021541373A 2019-08-20 2019-08-20 転送制御装置、システム、転送制御方法およびプログラム Active JP7252352B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032344 WO2021033252A1 (ja) 2019-08-20 2019-08-20 転送制御装置、画像処理装置、転送制御方法およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021033252A1 JPWO2021033252A1 (ja) 2021-02-25
JPWO2021033252A5 JPWO2021033252A5 (ja) 2022-04-08
JP7252352B2 true JP7252352B2 (ja) 2023-04-04

Family

ID=74660608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021541373A Active JP7252352B2 (ja) 2019-08-20 2019-08-20 転送制御装置、システム、転送制御方法およびプログラム

Country Status (3)

Country Link
US (1) US11910110B2 (ja)
JP (1) JP7252352B2 (ja)
WO (1) WO2021033252A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013078030A (ja) 2011-09-30 2013-04-25 Panasonic Corp 画像送信装置
US20180098082A1 (en) 2016-09-30 2018-04-05 Intel Corporation Motion estimation using hybrid video imaging system
JP2019062267A (ja) 2017-09-25 2019-04-18 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4437514B2 (ja) * 2000-06-27 2010-03-24 ソニー株式会社 画像伝送システム
US10178396B2 (en) * 2009-09-04 2019-01-08 Stmicroelectronics International N.V. Object tracking
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013078030A (ja) 2011-09-30 2013-04-25 Panasonic Corp 画像送信装置
US20180098082A1 (en) 2016-09-30 2018-04-05 Intel Corporation Motion estimation using hybrid video imaging system
JP2019062267A (ja) 2017-09-25 2019-04-18 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Also Published As

Publication number Publication date
WO2021033252A1 (ja) 2021-02-25
US20220329743A1 (en) 2022-10-13
JPWO2021033252A1 (ja) 2021-02-25
US11910110B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
US7304681B2 (en) Method and apparatus for continuous focus and exposure in a digital imaging device
JP2019134269A (ja) 画像処理装置、画像処理方法およびプログラム
CN101321301A (zh) 摄像机阵列同步视频采集处理系统
JP2007281555A (ja) 撮像装置
JP2009123081A (ja) 顔検出方法及び撮影装置
JP5955170B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP7252352B2 (ja) 転送制御装置、システム、転送制御方法およびプログラム
US7835552B2 (en) Image capturing apparatus and face area extraction method
WO2022107647A1 (ja) 情報処理装置、システム、情報処理方法および情報処理プログラム
JP7197715B2 (ja) 画像処理装置、システム、画像処理方法およびプログラム
US20080043138A1 (en) Digital image forming device and a digital image forming method used thereon
KR20160035473A (ko) 스테레오 카메라 및 그 작동 방법
JP6543214B2 (ja) 動き監視装置
JP7191236B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2001023055A (ja) 火炎検出装置および火炎検出方法
CN103369230A (zh) 一种进行拍摄的方法和移动终端
CN103489149B (zh) 一种图像获取的方法及一种电子设备
JPH1091790A (ja) 三次元形状抽出方法及び装置並びに記憶媒体
JP2009296268A (ja) 情報処理装置及び情報処理方法
US20230336682A1 (en) Image processing apparatus, method of controlling image processing apparatus, and program storage
JP2008058279A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
WO2023188184A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2023188183A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
JP5977526B2 (ja) 画像処理装置及び画像処理方法
JPWO2021033252A5 (ja) 転送制御装置、システム、転送制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230323

R150 Certificate of patent or registration of utility model

Ref document number: 7252352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150