JP7191236B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP7191236B2
JP7191236B2 JP2021541372A JP2021541372A JP7191236B2 JP 7191236 B2 JP7191236 B2 JP 7191236B2 JP 2021541372 A JP2021541372 A JP 2021541372A JP 2021541372 A JP2021541372 A JP 2021541372A JP 7191236 B2 JP7191236 B2 JP 7191236B2
Authority
JP
Japan
Prior art keywords
image
region
image processing
area
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021541372A
Other languages
English (en)
Other versions
JPWO2021033251A5 (ja
JPWO2021033251A1 (ja
Inventor
正和 林
宏昌 長沼
洋輔 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2021033251A1 publication Critical patent/JPWO2021033251A1/ja
Publication of JPWO2021033251A5 publication Critical patent/JPWO2021033251A5/ja
Application granted granted Critical
Publication of JP7191236B2 publication Critical patent/JP7191236B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置、例えばフレーム型ビジョンセンサと組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。
そこで、本発明は、イベント駆動型のビジョンセンサをフレーム型ビジョンセンサと組み合わせて用いることによって有利な効果を得ることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
本発明のある観点によれば、同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する領域特定部と、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行する画像処理部とを備える画像処理装置が提供される。
本発明の別の観点によれば、同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定するステップと、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行するステップとを含む画像処理方法が提供される。
本発明のさらに別の観点によれば、同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号に基づいて、画像において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する機能と、画像において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行する機能とをコンピュータに実現させるためのプログラムが提供される。
本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の一実施形態におけるカメラ・センサ間のキャリブレーションについて概略的に説明するための図である。 本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。 本発明の一実施形態における領域の特定および画像処理の例について説明するための図である。 本発明の一実施形態における領域の特定および画像処理の例について説明するための図である。 本発明の一実施形態に係る画像処理方法の例を示すフローチャートである。
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図１は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。図１に示されるように、システム１０は、ＲＧＢカメラ１００と、ＥＤＳ（Event Driven Sensor）２００と、画像処理装置３００とを含む。
ＲＧＢカメラ１００は、同期的なスキャンによって画像を撮像する第１のビジョンセンサの例であり、イメージセンサ１１０と、イメージセンサ１１０に接続される処理回路１２０とを含む。イメージセンサ１１０は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像１０１を撮像する。本実施形態において、ＲＧＢ画像１０１は、所定のフレームレートで連続的に撮像されて動画像を構成する複数のフレーム画像を含む。処理回路１２０は、例えばＲＧＢ画像１０１を保存および伝送に適した形式に変換する。また、処理回路１２０は、ＲＧＢ画像１０１にタイムスタンプ１０２を与える。
ＥＤＳ２００は、センサが光の強度変化を検出したときにイベント信号を生成する第２のビジョンセンサの例であり、センサアレイを構成するセンサ２１０と、センサ２１０に接続される処理回路２２０とを含む。センサ２１０は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号２０１を生成する。入射する光の強度変化を検出しなかったセンサ２１０はイベント信号２０１を生成しないため、ＥＤＳ２００においてイベント信号２０１は時間非同期的に生成される。処理回路２２０を経て出力されるイベント信号２０１は、センサ２１０の識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプ２０２とを含む。
ここで、本実施形態において、ＲＧＢ画像１０１に与えられるタイムスタンプ１０２と、イベント信号２０１に与えられるタイムスタンプ２０２とは同期している。具体的には、例えば、ＥＤＳ２００でタイムスタンプ２０２を生成するために用いられる時刻情報をＲＧＢカメラ１００に提供することによって、タイムスタンプ１０２をタイムスタンプ２０２に同期させることができる。あるいは、タイムスタンプ１０２，２０２を生成するための時刻情報がＲＧＢカメラ１００とＥＤＳ２００とでそれぞれ独立している場合、特定のイベント（例えば、画像全体にわたる被写体の変化）が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にタイムスタンプ１０２とタイムスタンプ２０２とを同期させることができる。
また、本実施形態では、事前に実行されるＲＧＢカメラ１００とＥＤＳ２００とのキャリブレーション手順によって、ＥＤＳ２００のセンサ２１０がＲＧＢ画像１０１の１または複数のピクセルに対応付けられ、イベント信号２０１はＲＧＢ画像１０１の１または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、図２に示すようにＲＧＢカメラ１００とＥＤＳ２００とで共通の校正パターン２１を撮像し（ＥＤＳ２００の場合、例えば光源２２を用いて校正パターン２１の領域全体を明滅させることによって校正パターンを撮像できる）、ＲＧＢカメラ１００およびＥＤＳ２００のぞれぞれの内部パラメータおよび外部パラメータからカメラ・センサ間の対応パラメータを算出することによって、ＲＧＢ画像１０１の１または複数のピクセルにセンサ２１０を対応付けることができる。
図３は、本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。図示された例では、ＲＧＢカメラ１００で撮像されたＲＧＢ画像１０１と、ＲＧＢ画像１０１のスキャンに対応する時間にＥＤＳ２００から出力されたイベント信号２０１をピクセルの位置に配置したものとが示されている。上記で図２を参照して説明したようなカメラ・センサ間の対応パラメータを予め算出しておくことによって、図３に示されるようにイベント信号２０１の座標系をＲＧＢ画像１０１の座標系に変換し、ＲＧＢ画像１０１にイベント信号２０１を重ね合わせることが可能になる。
再び図１を参照して、画像処理装置３００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される領域特定部３１０および画像処理部３２０の機能を含む。以下、各部の機能についてさらに説明する。
領域特定部３１０は、イベント信号２０１に基づいて、ＲＧＢ画像１０１において被写体に第１の動きが発生している第１の領域と、被写体に第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する。ＲＧＢ画像１０１の被写体に動きが発生した場合、例えば被写体のエッジ部分で発生する光の強度変化、具体的には輝度変化がイベント信号２０１によって検出される結果、ＲＧＢ画像１０１において被写体そのものを認識しなくても、イベント信号２０１に基づいて被写体の動きが発生した領域を特定することができる。さらに、領域特定部３１０は、例えばイベント信号２０１によって示される輝度変化の時系列での位置変化から、それぞれの領域における被写体の動き方向も特定することができる。上述のように、本実施形態においてＲＧＢ画像１０１は動画像を構成する複数のフレーム画像であるため、領域特定部３１０は複数のフレーム画像のそれぞれにおいて第１の領域および第２の領域を特定してもよい。
画像処理部３２０は、ＲＧＢ画像１０１において、第１の領域および第２の領域に対してそれぞれ異なる画像処理を実行して出力画像３２１を得る。このとき、画像処理部３２０は、ＲＧＢ画像１０１のタイムスタンプ１０２およびイベント信号２０１のタイムスタンプ２０２に基づいて、領域特定部３１０が特定した第１の領域および第２の領域とＲＧＢ画像１０１とを対応付けることができる。画像処理部３２０が実行する画像処理の内容については特に限定されないが、例えば、画像処理部３２０は、ＲＧＢ画像１０１において第１の領域のみをマーキングするか、または被写体にそれぞれ異なる動きが発生している第１の領域および第２の領域をそれぞれ異なる態様でマーキングしてもよい。あるいは、画像処理部３２０は、ＲＧＢ画像１０１において被写体が実質的に動いていない第２の領域（例えば背景領域）をマスクしてもよい。あるいは、被写体が実質的に動いていない第２の領域が特定される場合、画像処理部３２０は、ＲＧＢ画像１０１によって構成される複数のフレーム画像のそれぞれにおいて、第１の領域を前後のフレーム画像で特定された第２の領域を用いて上書きすることによって、第１の領域にある動く被写体を隠してもよい。画像処理部３２０が第１および第２の領域についてそれぞれ異なる画像処理を実行することは、例えば第１の領域または第２の領域のいずれか一方の領域について画像処理を実行し、他方の領域をそのまま出力することを含む。
図４および図５は、本発明の一実施形態における領域の特定および画像処理の例について説明するための図である。図４に示された例において、領域特定部３１０は、時系列のイベント信号２０１から、被写体の動きが発生している領域Ｒ１と、被写体が実質的に動いていない領域Ｒ２とを特定する。例えば、領域特定部３１０は、時系列のイベント信号２０１から特定されるオプティカルフローＦの大きさが所定の閾値以上である領域Ｒ１を抽出し、残った領域を領域Ｒ２とする。
他の例において、領域特定部３１０は、抽出された領域Ｒ１をオプティカルフローＦによって示される動きの方向および大きさに応じて区分することによって、それぞれ異なる被写体の動きが発生している複数の領域を特定してもよい。オプティカルフローＦは、被写体の動き方向を示す情報の例である。被写体の動き方向が特定されることによって、ＲＧＢ画像１０１によって構成される複数のフレーム画像において例えば領域Ｒ１に対応する被写体を継続的に追跡（トラッキング）することができる。
一方、図５に示された例のように、画像処理部３２０は、領域特定部３１０によって特定された領域Ｒ１，Ｒ２を、図３を参照して説明したような画像とイベント信号とのマッチング手順によってＲＧＢ画像１０１に重ね合わせることができる。図示された例では、画像処理部３２０は、ＲＧＢ画像１０１において実質的に動いていない領域Ｒ２（背景領域）をマスクすることによって、被写体の動きが発生している領域Ｒ１を切り出した出力画像３２１を得る。
他の例では、領域Ｒ２のマスクに代えて、または領域Ｒ２のマスクとともに、画像処理部３２０が領域Ｒ１をマーキングしてもよい。領域特定部３１０によってそれぞれ異なる被写体の動きが発生している複数の領域が特定された場合、画像処理部３２０は複数の領域をそれぞれ異なる態様でマーキングしてもよい。例えば上記の例のオプティカルフローＦによって各領域の被写体の動き方向が特定され、ＲＧＢ画像１０１によって構成される複数のフレーム画像において各領域に対応する被写体が継続的に追跡される場合、画像処理部３２０は、上述したような領域のマスクや領域のマーキングの処理を複数のフレーム画像において継続的に実行することができる。
以上で説明したような本発明の一実施形態では、画像処理装置３００の領域特定部３１０が、イベント信号２０１に基づいてＲＧＢ画像１０１において被写体に動きが発生している領域を特定する。イベント信号２０１はＲＧＢ画像１０１の１または複数のピクセルで光の強度変化が検出された場合にのみ生成されるため、例えば時間的に連続する複数のＲＧＢ画像１０１のピクセル同士を比較して被写体に動きが発生している領域を特定する場合に比べて処理を高速化することができる。また、一般にＥＤＳ２００がイベント信号２０１を生成可能な周期はＲＧＢカメラ１００が動画像を撮像する場合のフレームレートよりも大幅に短いため、本実施形態のようにイベント信号２０１を利用することによって、例えば動画像においてＲＧＢ画像１０１のみを用いて被写体の動きを特定する場合よりも高精度に画像処理を被写体の動きに追従させることができる。
図６は、本発明の一実施形態に係る画像処理方法の例を示すフローチャートである。図示された例では、ＲＧＢカメラ１００がＲＧＢ画像１０１を撮像し（ステップＳ１０１）、それと同時にＥＤＳ２００がイベント信号２０１を生成する（ステップＳ１０２）。なお、イベント信号２０１を生成するステップＳ１０２は、ＲＧＢ画像１０１の１または複数のピクセルに対応付けられるセンサ２１０が光の強度変化を検出した場合にのみ実行される。ＲＧＢ画像１０１にはタイムスタンプ１０２が与えられ（ステップＳ１０３）、イベント信号にはタイムスタンプ２０２が与えられる（ステップＳ１０４）。
次に、画像処理装置３００での処理が実行される。まず、領域特定部３１０が、イベント信号２０１に基づいて上記のようなＲＧＢ画像１０１における第１および第２の領域を特定する（ステップＳ１０５）。次に、画像処理部３２０が、ＲＧＢ画像１０１において特定された第１および第２の領域についてそれぞれ異なる画像処理を実行する（ステップＳ１０６）。このとき、画像処理が実行されるＲＧＢ画像１０１と、イベント信号２０１に基づいて特定された第１および第２の領域とは、タイムスタンプ１０２，２０２を用いて対応付けられる。以上のような処理によって、例えば動いている被写体を切り出して背景をマスクした出力画像３２１や、動きが異なる被写体がそれぞれ異なる態様のマーキングによって追跡される動画像の出力画像３２１を得ることができる。
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１０…システム、１００…ＲＧＢカメラ、１０１…ＲＧＢ画像、１０２…タイムスタンプ、１１０…イメージセンサ、１２０…処理回路、２０１…イベント信号、２０２…タイムスタンプ、２１０…センサ、２２０…処理回路、３００…画像処理装置、３１０…領域特定部、３２０…画像処理部、３２１…出力画像。

Claims (8)

  1. 同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号によって検出される、被写体のエッジ部分で発生する光の強度変化に基づいて、前記画像において被写体に第１の動きが発生している第１の領域と、被写体に前記第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する領域特定部と、
    前記画像において、前記第１の領域および前記第２の領域に対してそれぞれ異なる画像処理を実行する画像処理郎と
    を備える画像処理装置。
  2. 前記画像は、動画像を構成する複数のフレーム画像であり、
    前記領域特定部は、前記複数のフレーム画像のそれぞれにおいて前記第１の領域および前記第２の領域、ならびに少なくとも前記第１の領域における被写体の動き方向を特定し、
    前記画像処理部は、前記動き方向に基づいて前記複数のフレーム画像において前記第１の領域および前記第２の領域に対する画像処理を継続的に実行する、請求項１に記載の画像処理装置。
  3. 前記画像処理部は、前記画像において少なくとも前記第１の領域をマーキングする、請求項１または請求項２に記載の画像処理装置。
  4. 前記領域特定部は、被写体に前記第２の動きが発生している前記第２の領域を特定し、
    前記画像処理部は、前記画像において前記第１の領域および前記第２の領域をそれぞれ異なる態様でマーキングする、請求項３に記載の画像処理装置。
  5. 前記画像処理部は、前記画像において前記第２の領域をマスクする、請求項１から請求項３のいずれか１項に記載の画像処理装置。
  6. 前記画像は、動画像を構成する複数のフレーム画像であり、
    前記領域特定部は、前記複数のフレーム画像のそれぞれにおいて前記第１の領域および被写体が実質的に動いていない前記第２の領域を特定し、
    前記画像処理部は、前記複数のフレーム画像のそれぞれにおいて前記第１の領域を前後のフレーム画像で特定された前記第２の領域を用いて上書きする、請求項１に記載の画像処理装置。
  7. 同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号によって検出される、被写体のエッジ部分で発生する光の強度変化に基づいて、前記画像において被写体に第１の動きが発生している第１の領域と、被写体に前記第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定するステップと、
    前記画像において、前記第１の領域および前記第２の領域に対してそれぞれ異なる画像処理を実行するステップと
    を含む画像処理方法。
  8. 同期的なスキャンによって撮像された画像の１または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号によって検出される、被写体のエッジ部分で発生する光の強度変化に基づいて、前記画像において被写体に第１の動きが発生している第１の領域と、被写体に前記第１の動きとは異なる第２の動きが発生しているか、または被写体が実質的に動いていない第２の領域とを特定する機能と、
    前記画像において、前記第１の領域および前記第２の領域に対してそれぞれ異なる画像処理を実行する機能と
    をコンピュータに実現させるためのプログラム。
JP2021541372A 2019-08-20 2019-08-20 画像処理装置、画像処理方法およびプログラム Active JP7191236B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032343 WO2021033251A1 (ja) 2019-08-20 2019-08-20 画像処理装置、画像処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021033251A1 JPWO2021033251A1 (ja) 2021-02-25
JPWO2021033251A5 JPWO2021033251A5 (ja) 2022-03-10
JP7191236B2 true JP7191236B2 (ja) 2022-12-16

Family

ID=74659862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021541372A Active JP7191236B2 (ja) 2019-08-20 2019-08-20 画像処理装置、画像処理方法およびプログラム

Country Status (6)

Country Link
US (1) US20220292693A1 (ja)
EP (1) EP4020963A4 (ja)
JP (1) JP7191236B2 (ja)
KR (1) KR20220051336A (ja)
CN (1) CN114208148A (ja)
WO (1) WO2021033251A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115749A (ja) 1998-09-30 2000-04-21 Matsushita Electric Ind Co Ltd 画像監視装置
WO2011013281A1 (ja) 2009-07-29 2011-02-03 パナソニック株式会社 移動体検出方法及び移動体検出装置
US20180098082A1 (en) 2016-09-30 2018-04-05 Intel Corporation Motion estimation using hybrid video imaging system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4596203B2 (ja) * 2001-02-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP5774889B2 (ja) * 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
EP3340103A1 (en) * 2016-12-21 2018-06-27 Axis AB Method for identifying events in a motion video
WO2018186398A1 (ja) * 2017-04-07 2018-10-11 日本電気株式会社 学習データ生成装置、学習データ生成方法、および記録媒体
KR102385360B1 (ko) * 2017-09-19 2022-04-12 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115749A (ja) 1998-09-30 2000-04-21 Matsushita Electric Ind Co Ltd 画像監視装置
WO2011013281A1 (ja) 2009-07-29 2011-02-03 パナソニック株式会社 移動体検出方法及び移動体検出装置
US20180098082A1 (en) 2016-09-30 2018-04-05 Intel Corporation Motion estimation using hybrid video imaging system

Also Published As

Publication number Publication date
US20220292693A1 (en) 2022-09-15
WO2021033251A1 (ja) 2021-02-25
EP4020963A4 (en) 2022-08-10
EP4020963A1 (en) 2022-06-29
KR20220051336A (ko) 2022-04-26
CN114208148A (zh) 2022-03-18
JPWO2021033251A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
JP6732522B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101634355B1 (ko) 동작 검출 장치 및 방법
JP2018179911A (ja) 測距装置及び距離情報取得方法
JP6261266B2 (ja) 移動体検知装置
JP2010211617A (ja) 撮像装置、動体検知方法、動体検知回路及びプログラム
CN103502121A (zh) 一种用于图像采集的方法
US10709967B2 (en) Apparatus, methods, and systems for tracking an optical object
US20220004748A1 (en) Video display method, device and system, and video camera
JP2012129709A (ja) 情報処理装置、情報処理方法及びプログラム
JP2008252404A (ja) 撮像装置、撮像方法、および撮像プログラム
JP7191236B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2014053722A (ja) 撮像システム及び撮像方法
JP2012220602A (ja) 投影装置、制御装置、および制御方法
JP6939065B2 (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法
WO2022107647A1 (ja) 情報処理装置、システム、情報処理方法および情報処理プログラム
KR20160035473A (ko) 스테레오 카메라 및 그 작동 방법
JP7252352B2 (ja) 転送制御装置、システム、転送制御方法およびプログラム
WO2023188183A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
JP2008204406A (ja) 背景画像作成装置
WO2023188184A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
US9454247B2 (en) Interactive writing device and operating method thereof using adaptive color identification mechanism
JP7197715B2 (ja) 画像処理装置、システム、画像処理方法およびプログラム
JP2021149691A (ja) 画像処理システム及び制御プログラム
JP2016152467A (ja) 追尾装置、追尾方法及び追尾プログラム
CN115705708B (zh) 用于检测人-物交互的成像系统及用于检测人-物交互的方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20211018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221206

R150 Certificate of patent or registration of utility model

Ref document number: 7191236

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150