JP7439784B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP7439784B2
JP7439784B2 JP2021040714A JP2021040714A JP7439784B2 JP 7439784 B2 JP7439784 B2 JP 7439784B2 JP 2021040714 A JP2021040714 A JP 2021040714A JP 2021040714 A JP2021040714 A JP 2021040714A JP 7439784 B2 JP7439784 B2 JP 7439784B2
Authority
JP
Japan
Prior art keywords
tracking
frame
feature
tracking target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021040714A
Other languages
English (en)
Other versions
JP2022140069A (ja
Inventor
龍樹 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2021040714A priority Critical patent/JP7439784B2/ja
Priority to US18/547,465 priority patent/US20240153108A1/en
Priority to PCT/JP2021/047098 priority patent/WO2022190529A1/ja
Priority to DE112021007302.8T priority patent/DE112021007302T5/de
Priority to CN202180094085.2A priority patent/CN116897369A/zh
Publication of JP2022140069A publication Critical patent/JP2022140069A/ja
Application granted granted Critical
Publication of JP7439784B2 publication Critical patent/JP7439784B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像処理装置および画像処理方法に関する。
カメラの撮像画像による動線分析では、撮像対象を精度良く追跡(トラッキング)することが求められる。特許文献1は、第1のフレームでのトラッキング対象の2つの特徴量から得られる信頼度に基づいて、第2のフレームのトラッキング対象を検出する技術を開示する。
特開2012-203613号公報
魚眼カメラで撮影される人体等の対象物は、カメラに対する相対位置によって見え方が異なる。このため、特徴量の変化は、同一の撮影対象であっても、カメラに対する相対位置によって異なる場合がある。
本発明は、一側面では、魚眼カメラによる撮像画像で追跡対象への追従性を向上させる技術を提供することを目的とする。
本発明は、上記目的を達成するために、以下の構成を採用する。
本開示の第一側面は、動画像の第1フレームにおいて追跡対象を設定する追跡対象設定部と、第1フレームで設定した追跡対象の第1特徴に基づいて、第2フレームで追跡対象を追跡する第1特徴追跡部と、第1フレームで設定した追跡対象の第2特徴に基づいて、第2フレームで追跡対象を追跡する第2特徴追跡部と、所定の混合率で、第1特徴追跡部による追跡結果と、第2特徴追跡部による追跡結果とを混合する追跡管理部と、追跡管理部が混合した混合結果に基づいて、第2フレームでの追跡対象の検出位置を出力する出力部と、を備える画像処理装置である。
画像処理装置は、追跡対象の第1特徴および第2特徴による追跡結果を、追跡対象の撮像範囲での位置に基づく所定の混合率で混合することにより、追跡対象をトラッキングする。複数の特徴に基づいて追跡することにより、画像処理装置は、追跡対象への追従性を向上させることができる。
第1特徴追跡部による追跡結果は、第1特徴に基づいて求められる、第2フレームで追跡対象が存在する位置の尤度を示す尤度マップであり、第2特徴追跡部による追跡結果は、第2特徴に基づいて求められる、第2フレームで追跡対象が存在する位置の尤度を示す尤度マップであり、出力部は、混合結果の尤度マップで最も尤度が高い位置を、第2フレームでの追跡対象の検出位置として出力してもよい。画像処理装置は、混合結果のヒートマップから、容易に追跡対象の検出位置を取得することができる。
所定の混合率は、第1フレームの撮像範囲での追跡対象の位置に基づいて設定されてもよい。追跡対象の第1特徴および第2特徴は、撮像範囲内の位置によっては安定して取得
されない場合があるため、安定して取得できる特徴についての混合率を上げることで、画像処理装置は、追跡対象への追従性を向上させることができる。
所定の混合率は、第1フレームの撮像面に対する追跡対象の向きに基づいて設定されてもよい。追跡対象の第1特徴および第2特徴が安定して取得できる特徴についての混合率を上げることで、画像処理装置は、追跡対象への追従性を向上させることができる。
画像処理装置は、第1フレームから追跡対象を検出する検出部をさらに備えてもよい。画像処理装置は、検出部が検出した対象物を追跡対象として設定することができる。また、画像処理装置は、追跡対象の追跡に失敗した場合に、新たに対象物を検出し、追跡対象を設定することができる。
追跡対象設定部は、第1フレームの撮像範囲の中心位置から、追跡対象までの距離を取得し、追跡管理部は、距離に基づいて所定の混合率を設定してもよい。画像処理装置は、撮像範囲の中心から追跡対象までの距離に基づく適切な混合率を設定することができる。
第1特徴は色特徴であり、第2特徴は形状特徴であってもよい。画像処理装置は、撮像範囲の外周付近で安定して取得可能な色特徴および撮像範囲の中心付近で安定して取得可能な形状特徴による追跡結果を混合することにより、追跡対象への追従性を向上させることができる。
追跡管理部は、第1フレームの撮像範囲の中心位置から、追跡対象までの距離が大きいほど、色特徴の混合率が大きくなるように所定の混合率を設定してもよい。撮像範囲の中心位置からの距離が大きくなるほど、色特徴は安定して取得されるため、色特徴の混合率を上げることで、画像処理装置は、追跡対象への追従性を向上させることができる。
第1特徴追跡部は、第2フレームにおいて、第1フレームでの追跡対象の色との色距離を求め、色距離に基づいて、第2フレームで追跡対象が存在する位置の尤度を示す尤度マップを生成し、第2特徴追跡部は、第2フレームにおいて、第1フレームで追跡対象の位置をずらした画像との形状についての差分を求め、差分に基づいて、第2フレームで追跡対象が存在する位置の尤度を示す尤度マップを生成してもよい。画像処理装置は、第1特徴および第2特徴の尤度マップを生成することで、追跡結果を容易に混合することができる。
第2特徴追跡部は、KCF(Kernelized Correlation Filter)を用いて、第2フレームで追跡対象が存在する位置の尤度を示すヒートマップを生成してもよい。画像処理装置は、KCFを用いることにより、形状特徴のヒートマップを精度良く作成することができる。
出力部は、第2フレームでの追跡対象の位置を中心として、第1フレームで追跡対象を囲む枠と同じ大きさの検出枠を出力してもよい。画像処理装置は、第2フレームで検出された追跡対象の大きさを取得することなく、簡易に検出枠を出力することができる。
本発明の第二側面は、コンピュータが、動画像の第1フレームにおいて追跡対象を設定する追跡対象設定ステップと、第1フレームで設定した追跡対象の第1特徴に基づいて、第2フレームで追跡対象を追跡する第1特徴追跡ステップと、第1フレームで設定した追跡対象の第2特徴に基づいて、第2フレームで追跡対象を追跡する第2特徴追跡ステップと、所定の混合率で、第1特徴追跡ステップでの追跡結果と、第2特徴追跡ステップでの追跡結果とを混合する追跡管理ステップと、追跡管理ステップで混合した混合結果に基づいて、第2フレームでの追跡対象の検出位置を出力する出力ステップと、を含む画像処理
方法である。
本発明は、かかる方法をコンピュータによって実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、魚眼カメラによる撮像画像で追跡対象への追従性を向上させることができる。
図1は、実施形態に係る画像処理装置の適用例を説明する図である。 図2は、画像処理装置のハードウェア構成を例示する図である。 図3は、画像処理装置の機能構成を例示する図である。 図4は、トラッキング処理を例示するフローチャートである。 図5は、追跡対象の設定について説明する図である。 図6は、色特徴によるトラッキングについて説明する図である。 図7は、色特徴によるトラッキングの具体例を示す図である。 図8は、色特徴のヒートマップの生成について説明する図である。 図9は、形状特徴によるトラッキングについて説明する図である。 図10は、形状特徴によるトラッキングの具体例を示す図である。 図11は、形状特徴のヒートマップの生成について説明する図である。 図12は、混合率の算出について説明する図である。 図13は、特徴の混合について説明する図である。
以下、本発明の一側面に係る実施の形態を、図面に基づいて説明する。
<適用例>
図1は、実施形態に係る画像処理装置の適用例を説明する図である。画像処理装置は、撮像画像から人体等をトラッキングする場合、例えば、色特徴または形状特徴に基づいて追跡対象を追跡することができる。
しかしながら、魚眼カメラで撮像した追跡対象は、カメラに対する相対位置によって見え方が異なる。例えば、天井に設置された魚眼カメラで撮影した場合、撮像範囲の中心位置を含む内周部分に存在する追跡対象は、天井側から見下ろした状態で撮像される。また、撮像範囲の外周部分に存在する追跡対象は、横側(側面方向)から見た状態で撮像される。
例えば、追跡対象である人体が撮像範囲の外周部分に存在する場合、内周部分に存在する場合よりも、服の色が見える面積が広いため、色特徴は安定する。一方、人体が撮像範囲の内周部分に存在する場合、外周部分に存在する場合よりも服の色が見える面積が狭いため、色特徴は不安定となる。
また、追跡対象である人体が撮像範囲の外周部分に存在する場合、内周部分に存在する場合よりも、手足が見える面積が広いため、形状特徴は不安定となる。一方、人体が撮像範囲の内周部分に存在する場合、外周部分に存在する場合よりも、手足が見える面積が狭いため、形状特徴は安定する。
画像処理装置は、安定した特徴を用いてトラッキングをすることで、追跡精度を向上さ
せることができる。即ち、撮像範囲の外周部分では色特徴に関するアルゴリズムを用いて追跡し、撮像範囲の内周部分では形状特徴に関するアルゴリズムを用いて追跡することで、追跡対象への追従性は向上する。
そこで、画像処理装置は、カメラに対する追跡対象の相対位置に基づいて、追跡アルゴリズムを変更する。具体的には、複数の特徴に基づく追跡結果を、カメラに対する追跡対象の相対位置に応じて、所定の割合で組み合わせる(混合する)ことにより追跡対象を追跡する。
画像処理装置は、カメラに対する追跡対象の相対位置に応じた割合で、複数の特徴による追跡アルゴリズムを組み合わせることにより、追跡対象を精度良くトラッキングすることができる。本発明に係る画像処理装置は、例えば、動線分析用の画像センサに適用することが可能である。
<実施形態>
(ハードウェア構成)
図2を参照して、画像処理装置1のハードウェア構成の一例について説明する。図2は、画像処理装置1のハードウェア構成を例示する図である。画像処理装置1は、プロセッサ101、主記憶装置102、補助記憶装置103、通信インタフェース(I/F)104、出力装置105を備える。プロセッサ101は、補助記憶装置103に記憶されたプログラムを主記憶装置102に読み出して実行することにより、図3で説明する各機能構成としての機能を実現する。通信インタフェース104は、有線または無線通信を行うためのインタフェースである。出力装置105は、例えば、ディスプレイ等の出力を行うための装置である。
画像処理装置1は、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよく、オンボードコンピュータのように組み込み型のコンピュータでもよい。画像処理装置1は、例えば、複数台のコンピュータ装置による分散コンピューティングにより実現されてもよく、各機能部の一部をクラウドサーバにより実現されてもよい。また、画像処理装置1の各機能部の一部は、FPGAまたはASICなどの専用のハードウェア装置によって実現されてもよい。
画像処理装置1は、有線(USBケーブル、LANケーブルなど)または無線(WiFiなど)でカメラ2に接続され、カメラ2で撮影された画像データを受信する。カメラ2は、レンズを含む光学系および撮像素子(CCDやCMOSなどのイメージセンサ)を有する撮像装置である。
なお、画像処理装置1は、カメラ2と一体に構成されてもよい。また、撮像画像に対する対象物の検出および追跡処理など画像処理装置1の処理の一部は、カメラ2で実行されてもよい。さらに、画像処理装置1による対象物の追跡結果は、外部の装置に送信されユーザに提示されるようにしてもよい。
(機能構成)
図3は、画像処理装置1の機能構成を例示する図である。画像処理装置1は、画像取得部11、処理部12、出力部13を含む。処理部12は、検出部121、追跡対象設定部122、第1特徴追跡部123、第2特徴追跡部124、追跡管理部125を含む。
画像取得部11は、カメラ2から取得した動画像データを処理部12に送信する。処理部12の検出部121は、画像取得部11から受信したフレーム画像から、追跡対象である人体等を検出する。検出部121は、例えば、背景差分法またはフレーム間差分法によ
り、対象物を検出することができる。
追跡対象設定部122は、検出部121が検出した対象物を、追跡対象として設定する。追跡対象設定部122は、追跡対象の特徴を学習し、学習した内容に基づいて次のフレーム以降で追跡対象をトラッキングする。追跡対象設定部122は、例えば、追跡対象の色特徴および形状特徴などの特徴を学習する。
追跡対象設定部122は、追跡対象とフレーム画像の中心位置との距離を取得する。追跡対象とフレーム画像の中心位置との距離は、追跡対象の中心座標とフレーム画像の中心座標との距離として算出することができる。取得した距離は、色特徴と形状特徴とを混合する際の所定の混合率の設定に用いられる。
第1特徴追跡部123は、追跡対象を設定したフレーム(第1フレームとも称する)より後のフレーム(第2フレームとも称する)から、追跡対象設定部122が学習した第1特徴、例えば色特徴に基づいて、追跡対象を追跡する。第1特徴追跡部123は、第2フレームで、第1フレームの追跡対象との色距離を求めることにより、追跡結果として色特徴のヒートマップ(尤度マップ)を作成する。色距離は、2色間の類似度を示す指標であり、例えば、RGB等の色空間における距離である。
第2特徴追跡部124は、追跡対象を設定した第1フレームより後の第2フレームから、追跡対象設定部122が学習した第2特徴、例えば形状特徴に基づいて、追跡対象を追跡する。第2特徴追跡部124は、例えば、第2フレームに対して、第1フレームで設定した追跡対象をずらしながら重ね合わせ、形状についての差分を求めることにより、追跡結果として形状特徴のヒートマップ(尤度マップ)を作成する。
追跡管理部125は、追跡対象設定部122が取得した追跡対象とフレーム画像の中心位置との距離に基づいて、第1特徴についての追跡結果と第2特徴についての追跡結果とを混合する所定の混合率を設定する。所定の混合率は、例えば、フレーム画像の中心位置からの追跡対象までの距離に基づいて設定される。
例えば、フレーム画像の中心位置から追跡対象までの距離が離れているほど、色特徴(第1特徴)の混合率は大きく、形状特徴(第2特徴)の混合率は小さく設定される。また、フレーム画像の中心位置から追跡対象までの距離が近いほど、色特徴の混合率は小さく、形状特徴の混合率は大きく設定される。
追跡管理部125は、設定した混合率で、第1特徴についての追跡結果と第2特徴についての追跡結果とを混合する。第1特徴および第2特徴についての追跡結果は、それぞれの特徴についての追跡対象との差分を示す。追跡管理部125は、追跡対象の位置に応じて設定された混合率で、第1特徴および第2特徴の追跡結果を混合する。これにより、追跡管理部125は、追跡対象の位置に応じて、それぞれの特徴に基づく追跡結果が適切に反映された追跡結果を取得することができる。
出力部13は、追跡管理部125によって混合された追跡結果で、最も差分が少ない位置の座標を、第2フレームでの追跡対象の検出結果として出力する。出力部13は、最も差分が少ない座標が複数存在する場合、これらの座標を含む領域の中心座標を、追跡対象の検出結果として出力してもよい。
(トラッキング処理)
図4を参照して、トラッキング処理の全体的な流れを説明する。図4は、トラッキング処理を例示するフローチャートである。トラッキング処理は、例えば、ユーザが画像処理
装置1に対し、トラッキングを指示することにより開始される。図4に示す例では、動画像のフレームごとにループ処理L1が実行される。
S101では、処理部12は、画像取得部11からフレーム画像を取得する。S102では、処理部12は、トラッキングフラグがONか否かを判定する。トラッキングフラグは、追跡対象が設定済みの場合にONに設定され、追跡対象が設定されていない場合にOFFに設定される。トラッキングフラグの設定値は、主記憶装置102または補助記憶装置103に記録することができる。トラッキングフラグがONである場合(S102:YES)、処理はS107に進む。トラッキングフラグがOFFである場合(S102:NO)、処理はS103に進む。
S103では、検出部121は、フレーム画像から人体を検出する。検出部121は、例えば、フレーム画像と予め用意した背景画像との間で変化した領域を抽出する背景差分法、フレーム間で変化した領域を抽出するフレーム間差分法により、人体を検出することができる。
なお、図4に示す処理では、追跡対象は、人体であるものとして説明するが、これに限られず、追跡対象となる動物体であればよい。追跡対象の動物体は、色特徴および形状特徴のように、抽出される特徴の安定性がカメラに対する相対位置に応じて異なる動物体であることが好ましい。
S104では、検出部121は、S103で人体が検出されたか否かを判定する。人体が検出された場合(S104:YES)、処理はS105に進む。人体が検出されなかった場合(S104:NO)、処理はS101に戻り、次の動画像フレームに対するトラッキング処理が開始される。
S105では、追跡対象設定部122は、S104で検出された人体を追跡対象として設定する。S104で複数の人体が検出された場合、追跡対象設定部122は、複数の人体を追跡対象として設定し、それぞれが追跡されるようにしてもよい。追跡対象設定部122は、追跡対象の色特徴および形状特徴を取得(学習)する。
ここで、図5を参照して、追跡対象の設定について説明する。第1フレームは、人体を検出し、追跡対象501を設定する開始フレームである。第2フレームは、開始フレームの次のフレーム以降のフレームである。トラッキングは、第1フレームで設定された追跡対象501の特徴に基づいて、追跡対象501が第2フレームのどの位置にあるかを取得する処理である。
図4のS106では、追跡対象設定部122は、トラッキングフラグをONにする。トラッキングフラグの値は、主記憶装置102等に記録され、処理が次のフレームに進んでも、初期化されずに保持される。処理はS101に戻り、次の動画像フレームに対するトラッキング処理が開始される。S102では、トラッキングフラグがONに設定されているため、処理はS107に進む。
S107では、第1特徴追跡部123は、フレーム画像の色特徴による追跡結果を取得する。ここで、図6から図8を参照して、追跡対象の色特徴による追跡について説明する。図6は、色特徴によるトラッキングについて説明する図である。第1フレームは、S105で設定された追跡対象601を含む。トラッキング例Aでは、対象物602は、追跡対象601と色が類似する。トラッキング例Bでは、対象物603は、追跡対象601と色が相違する。
色特徴によるトラッキングでは、追跡対象に色がより近い対象物がトラッキング結果と判定される。図6の例では、フレーム画像内に対象物602および対象物603が存在する場合、トラッキング結果は、色がより近い対象物602と判定される。
図7は、色特徴によるトラッキングの具体例を示す図である。追跡対象設定部122は、第1フレームで追跡対象701を設定する。第1特徴追跡部123は、追跡対象701を含む領域を学習領域として学習し、第2フレームで、追跡対象701と類似する色の領域を追跡する。対象物702は、対象物703よりも追跡対象701と色が類似しているため、トラッキング結果と判定される。
図8は、色特徴のヒートマップの生成について説明する図である。追跡対象設定部122は、第1フレームで追跡対象801を設定する。第1特徴追跡部123は、追跡対象801を学習する。第1特徴追跡部123は、第2フレームを追跡して、学習した追跡対象801の色と第2フレームとの色距離を求める。色距離は、例えば、追跡対象801に含まれる画素の色の平均値を、第2フレームの各画素の色と比較して求めることができる。
第1特徴追跡部123は、第2フレームの各画素で求めた色距離に基づいて、色特徴のヒートマップを生成する。図8に示すヒートマップ802は、第1特徴追跡部123が生成したヒートマップを画像化して模式的に示した図である。色特徴のヒートマップ802では、色距離が小さいほど高い尤度が設定される。色特徴による追跡では、第2フレームでの追跡対象801のトラッキング位置は、ヒートマップ802で、尤度が最も高い領域の中心座標803と判定することができる。中心座標803は、ヒートマップ802のピーク位置803とも称する。
人体検出では、服の色は、形状特徴よりも個体差が大きい。このため、色特徴は、形状特徴よりも簡素なアルゴリズムを用いて追跡することができる。なお、図8は、色距離に基づいてヒートマップ802を作成する例を示すが、これに限られない。第1特徴追跡部123は、例えば、追跡対象801の色のヒストグラムとの類似性に基づいて、ヒートマップ802を作成してもよい。
図4のS108では、第2特徴追跡部124は、フレーム画像の形状特徴による追跡結果を取得する。ここで、図9から図11を参照して、追跡対象の形状特徴による追跡について説明する。図9は、形状特徴によるトラッキングについて説明する図である。第1フレームは、S105で設定された追跡対象901を含む。トラッキング例Aでは、対象物902は、追跡対象901と形状が類似する。トラッキング例Bでは、対象物903は、追跡対象901と形状が相違する。
形状特徴によるトラッキングでは、追跡対象に形状がより近い対象物がトラッキング結果と判定される。図9の例では、フレーム画像内に対象物902および対象物903が存在する場合、トラッキング結果は、形状がより近い対象物902と判定される。
図10は、形状特徴によるトラッキングの具体例を示す図である。追跡対象設定部122は、第1フレームで追跡対象1001を設定する。第2特徴追跡部124は、追跡対象1001を含む領域を学習領域とし、第2フレームで、追跡対象と類似する形状の領域を追跡する。対象物1002は、対象物1003よりも追跡対象1001と形状が類似しているため、トラッキング結果と判定される。
図11は、形状特徴のヒートマップの生成について説明する図である。追跡対象設定部122は、第1フレーム1110で追跡対象1101を設定する。フレーム1111およびフレーム1112は、第1フレーム1110で、追跡対象1101をX軸正方向に1画
素および2画素移動させたフレームである。
第2特徴追跡部124は、第1フレーム1110、フレーム1111、フレーム1112を第2フレーム1120と重ねる。フレーム1130、フレーム1131、フレーム1132は、第1フレーム1110、フレーム1111、フレーム1112を、それぞれ第2フレーム1120と重ねたフレームである。
フレーム1130では、第2特徴追跡部124は、移動していない追跡対象1101と第2フレーム1120との差分に基づいて、同じ形状らしさの尤度を、移動なしの追跡対象1101の位置(例えば、中心座標)に割り当てる。第2特徴追跡部124は、例えば、追跡対象1101を機械学習によって学習させた識別器に、追跡対象1101と同じ位置の第2フレームの領域を入力することで同じ形状らしさの尤度を取得することができる。
同様に、フレーム1131では、第2特徴追跡部124は、X軸正方向に1画素移動した追跡対象1101と第2フレーム1120との差分から、同じ形状らしさの尤度を、1画素移動後の追跡対象1101の位置に割り当てる。また、フレーム1132では、第2特徴追跡部124は、X軸正方向に2画素移動した追跡対象1101と第2フレーム1120との差分から、同じ形状らしさの尤度を、2画素移動後の追跡対象1101の位置に割り当てる。
このように、第2フレーム内で追跡対象1101を移動させて差分を取ることで、第2特徴追跡部124は、形状特徴のヒートマップを生成することができる。図11に示すヒートマップ1140は、第2特徴追跡部124が生成したヒートマップを画像化して模式的に示した図である。形状特徴のヒートマップ1140では、差分が小さいほど(同じ形状らしさの尤度が大きいほど)高い尤度が設定される。
なお、図11では、追跡対象1101をX軸正方向に1画素および2画素移動させて差分を取る例を示すが、第2特徴追跡部124は、追跡対象1101を第2フレーム内の各画素に移動させて差分を取ればよい。第2特徴追跡部124は、第2フレーム全体の各画素で差分を取ることでヒートマップ1140を生成することができる。
また、追跡対象1101の移動範囲が限られている場合、第2特徴追跡部124は、例えば、X軸方向に-10~+10の範囲、Y軸方向に-10~+10の範囲で追跡対象1101を移動させて、差分を取るようにしてもよい。第2特徴追跡部124は、追跡対象1101を移動させなかった領域(画素)では、差分の最大値を設定してヒートマップ1140を生成することができる。
形状特徴による追跡では、第2フレームでの追跡対象1101のトラッキング位置は、ヒートマップ1140で、尤度が最も高い領域の中心座標1141と判定することができる。中心座標1141は、ヒートマップ1140のピーク位置1141とも称する。
図11の例では、形状特徴による追跡について単純化したアルゴリズムを用いて説明したが、第2特徴追跡部124は、KCF(Kernelized Correlation Filter)と呼ばれるフィルタを用いて形状特徴による追跡が可能である。KCFは、画像をフーリエ変換し、スペクトル空間で計算するため、計算量を削減することができる。また、KCFは、差分ではなく回帰式を使用して計算するため、ロバスト性を高めることが可能な手法である。
さらに、形状特徴の追跡は、スペクトル空間ではなく畳み込み演算を用いて特徴を抽出
し、特徴量空間で比較する手法を用いてもよい。この手法は、KCFを用いた場合よりも計算量が増える可能性があるが、KCFよりも高い追従性を実現することができる。
図4のS109では、追跡管理部125は、S107で取得した色特徴の追跡結果およびS108で取得した形状特徴の追跡結果の混合率を算出する。ここで、図12を参照して、混合率の算出について説明する。
混合率は、フレーム画像の中心座標1201から追跡対象に設定された人体までの距離に基づいて算出される。例えば、形状特徴を混合する混合率は、以下の式1によって算出することができる。形状特徴の混合率は、0.0から1.0までの範囲内の値である。
形状特徴の混合率=1.0-(追跡対象までの距離/d1)×α … (式1)
式1で、d1は、フレーム画像の中心座標1201からフレーム境界までの最大距離である。図12の例では、追跡対象までの距離は、フレーム画像の外周付近に存在する追跡対象1202の場合はd2、フレーム画像の中心付近に存在する追跡対象1203の場合はd3となる。
αは、追跡対象の特徴に応じた重み付けの係数であって、例えば0.7とすることができる。係数αは、工場での作業など手足の動きが形状特徴の追跡精度に影響を与える場合には、0.7よりも低く設定してもよい。また、色特徴の混合率に対する係数αは、制服の色が赤など特徴的な色であるような場合に、0.7よりも高く設定することができる。このように、係数αは、追跡対象の具体的な特徴に応じて変更されてもよい。
色特徴の混合率は、以下の式2によって算出することができる。形状特徴の混合率は、式1で算出された値が用いられる。
色特徴の混合率=1.0-形状特徴の混合率 … (式2)
なお、形状特徴および色特徴の混合率の算出方法は、式1および式2を用いる場合に限られない。式1は、フレーム画像の中心座標1201から追跡対象までの距離が大きくなるほど、形状特徴の混合率が低くなる関係であればよく、一次式に限られず、二次式以上であっても、非線形であってもよい。また、色特徴の混合率を先に算出し、形状特徴の混合率は、式2と同様に1.0と色特徴の混合率との差分として算出してもよい。この場合、色特徴の混合率を求める式は、追跡対象までの距離が大きくなるほど色特徴の混合率が高くなるような関係式となる。
S110では、追跡管理部125は、S109で算出した混合率に基づいて、第1特徴についての追跡結果と第2特徴についての追跡結果とを混合する。ここで図13を参照して、特徴の混合について説明する。
図13は、色特徴のヒートマップ802と、形状特徴のヒートマップ1140とを混合し、混合結果として混合特徴のヒートマップ1301を生成する例を示す。追跡管理部125は、色特徴のヒートマップ802および形状特徴のヒートマップ1140の対応する各ピクセルを、以下の式3によって混合し、混合特徴のヒートマップ1301を生成する。
混合特徴=色特徴×色特徴の混合率+形状特徴×形状特徴の混合率 … (式3)
図13は、色特徴の混合率が0.2、形状特徴の混合率が0.8である例を示す。混合特徴のヒートマップ1301では、形状特徴のヒートマップ1140のピーク位置1140は、色特徴のヒートマップ802のピーク位置803よりも値が大きいため、ピーク位置1140は、追跡結果1302と判定される。追跡結果1302は、混合特徴のヒート
マップ1301のピーク位置1302とされる。
なお、図13は、第1特徴のヒートマップと第2特徴のヒートマップとを混合する例を示すが、これに限られない。追跡管理部125は、それぞれのヒートマップのピーク位置の間を混合率で按分した位置を追跡対象の検出位置とするなど、他の方法によって第1特徴および第2特徴の追跡結果を混合してもよい。
図4のS111では、追跡管理部125は、混合結果である混合特徴のヒートマップ1301で追跡対象が検出されたか否かを判定する。追跡管理部125は、図13の例では、ピーク位置1302が追跡対象の位置として検出されたと判定することができる。また、追跡管理部125は、混合特徴のヒートマップ1301でピーク位置が検出されない場合、例えば、ヒートマップ1301で所定の閾値以上となる位置がない場合、追跡対象が検出されなかったと判定することができる。
混合結果から追跡対象が検出された場合(S111:YES)、処理はS112に進む。混合結果から追跡対象が検出されなかった場合(S111:NO)、処理はS113に進む。
S112では、出力部13は、追跡結果を出力する。出力部13は、S111で検出した追跡対象の位置に検出枠を重畳表示させる。検出枠の大きさは、例えば、S105で設定した追跡対象の大きさとすることができる。追跡結果が出力されると、処理はS101に戻り、次の動画像フレームに対するトラッキング処理が開始される。
S112では、追跡管理部125は、トラッキングフラグをOFFにする。処理は、S103に戻り、S103からS106までの処理で新たな追跡対象が設定される。なお、図4の処理は、追跡対象の追跡に失敗した場合に、新たに追跡対象を設定する例を示すが、追跡対象を設定するタイミングは、これに限られない。例えば、追跡対象設定部122は、所定数のフレームごと、または所定時間ごとに、人体検出をして追跡対象を設定し直すようにしてもよい。
(作用効果)
上記の実施形態において、画像処理装置1は、カメラに対する追跡対象の相対位置に基づいて、色特徴による追跡結果と形状特徴による追跡結果の混合率を設定する。具体的には、画像の中心位置から離れた外周付近では、服の色などの色特徴が安定するため、色特徴の混合率は、形状特徴の混合率より高く設定される。一方、画像の中心位置の付近では、手足が見えにくく形状特徴が安定するため、形状特徴の混合率は、色特徴の混合率より高く設定される。
このように、追跡対象の複数の特徴の混合率を、撮像範囲内の位置に応じて変更することで、画像処理装置1は、追跡対象を精度良くトラッキングすることができる。具体的には、魚眼カメラによる撮像画像で動線分析をする場合、撮像範囲の中心位置から離れた外周部分では、色特徴の混合率はより高く設定されるため、追跡対象への追従性は向上する。
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
例えば、上記の実施形態では、カメラ2は、魚眼カメラである場合について説明したが
、魚眼カメラに限られない。カメラ2は、追跡対象の位置に応じて、追跡対象を上から見た状態または横から見た状態で撮像できる撮像装置であればよい。また、カメラ2は、天井に設置される場合に限られず、追跡対象を見下ろして撮影できる場所に設置されればよい。
また、上記の実施形態では、画像処理装置1は、撮像範囲の中心位置から追跡対象までの距離に応じて混合率を設定するが、これに限られない。画像処理装置1は、カメラ2によって計測された追跡対象までの距離、または人体の頭頂部と足先との距離等に応じて、追跡対象の位置を推定し、混合率を設定するようにしてもよい。
また、画像処理装置1は、追跡対象の位置に限られず、人体が横たわっている場合のように追跡対象の姿勢の変化等によって見え方が異なる場合、撮像画像の撮像面に対する追跡対象の向きに基づいて、混合率を設定してもよい。撮像面に対する追跡対象の向きは、例えば、追跡対象の形状および大きさ等から推定可能である。
また、画像処理装置1は、予め用意した背景画像との差異から混合率を設定してもよい。追跡対象の色特徴が背景画像に対して顕著な場合、色特徴を優先するように混合率を設定してもよい。例えば、黒い床で黒いスーツを着用した人体を追跡する場合には色の特徴は顕著に現れないが、黒い床で赤い服、青い服を追跡する場合は色の特徴が顕著に現れるため、予め用意した背景領域と比較を行い、背景に対して際立つ色特徴を持つ(赤い服、青い服)であった場合は、色特徴を優先するように混合率を設定する。
<付記1>
(1)動画像の第1フレームにおいて追跡対象を設定する追跡対象設定部(122)と、
前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡部(123)と、
前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡部(124)と、
所定の混合率で、前記第1特徴追跡部による追跡結果と、前記第2特徴追跡部による追跡結果とを混合する追跡管理部(125)と、
前記追跡管理部が混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力部(13)と、
を備える画像処理装置(1)。
(2)コンピュータが、
動画像の第1フレームにおいて追跡対象を設定する追跡対象設定ステップ(S105)と、
前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡ステップ(S107)と、
前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡ステップ(S108)と、
所定の混合率で、前記第1特徴追跡ステップでの追跡結果と、前記第2特徴追跡ステップでの追跡結果とを混合する追跡管理ステップ(S109、S110)と、
前記追跡管理ステップで混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力ステップ(S112)と、
を含む画像処理方法。
1:画像処理装置、2:カメラ、11:画像取得部、12:処理部、121:検出部、1
22:追跡対象設定部、123:第1特徴追跡部、124:第2特徴追跡部、125:追跡管理部、13:出力部

Claims (13)

  1. 動画像の第1フレームにおいて追跡対象を設定する追跡対象設定部と、
    前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡部と、
    前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡部と、
    所定の混合率で、前記第1特徴追跡部による追跡結果と、前記第2特徴追跡部による追跡結果とを混合する追跡管理部と、
    前記追跡管理部が混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力部と、
    を備えており、
    前記所定の混合率は、前記第1フレームの撮像範囲での前記追跡対象の位置に基づいて設定され
    画像処理装置。
  2. 動画像の第1フレームにおいて追跡対象を設定する追跡対象設定部と、
    前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡部と、
    前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡部と、
    所定の混合率で、前記第1特徴追跡部による追跡結果と、前記第2特徴追跡部による追跡結果とを混合する追跡管理部と、
    前記追跡管理部が混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力部と、
    を備えており、
    前記所定の混合率は、前記第1フレームの撮像面に対する前記追跡対象の向きに基づいて設定される
    画像処理装置。
  3. 動画像の第1フレームにおいて追跡対象を設定する追跡対象設定部と、
    前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡部と、
    前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡部と、
    所定の混合率で、前記第1特徴追跡部による追跡結果と、前記第2特徴追跡部による追跡結果とを混合する追跡管理部と、
    前記追跡管理部が混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力部と、
    を備えており、
    前記追跡対象設定部は、前記第1フレームの撮像範囲の中心位置から、前記追跡対象までの距離を取得し、
    前記追跡管理部は、前記距離に基づいて前記所定の混合率を設定する、
    画像処理装置。
  4. 動画像の第1フレームにおいて追跡対象を設定する追跡対象設定部と、
    前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡部と、
    前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡部と、
    所定の混合率で、前記第1特徴追跡部による追跡結果と、前記第2特徴追跡部による追跡結果とを混合する追跡管理部と、
    前記追跡管理部が混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力部と、
    を備えており、
    前記第1特徴は色特徴であり、前記第2特徴は形状特徴であって、
    前記追跡管理部は、前記第1フレームの撮像範囲の中心位置から、前記追跡対象までの距離が大きいほど、前記色特徴の混合率が大きくなるように前記所定の混合率を設定する、
    画像処理装置。
  5. 前記第1特徴追跡部は、前記第2フレームにおいて、前記第1フレームでの前記追跡対象の色との色距離を求め、前記色距離に基づいて、前記第2フレームで前記追跡対象が存在する位置の尤度を示す尤度マップを生成し、
    前記第2特徴追跡部は、前記第2フレームにおいて、前記第1フレームで前記追跡対象の位置をずらした画像との形状についての差分を求め、前記差分に基づいて、前記第2フレームで前記追跡対象が存在する位置の尤度を示す尤度マップを生成する、
    請求項に記載の画像処理装置。
  6. 前記第2特徴追跡部は、KCF(Kernelized Correlation Filter)を用いて、前記第2フレームで前記追跡対象が存在する位置の尤度を示す尤度マップを生成する、
    請求項に記載の画像処理装置。
  7. 前記第1特徴追跡部による追跡結果は、前記第1特徴に基づいて求められる、前記第2フレームで前記追跡対象が存在する位置の尤度を示す尤度マップであり、
    前記第2特徴追跡部による追跡結果は、前記第2特徴に基づいて求められる、前記第2フレームで前記追跡対象が存在する位置の尤度を示す尤度マップであり、
    前記出力部は、前記混合結果の尤度マップで最も尤度が高い位置を、前記第2フレームでの前記追跡対象の検出位置として出力する、
    請求項1から6のいずれか1項に記載の画像処理装置。
  8. 前記第1フレームから前記追跡対象を検出する検出部をさらに備える、
    請求項1からのいずれか1項に記載の画像処理装置。
  9. 前記出力部は、前記第2フレームでの前記追跡対象の位置を中心として、前記第1フレームで前記追跡対象を囲む枠と同じ大きさの検出枠を出力する、
    請求項1からのいずれか1項に記載の画像処理装置。
  10. コンピュータが、
    動画像の第1フレームにおいて追跡対象を設定する追跡対象設定ステップと、
    前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡ステップと、
    前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡ステップと、
    所定の混合率で、前記第1特徴追跡ステップでの追跡結果と、前記第2特徴追跡ステップでの追跡結果とを混合する追跡管理ステップと、
    前記追跡管理ステップで混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力ステップと、
    を含
    前記所定の混合率は、前記第1フレームの撮像範囲での前記追跡対象の位置に基づいて設定される
    画像処理方法。
  11. コンピュータが、
    動画像の第1フレームにおいて追跡対象を設定する追跡対象設定ステップと、
    前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡ステップと、
    前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡ステップと、
    所定の混合率で、前記第1特徴追跡ステップでの追跡結果と、前記第2特徴追跡ステップでの追跡結果とを混合する追跡管理ステップと、
    前記追跡管理ステップで混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力ステップと、
    を含み、
    前記所定の混合率は、前記第1フレームの撮像面に対する前記追跡対象の向きに基づいて設定される
    画像処理方法。
  12. コンピュータが、
    動画像の第1フレームにおいて追跡対象を設定する追跡対象設定ステップと、
    前記第1フレームで設定した前記追跡対象の第1特徴に基づいて、第2フレームで前記追跡対象を追跡する第1特徴追跡ステップと、
    前記第1フレームで設定した前記追跡対象の第2特徴に基づいて、第2フレームで前記追跡対象を追跡する第2特徴追跡ステップと、
    所定の混合率で、前記第1特徴追跡ステップでの追跡結果と、前記第2特徴追跡ステップでの追跡結果とを混合する追跡管理ステップと、
    前記追跡管理ステップで混合した混合結果に基づいて、前記第2フレームでの前記追跡対象の検出位置を出力する出力ステップと、
    を含み、
    前記追跡対象設定ステップでは、前記第1フレームの撮像範囲の中心位置から、前記追跡対象までの距離を取得し、
    前記追跡管理ステップでは、前記距離に基づいて前記所定の混合率を設定する、
    画像処理方法。
  13. 請求項10から12のいずれか1項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
JP2021040714A 2021-03-12 2021-03-12 画像処理装置および画像処理方法 Active JP7439784B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021040714A JP7439784B2 (ja) 2021-03-12 2021-03-12 画像処理装置および画像処理方法
US18/547,465 US20240153108A1 (en) 2021-03-12 2021-12-20 Image processing device and image processing method
PCT/JP2021/047098 WO2022190529A1 (ja) 2021-03-12 2021-12-20 画像処理装置および画像処理方法
DE112021007302.8T DE112021007302T5 (de) 2021-03-12 2021-12-20 Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
CN202180094085.2A CN116897369A (zh) 2021-03-12 2021-12-20 图像处理装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021040714A JP7439784B2 (ja) 2021-03-12 2021-03-12 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2022140069A JP2022140069A (ja) 2022-09-26
JP7439784B2 true JP7439784B2 (ja) 2024-02-28

Family

ID=83226257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021040714A Active JP7439784B2 (ja) 2021-03-12 2021-03-12 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US20240153108A1 (ja)
JP (1) JP7439784B2 (ja)
CN (1) CN116897369A (ja)
DE (1) DE112021007302T5 (ja)
WO (1) WO2022190529A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149641A (ja) 2019-03-15 2020-09-17 オムロン株式会社 物体追跡装置および物体追跡方法
JP2020149642A (ja) 2019-03-15 2020-09-17 オムロン株式会社 物体追跡装置および物体追跡方法
JP2020149111A (ja) 2019-03-11 2020-09-17 オムロン株式会社 物体追跡装置および物体追跡方法
JP2020160901A (ja) 2019-03-27 2020-10-01 オムロン株式会社 物体追跡装置および物体追跡方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203613A (ja) 2011-03-25 2012-10-22 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149111A (ja) 2019-03-11 2020-09-17 オムロン株式会社 物体追跡装置および物体追跡方法
JP2020149641A (ja) 2019-03-15 2020-09-17 オムロン株式会社 物体追跡装置および物体追跡方法
JP2020149642A (ja) 2019-03-15 2020-09-17 オムロン株式会社 物体追跡装置および物体追跡方法
JP2020160901A (ja) 2019-03-27 2020-10-01 オムロン株式会社 物体追跡装置および物体追跡方法

Also Published As

Publication number Publication date
DE112021007302T5 (de) 2024-01-25
WO2022190529A1 (ja) 2022-09-15
JP2022140069A (ja) 2022-09-26
US20240153108A1 (en) 2024-05-09
CN116897369A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
US11830141B2 (en) Systems and methods for 3D facial modeling
JP6467787B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
JP6735592B2 (ja) 画像処理装置及びその制御方法、画像処理システム
US11068700B2 (en) Polarization imaging for facial recognition enhancement system and method
US9697415B2 (en) Recording medium, image processing method, and information terminal
US9001219B2 (en) Image processing apparatus configured to detect object included in image and method therefor
JP6579950B2 (ja) カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
JP2015100066A (ja) 撮像装置及びその制御方法、並びにプログラム
WO2014017006A1 (ja) 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
JP2004094491A (ja) 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
US20090207260A1 (en) Image pickup apparatus and image pickup method
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
TW201931206A (zh) 影像物件追蹤方法及其系統與電腦可讀取儲存媒體
JP2015106252A (ja) 顔向き検出装置及び3次元計測装置
CN107621867A (zh) 熄屏控制方法、装置和终端设备
JP6585668B2 (ja) 物体検出装置
TW202001783A (zh) 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體
JP7439784B2 (ja) 画像処理装置および画像処理方法
CN104937608B (zh) 道路区域检测
WO2018225164A1 (ja) 情報処理装置および情報処理方法
KR20130038487A (ko) 싱글 카메라를 이용한 물체 거리 측정 장치 및 방법
JP2019062436A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6324097B2 (ja) 画像位置合わせ装置及び画像位置合わせ方法
KR101844004B1 (ko) 거리 정보를 포함하는 영상 생성 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7439784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150