JP6956325B2 - レーン特定方法およびレーン特定装置 - Google Patents

レーン特定方法およびレーン特定装置 Download PDF

Info

Publication number
JP6956325B2
JP6956325B2 JP2018518086A JP2018518086A JP6956325B2 JP 6956325 B2 JP6956325 B2 JP 6956325B2 JP 2018518086 A JP2018518086 A JP 2018518086A JP 2018518086 A JP2018518086 A JP 2018518086A JP 6956325 B2 JP6956325 B2 JP 6956325B2
Authority
JP
Japan
Prior art keywords
image
lane
pattern
processor
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018518086A
Other languages
English (en)
Other versions
JPWO2017199498A1 (ja
Inventor
純子 上田
慎治 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2017199498A1 publication Critical patent/JPWO2017199498A1/ja
Application granted granted Critical
Publication of JP6956325B2 publication Critical patent/JP6956325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、レーン特定方法および装置に関する。
従来から、映像において移動体を追跡する移動体追跡装置が知られている。例えば、特許文献1に記載の技術では、過去のフレーム画像における移動体の位置情報に基づき今回のフレーム画像における移動体の予測位置を求める。そして、今回のフレーム画像における画像データから移動体に特有の所定の特徴を持つ候補物体を抽出し、抽出された候補物体のうち予測位置により近い候補物体を移動体として割り当てる。
特開2004−46647号公報
本開示は、画像の中に存在するレーンの領域を精度よく特定する方法および装置に関する。
本開示におけるレーン特定方法およびレーン特定装置において、プロセッサは、周期性のあるピークを取る関数を、画像中の物体の輪郭に基づいて得られる線を用いて調整することで、画像中において前記レーンを仕切る物体を表すに対応するピークを持つパターンを算出し、パターンに基づいて画像の中に存在するレーンの領域を特定する。
本開示におけるレーン特定方法およびレーン特定装置は、画像の中に存在するレーンの領域を精度よく特定するのに有効である。
図1は、実施の形態1におけるレーン特定装置の使用の様子を示す図である。 図2は、実施の形態1におけるレーン特定装置の構成を示す図である。 図3は、実施の形態1におけるレーン特定装置の動作を説明するフローチャートである。 図4は、実施の形態1における処理対象の画像を示す図である。 図5は、実施の形態1におけるトップビュー画像を示す図である。 図6は、実施の形態1におけるトップビュー画像における物体の輪郭を線分化した様子を示す図である。 図7は、実施の形態1におけるパターンの算出概念を示す図である。 図8は、実施の形態1におけるトップビュー画像中において、算出したパターンに基づいてレーンの領域を特定した様子を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
以下、図1〜8を用いて、実施の形態1を説明する。
[1−1.構成]
図1は、実施の形態1におけるレーン特定装置の使用の様子を示す図である。
レーン特定装置100は、汎用コンピュータにレーン特定プログラムがインストールされたものである。レーン特定装置100は撮像装置200と通信可能に接続される。レーン特定装置100は専用の組込み機器であってもよいし、ハードウェア的に構成されてもよい。
撮像装置200は、ビデオカメラである。撮像装置200はプール300を図1に示すように俯瞰して撮像する。撮像装置200が撮像した動画ないし画像はレーン特定装置100へ送信される。
プール300は、複数のレーンを有する。プール300にはコースロープ302が複数張られている。なお、図1においては最上部のコースロープのみに符号を付したが、図1における破線状のものはコースロープを表す。コースロープ302はレーンを仕切る目印である。本実施の形態においては競技場の一例としてプールを示す。本開示はレーンを有する画像に存在するレーンの領域を精度良く求めるものである。よって、レーン領域が特定される対象はプールに限定されない。たとえば本開示は、陸上トラックや、道路などにおけるレーンを特定するために用いられることもできる。ただし、後述するように、レーン領域が特定される対象のサイズやレーン数が特定または仮定できている場合は、より精度の高いレーン領域の特定が可能になる。また、本開示はプールを撮像した画像のような、画像中に波紋や光の反射が現れやすいものに対して、特に好適にレーン領域の特定を行うことを可能とするものである。
図2は、実施の形態1におけるレーン特定装置の構成を示す図である。
レーン特定装置100はプロセッサ101と、記憶部102と、通信部103と、入力部104と、表示部105と、バス106とを有する。
プロセッサ101は演算を行うことでレーン特定装置の他の構成要素を制御する。
記憶部102は情報を一時的に、あるいは恒久的に記憶する。記憶部102はレーン特定装置のROM(Read Only Memory)やRAM(Random Access Memory)などに相当する。レーン特定装置100は用途やアクセススピードの必要性に応じて記憶部102を複数備えても良い。HDD(Hard Disk Drive)やSDRAM(Synchronus Dynamic Random Access Memory)、SSD(Solid State Drive)などを適用することで記憶部102を構成することができる。
通信部103は、レーン特定装置100と撮像装置200とを接続するインターフェースである。通信部103は、有線接続インターフェースでも良いし、無線接続インターフェースでも良い。通信部103は、撮像装置200が撮像した動画または画像をレーン特定装置100に送信するためのものである。よって、記憶媒体を用いて動画または画像を撮像装置200からレーン特定装置100へ移動する場合は、通信部103は必須の構成ではない。
入力部104は外部からの信号を受け付ける。入力部104はレーン特定装置100の入力装置や入力インターフェースなどに相当する。マウスやキーボードなどの入力装置、通信ポートや無線通信デバイスなどの入力インターフェースを適用することで入力部104を構成することができる。
表示部105は外部へ情報を表示する。液晶ディスプレイなどを適用することで表示部105を構成することができる。
バス106はレーン特定装置100を構成する各要素を接続する経路である。プロセッサ101にバス106を統合することでプロセッサ101の内部にバス106を構成することもできる。バス106は各要素を有線で接続しても良いし、各要素を無線で接続しても良い。
以上に述べたレーン特定装置100の構成は一例である。したがって以上に述べた構成に別の構成要素を追加することでレーン特定装置100を構成してもよい。また、以上に述べた構成から構成要素の一部を必要に応じて削除することでレーン特定装置100を構成してもよい。また、以上に述べた構成要素を互いに統合することでレーン特定装置100を構成してもよい。また、以上に述べた構成要素を以上の構成要素に分離してレーン特定装置100を構成してもよい。
[1−2.動作]
以上に述べたレーン特定装置100の動作を説明する。なお、レーン特定装置100は主としてプロセッサ101がレーン特定装置100の各要素と協業してプログラムを実行することで動作するものである。
図3は、実施の形態1におけるレーン特定装置の動作を説明するフローチャートである。
ステップS300において、レーン特定装置100は、撮像装置200から通信部103を介して画像を受け取る。受け取った画像が以下の動作における処理対象の画像となる。
図4は、実施の形態1における処理対象の画像を示す図である。図1に示すように、実施の形態1においては、撮像装置200がプール300を俯瞰するように撮像する。そのため、図4に示すように撮像装置200が撮像した画像は奥から手前にかけてプール300が広がって見える画像となる。
図4からも明らかなように、すでに述べたとおりプール300には複数のコースロープ302が張られている。なお、図4(図5も同じ)においては最左端のコースロープのみに符号を付したが、図4(図5も同じ)において破線状のものはコースロープを表す。
図4に示すように、プールの底面にはレーンの中央を示すレーンライン304が引かれている。なお、図4(図5も同じ)においては最左端のレーンラインのみに符号を付したが、図4(図5も同じ)においてコースロープ302と隣接する実線状のものはレーンラインを表す。その他、プールの底面にはレーンライン304と直交するクロスライン306が引かれている。
ステップS302において、プロセッサ101はステップS300で受け取った画像をトップビュー画像に変換する。
トップビュー画像とは対象物を真上から見下ろした際に得られる構図(平面視)の画像である。図4に示すように、撮像装置200が撮像した画像は奥から手前にかけてプール300が広がって見える画像となっていた。プール300は、平面視において本来は長方形である。本実施の形態においてプロセッサ101は、後の画像処理を行いやすくするために図4に示す画像をトップビュー画像に変換する。この処理は後の画像処理を行いやすくするために行うものであるから必須の処理ではない。画像をトップビュー画像に変換することをトップビュー変換という。
トップビュー変換を行うための手法は既知のものを適宜適用することができる。本実施の形態においては、台形補正を用いてトップビュー変換を行う手法を適用する例を説明する。まずレーン特定装置100のユーザは入力部104を用いることで、台形に歪んだプールの4隅の座標を指定する。たとえば図4においては、ユーザは4隅の座標として座標308、座標310、座標312、座標314を指定することになる。本実施の形態では4隅の座標としてコースロープを含む座標を指定した。このようにすると後述するステップS310の処理が容易になる。具体的には、4隅の座標として、指定する箇所をプールを仕切る物体(コースロープやプールサイド)とプールの前後手前端との交点とすることで、ステップS310の処理を容易にすることができる。プロセッサ101は指定された4点の座標が長方形になるような座標の変換行列を生成する。プロセッサ101が当該生成した変換行列を用いて4隅の座標内部の画素の座標を変換することでトップビュー画像を得ることができる。
図5は、実施の形態1におけるトップビュー画像を示す図である。以上のようにして、プロセッサ101は、撮像装置200が撮像した画像をトップビュー画像500に変換する。なお、撮像装置200が平面視で撮像を行うような箇所に設置されている場合も、トップビュー変換を省略することができる。また、トップビュー変換はレーン特定装置100のプロセッサ101によって行われる必要は無い。他の処理装置がトップビュー変換を行い、トップビュー変換後の画像をレーン特定装置に送信することでも、上述した動作と同様の結果を得ることができる。
ステップS304において、プロセッサ101はステップS302で変換したトップビュー画像から輝度エッジを抽出する。なお、トップビュー変換を省略している場合はステップS300で受け取った画像から輝度エッジを抽出する。
輝度エッジとは、画像において当該画像を構成する画素の輝度の変化が急な箇所のことである。画素の輝度の変化が急になる箇所の典型例は物体の輪郭である。
ステップS306において、プロセッサ101はステップS304で抽出した輝度エッジを膨張収縮させることで物体の輪郭を得る。実際の映像から輝度エッジを抽出すると、実際の物体の輪郭は線状であるのに対して、輝度エッジは画像中においてまばらな点として得られることが多い。本実施の形態では、輝度エッジを実際の物体の輪郭に近づけるために次の処理を行う。まず、プロセッサ101は、輝度エッジを抽出した画像に対して、輝度エッジとして得られた画素が、ある画素の周囲の所定範囲の領域内に1画素でもあれば、当該領域をすべて輝度エッジ画素に置き換える(膨張処理)。次にプロセッサ101は、膨張することで連結した輝度エッジ画素集の所定範囲の領域内に1画素でも輝度エッジ画素が欠けていれば当該領域を輝度エッジ画素から削除する(収縮処理)。このようにすることで膨張収縮された輝度エッジ画素が物体の輪郭をより正確に再現するようになる。なお、膨張処理、収縮処理を1回ずつだけでなく複数回繰り返すことで、輝度エッジ画素が物体の輪郭をより正確に再現するようになる。
なお、ステップS304およびステップS306の処理は物体の輪郭を抽出できる処理であれば適宜適用可能である。たとえば画素における色情報の変化を用いて物体の輪郭を抽出してもよいし、距離センサを用いて物体の輪郭を得てもよい。
ステップS308において、プロセッサ101はステップS306で得た物体の輪郭を線分に変換する。画像中における点の集合を画像中における線分に変換する手法としては確率的Hough変換と呼ばれる既知のアルゴリズムが用いられる。確率的Hough変換を用いることで、画像中においてブレやゆがみのある線を構成する点の集合の座標がスムーズな線を構成する座標に変換される。本実施の形態ではステップS306で得た物体の輪郭を構成する点に対して確率的Hough変換を行うことで画像中の輪郭をスムーズな線分として得る。なお、線分を得る方法は確率的Hough変換に限られない。たとえば物体の輪郭に対してぼかしフィルタをかけることで線分を得ても良い。また、物体の輪郭に対して上述した膨張収縮処理をさらに繰り返すことで線分を得てもよい。また、ステップS306までの処理で線分とみなせる程度の十分な品質の輪郭が得られている場合はステップS308の処理を省略しても良い。また、本開示においてステップS308が完了するまでにおいて得られるべき情報は線分に限られない。ステップS308が完了するまでにおいて得られるべき情報は、ステップS310以降の処理の対象として使用できる情報であればよい。本開示においてステップS308が完了するまでにおいて得られるべき情報は、物体の輪郭の一部を含む直線であってもよいし、もちろん曲線であってもよい。他には、鎖状や網目状の模様であっても良い。ただし、本実施の形態のように物体の輪郭に基づいて画像中から線を得ると、以降の処理の計算量が削減できるという利点がある。なお、本開示においては線分、直線、曲線を含む概念を単に線と呼ぶ。
以上のようにして、本実施の形態においてはトップビュー画像における物体の輪郭からの情報として線分を得ることができる。
図6は、実施の形態1におけるトップビュー画像における物体の輪郭を線分化した様子を示す図である。図6に示されるように以上に述べた処理を行うと、コースロープやプールサイドの輪郭を線分化した線600が綺麗に抽出できることが発明者らによって確認されている。このように画像中において(コースロープや、プールサイドのように)レーンを仕切る物体が存在する箇所と一致する座標に出現する線分を含む線を、レーンを仕切る物体を表す線という。一方で、図6に示すように、レーンラインやクロスラインについては水面の反射や波の影響で輪郭が忠実に抽出され難い。
なお、本実施の形態においては、ステップS308において一次的に得られた線分の集合の一部を、プール(競技場)のサイズに基づいて削除することで最終的な線分を得ている。具体的には、プロセッサ101は、プール(競技場)の画像中における進行方向のサイズ(長さ)を所定の値(本実施の形態では8)で除した値未満の長さの線分については線分としてみなさず削除を行う処理を行う。このようにすることで、競技場のレーンを仕切る物体の輪郭らしくない線分を最終的な線分から除去することができる。よって、レーン領域を特定する精度を向上させることができる。
ステップS310において、プロセッサ101は、ステップS308で得られた線分の、画像中における出現パターンを算出する。本開示では、レーンを仕切る物体(コースロープやプールサイド)が所定のパターンに基づいて出現することを前提としている。所定のパターンとはレーンの間隔に起因するパターンを意味する。たとえばプールにおいては等間隔にコースロープが張られているし、陸上のトラックや道路においても等間隔に白線が引かれている。本開示では当該パターンを算出することで、レーンを仕切る物体の座標を特定し、当該レーンを仕切る物体の間の領域をそれぞれ個別のレーンとして特定する。
ただし、図6に示すように、ステップS308で得られる直線は線600以外にも様々なものが存在する。これらの線分のうち、所定のパターンにしたがって出現する線600を特定することがステップS310の目的である。
出現パターンを算出する仕方は様々なものが考えられる。図7は、実施の形態1におけるパターンの算出概念を示す図である。本実施の形態においては図7に示すように、トップビュー変換後の水平方向の座標(画像左端を0とする)を角度、垂直方向を三角比として定義される以下の式を用いてパターンを算出する。
cos(αθ+β) ・・・(式1)
(式1)が線600が出現する水平座標(θ)において1(ピーク)に近い値をなるべく多く取るように、αおよびβを求める。そして求めたαおよびβを代入した(式1)を、出現パターンを算出する式として用いる。
具体的には図7に示すようなα、βを求める方法を説明する。まず、αの値は画像の中に存在するレーン数を仮定するパラメータに基づいて定められる。具体的には以下の式に基づいて定められる。
α=(仮定するレーン数)×360÷(トップビュー画像の水平方向の幅)・・・(式2)
プロセッサ101は、(式2)の値を定めることで、(式1)に基づいて仮定するレーン数+1個分のピークを取るグラフを生成する。ここで仮定するレーン数の初期値は入力部104からレーン特定装置100のユーザによって入力されても良いし、記憶部102に記録されているものを用いても良い。続いて、当該グラフがトップビュー画像中に水平方向の位相差βで存在するとして、(式1)に基づいてグラフの水平方向を調整する。本実施の形態ではβの初期値は0とする。なお、トップビュー変換の際に4隅の座標としてコースロープやプールサイドを含む座標を指定していると、βの真の値が0に近づくためステップS310の処理を好適に行うことができる。トップビュー変換を行わない際も画像の左端にコースロープやプールサイドが映るように撮影を行うとステップS310の処理を好適に行うことができる。そして、プロセッサ101は、ステップS308で得られたすべての線の水平方向の座標値θそれぞれを用いて
Σ|cos(αθ+β)| ・・・(式3)
を求める演算をする。
なおここで、θの値はステップS308で得られたすべての線の両端点の水平方向における中間の座標の値とするとよい。このようにすると、コースロープやプールサイドの輪郭を線分化した線600のような、レーンの進行方向と平行に近い線についてはθの値がコースロープ全体の水平座標(周期性のある水平座標)を表すものとして扱われ、一方でレーンの進行方向と直行する線(たとえばクロスラインの輪郭に基づく線)についてはθが周期性のないランダムな値となりやすいため、αおよびβの値がより正確に求まりやすくなる。
プロセッサ101は、αおよびβの初期値について(式3)の値を求めた後に、初期値とは異なるαまたはβの値について(式3)の値を求める。具体的にはプロセッサ101は、αを初期値の±2程度の、レーン数としてありうる範囲内の値に変化をさせて(式3)の値を求める。プールの例でいえば一般的なレーン数は6から10であるからこれらの範囲でαを変化させてもよい。また、プロセッサ101はβを初期値の−30(度)から+30(度)の範囲内の値に変化をさせて(式3)の値を求める。プロセッサ101は、全通りのαおよびβの組み合わせについて(式3)の値を求めた後に、最も大きい値をとるαとβの組み合わせを特定する。このようにして特定されたαおよびβを代入した(式1)を、出現パターンを算出する式として用いる。
なお、事前にレーン特定装置100のユーザによってレーンのとりうる最大の数が入力部104を介して入力されている場合は、αは当該最大の数の半分以下の値をとらないものとして(式3)の計算を行うと良い。このようにすると、本実施の形態のように、レーンの中央にレーンラインが引かれている場合に、レーンラインの輪郭を、レーンを仕切る物体を表す情報(コースロープやプールサイドの輪郭を線分化した線600)として誤認識する可能性が低減するからである。このようなαの下限の値は、上述したようにレーンのとりうる最大の数からプロセッサ101が求めてもよいし、レーン特定装置100のユーザによって入力部104を介してレーン特定装置100に入力されてもよい。
なお、以上の処理は必ずしもレーン特定装置100によって行われている必要はない。本開示において、レーン特定装置100は、ステップS310までに得られたパターンに基づいて画像の中に存在するレーンの領域を特定するものであれば良い。すなわち、レーン特定装置100は、他の処理装置がステップS310までの処理と同等の処理を行うことで得られたパターンを通信部103から取得した後に、ステップS312以降の処理を行ってもよい。また、さらにいえば、パターンの算出方法もステップS310の説明で述べたものに限定されない。本開示のパターンは物体の輪郭が出現するパターンであれば良く、線以外の複雑な模様を物体の輪郭として捉えている場合は、スペクトル解析その他の既知の手法を用いてパターンを算出してもよい。
ステップS312において、プロセッサ101はステップS310で算出したパターンに基づいて画像中のレーン領域を特定する。図8は、実施の形態1におけるトップビュー画像中において、算出したパターンに基づいてレーンの領域を特定した様子を示す図である。プロセッサ101は算出したパターンの水平座標と、トップビュー画像500の水平座標とを同期させ、算出したパターンのピーク(図8における矢印の起点)と隣接するピークの間に存在する水平座標を有するトップビュー画像500の領域をひとつのレーンとして特定する。図8においてはパターンが8つのピークをとるため、合計7つのレーンが特定されている。なお、レーン領域が特定される画像はトップビュー画像に限定されない。たとえば図8に示すトップビュー画像に対してステップS302とは逆の処理を行うことで、撮像装置200が撮像した画像中においてレーンを特定することも可能である。
以上のようにして、特定したレーンの領域は様々な態様で活用可能である。例えば表示部105においてトップビュー画像500または撮像装置200が撮像した画像を表示する際にレーンの領域をそれぞれ異なる色で表示することによって、映像編集作業の担当者の編集作業を容易にし、あるいは、映像の視聴者に高い臨場感を与えることができる。また、特定のレーン内に存在する人物や物体の属性が既知の場合は、当該属性をレーン領域に重畳して表示することで、どのレーンにどの人物や物体が存在するかを強調することができる。また、レーン内に存在する人物や物体を、画像認識技術を用いて追跡している場合は、当該追跡している人物や物体がどのレーン領域に存在するかを特定することで、追跡している人物や物体の属性を特定することも可能である。
なお、本実施の形態において、撮像装置200をプール300のレーンが縦に映る位置に設置した例について説明したが、撮像装置200をプール300のレーンが横に映る位置に設置してもよい。その場合、ステップS302において、ステップS300で受け取った画像をトップビュー画像に変換する際に、台形補正と合わせて画像を90度回転させる変換も加えると、ステップS304以降の処理を同様に行うことができる。
[1−3.効果等]
以上のように、本実施の形態において、レーン特定装置100のプロセッサ101は、画像中の物体の輪郭に基づいて得られる情報が画像中において現れるパターンに基づいて画像の中に存在するレーンの領域を特定する。
これにより、画像の中に存在するレーンの領域を精度よく特定することができる。
また、本実施の形態において、画像中の物体はレーンを仕切る物体である。
これにより、レーンの領域を現実的に画している物体の出現パターンに基づいてレーンの領域を特定することになる。よって、画像の中に存在するレーンの領域をより精度よく特定することができる。
また、本実施の形態において、画像中の物体の輪郭に基づいて得られる情報は、レーンを仕切る物体を表す線である。これにより、パターンを算出する精度が向上するため、画像の中に存在するレーンの領域をより精度よく特定することができる。
また、本実施の形態において、レーンを仕切る物体を表す線は、画像の中に存在する競技場のサイズに基づいて得られる。これにより、画像中のノイズに起因する線を排除することができる為、画像の中に存在するレーンの領域をより精度よく特定することができる。
また、本実施の形態において、パターンは画像の中に存在するレーン数を仮定するパラメータを基に算出される。これにより、物体の輪郭に基づいて得られる情報のうち、パターンの算出に用いることが望ましくない情報を排除することができる。よって、画像の中に存在するレーンの領域をより精度よく特定することができる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、映像中のレーンの領域を特定する方法または装置に適用可能である。たとえばスポーツ映像等の解析を取り扱う為のコンピュータに適用可能である。
100 レーン特定装置
101 プロセッサ
102 記憶部
103 通信部
104 入力部
105 表示部
106 バス
200 撮像装置
300 プール
302 コースロープ
304 レーンライン
306 クロスライン
308 座標
310 座標
312 座標
314 座標
500 トップビュー画像
600 線

Claims (10)

  1. プロセッサが画像の中に存在するレーンの領域を特定する方法であって、
    前記プロセッサは、
    周期性のあるピークを取る関数を、前記画像中の物体の輪郭に基づいて得られる線を用いて調整することで、前記画像中において前記レーンを仕切る物体を表すに対応するピークを持つパターンを算出し、
    前記パターンに基づいて前記画像の中に存在するレーンの領域を特定する、
    レーン特定方法。
  2. 前記画像中の物体はレーンを仕切る物体である、
    請求項1に記載のレーン特定方法。
  3. 前記プロセッサは、
    前記画像の中の物体の輪郭に基づいて得られる線を用いて前記関数の位置を調整することで前記パターンを算出する、
    請求項に記載のレーン特定方法。
  4. 前記プロセッサは、
    前記画像の中に存在する競技場のサイズに基づいて、前記画像の中の物体の輪郭に基づいて得られる線のうち一部の線を、前記パターンの算出に用いる線から除く
    請求項に記載のレーン特定方法。
  5. 前記プロセッサは、
    前記画像の中に存在するレーン数を仮定するパラメータを基に前記レーンを仕切る物体を表す線に対応するピークの数の候補を決定し、
    前記画像中の物体の輪郭に基づいて得られる線を用いて、前記関数のピークの数を前記候補のうちから決定することで前記パターンを算出る、
    請求項1に記載のレーン特定方法。
  6. 画像の中に存在するレーンの領域を特定する装置であって、
    前記装置のプロセッサは、
    周期性のあるピークを取る関数を、前記画像中の物体の輪郭に基づいて得られる線を用いて調整することで、前記画像中において前記レーンを仕切る物体を表すに対応するピークを持つパターンを算出し、
    前記パターンに基づいて前記画像の中に存在するレーンの領域を特定する、
    レーン特定装置。
  7. 前記画像中の物体はレーンを仕切る物体である、
    請求項6に記載のレーン特定装置。
  8. 前記プロセッサは、
    前記画像の中の物体の輪郭に基づいて得られる線を用いて前記関数の位置を調整することで前記パターンを算出する、
    請求項に記載のレーン特定装置。
  9. 前記プロセッサは、
    前記画像の中に存在する競技場のサイズに基づいて、前記画像の中の物体の輪郭に基づいて得られる線のうち一部の線を、前記パターンの算出に用いる線から除く
    請求項に記載のレーン特定装置。
  10. 前記プロセッサは、
    前記画像の中に存在するレーン数を仮定するパラメータを基に前記レーンを仕切る物体を表す線に対応するピークの数の候補を決定し、
    前記画像中の物体の輪郭に基づいて得られる線を用いて、前記関数のピークの数を前記候補のうちから決定することで前記パターンを算出る、
    請求項6に記載のレーン特定装置。
JP2018518086A 2016-05-18 2017-02-17 レーン特定方法およびレーン特定装置 Active JP6956325B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016099368 2016-05-18
JP2016099368 2016-05-18
PCT/JP2017/005875 WO2017199498A1 (ja) 2016-05-18 2017-02-17 レーン特定方法およびレーン特定装置

Publications (2)

Publication Number Publication Date
JPWO2017199498A1 JPWO2017199498A1 (ja) 2019-04-04
JP6956325B2 true JP6956325B2 (ja) 2021-11-02

Family

ID=60324967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018518086A Active JP6956325B2 (ja) 2016-05-18 2017-02-17 レーン特定方法およびレーン特定装置

Country Status (5)

Country Link
US (1) US11087486B2 (ja)
EP (1) EP3460755A4 (ja)
JP (1) JP6956325B2 (ja)
CN (1) CN109074662A (ja)
WO (1) WO2017199498A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6712362B2 (ja) * 2017-04-25 2020-06-17 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US10803723B2 (en) * 2019-06-27 2020-10-13 Darryl L Hurt Safety apparatus for a water body
JP7322549B2 (ja) * 2019-06-28 2023-08-08 セイコーエプソン株式会社 画像処理方法および画像処理装置
KR20210112672A (ko) * 2020-03-05 2021-09-15 삼성전자주식회사 객체를 검출하기 위한 프로세서 및 객체 검출 방법
CN114092891A (zh) * 2020-07-02 2022-02-25 上海际链网络科技有限公司 区域占用的分析方法及装置、存储介质、计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4327389B2 (ja) 2001-10-17 2009-09-09 株式会社日立製作所 走行レーン認識装置
JP2004046647A (ja) 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
EP1817689B1 (en) * 2004-11-18 2014-03-12 Gentex Corporation Improved image acquisition and processing systems for vehicle equipment control
EP1796042B1 (en) * 2005-12-06 2011-02-23 Nissan Motor Co., Ltd. Detection apparatus and method
JP6193819B2 (ja) * 2014-07-11 2017-09-06 株式会社Soken 走行区画線認識装置
EP3176756A4 (en) * 2014-07-28 2017-08-09 Panasonic Intellectual Property Management Co., Ltd. Augmented reality display system, terminal device and augmented reality display method
KR102227843B1 (ko) * 2014-08-22 2021-03-15 현대모비스 주식회사 차선 이탈 경보 시스템의 동작방법

Also Published As

Publication number Publication date
US11087486B2 (en) 2021-08-10
US20190096085A1 (en) 2019-03-28
WO2017199498A1 (ja) 2017-11-23
CN109074662A (zh) 2018-12-21
EP3460755A1 (en) 2019-03-27
JPWO2017199498A1 (ja) 2019-04-04
EP3460755A4 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
JP6956325B2 (ja) レーン特定方法およびレーン特定装置
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
EP3104332B1 (en) Digital image manipulation
US9661228B1 (en) Robust image feature based video stabilization and smoothing
CN106897648B (zh) 识别二维码位置的方法及其系统
TW202011733A (zh) 對影像進行目標取樣的方法及裝置
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
KR20150027291A (ko) 광류 추적 방법 및 장치
JP2013065304A (ja) 高速障害物検出
JP6331761B2 (ja) 判定装置、判定方法及び判定プログラム
KR101548639B1 (ko) 감시 카메라 시스템의 객체 추적장치 및 그 방법
US20220136979A1 (en) Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
CN111260675A (zh) 一种图像真实边界高精度提取方法及系统
JP2003323640A (ja) レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム
CN108961182B (zh) 针对视频图像的竖直方向灭点检测方法及视频扭正方法
JP6221283B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7360303B2 (ja) 画像処理装置および画像処理方法
JP6348020B2 (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
KR20150060032A (ko) 움직임 검출 시스템 및 방법
CN116105632B (zh) 一种结构光三维成像的自监督相位展开方法及装置
JP2019012496A (ja) 検出プログラム、方法、及び装置
JPWO2018134979A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2006004051A (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP6006698B2 (ja) マーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラム
JP5838874B2 (ja) 画像処理方法、装置及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210421

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210830