JPWO2020003510A1 - 特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置 - Google Patents

特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置 Download PDF

Info

Publication number
JPWO2020003510A1
JPWO2020003510A1 JP2020527141A JP2020527141A JPWO2020003510A1 JP WO2020003510 A1 JPWO2020003510 A1 JP WO2020003510A1 JP 2020527141 A JP2020527141 A JP 2020527141A JP 2020527141 A JP2020527141 A JP 2020527141A JP WO2020003510 A1 JPWO2020003510 A1 JP WO2020003510A1
Authority
JP
Japan
Prior art keywords
contour
subject
data
contour data
outline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020527141A
Other languages
English (en)
Other versions
JP7264163B2 (ja
Inventor
片岡　正弘
正弘 片岡
夢都 盛
夢都 盛
夏樹 原井
夏樹 原井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2020003510A1 publication Critical patent/JPWO2020003510A1/ja
Application granted granted Critical
Publication of JP7264163B2 publication Critical patent/JP7264163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Abstract

情報処理装置（１００）は、複数の物体の輪郭データを記憶する記憶部を参照して、撮影画像に含まれる被写体の輪郭に対応する複数の輪郭データが含まれるか否かの判定を行う。情報処理装置（１００）は、判定結果が肯定的である場合、記憶部を参照して、被写体の輪郭に対応する複数の輪郭データにそれぞれ対応付けられた複数の部位データを取得し、取得した複数の部位データに基づき、複数の物体のうち、被写体に対応する物体を特定する。

Description

本発明は、特定方法等に関する。
近年、画像からエッジを抽出し、輪郭（アウトライン）を特定し物体を認識する技術がある。たとえば、撮影された画像データの各画像ブロックからブロック間に跨がる複数エッジを抽出する。そして、複数のエッジから、輪郭を抽出し、撮影された角度に対応する物体モデルを絞り込み、物体認識を行う従来技術がある。
特開２０１７−０９１２０２号公報 特開２０１２−２１２３２２号公報
しかしながら、上述した従来技術では、撮影画像に含まれる被写体の特定に要する計算負荷が大きくなるという問題がある。
たとえば、画像ブロックから複数のエッジを抽出し、輪郭を特定するためには、多くの計算量が必要である。さらに、撮影された角度に対応する物体モデルを絞り込み、物体を認識するためには、さらに計算負荷が増加する。
１つの側面では、本発明は、撮影画像に含まれる被写体の特定に要する計算負荷を軽減することができる特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置を提供することを目的とする。
第１の案では、コンピュータに次の処理を実行させる。コンピュータは、撮影装置により撮影された撮影画像を取得する。コンピュータは、複数の物体の輪郭の形状を示す複数の輪郭データを記憶する記憶部を参照して、複数の輪郭データに、取得した撮影画像に含まれる被写体の輪郭に対応する複数の輪郭データが含まれるか否かの判定を行う。コンピュータは、判定結果が肯定的である場合、物体の輪郭の内側に位置する部位の形状又は模様を示す部位データを物体の輪郭の形状を示す輪郭データに対応付けて記憶する記憶部を参照して、被写体の輪郭に対応する複数の輪郭データにそれぞれ対応付けられた複数の部位データを取得する。コンピュータは、取得した複数の部位データに基づき、複数の物体のうち、被写体に対応する物体を特定する。
撮影画像に含まれる被写体の特定に要する計算負荷を軽減することができる。
図１は、本実施例１に係る情報処理装置の処理を説明するための図である。 図２は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。 図３は、本実施例１に係る画像バッファのデータ構造の一例を示す図である。 図４は、PostScriptデータの一例を示す図である。 図５は、アウトラインとスクリプトデータとの関係を説明するための図である。 図６は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。 図７は、本実施例２に係る情報処理装置の処理を説明するための図である。 図８は、アウトラインとスクリプトデータとの関係を説明するための図である。 図９は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。 図１０は、本実施例２に係る特定部の処理を説明するための図である。 図１１は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。 図１２は、情報処理装置のその他の処理を説明するための図である。 図１３は、本実施例１に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図１４は、本実施例２に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
以下に、本発明にかかる特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図１は、本実施例１に係る情報処理装置の処理を説明するための図である。情報処理装置は、ステレオカメラにより撮影された撮影画像データ１０を取得する。情報処理装置は、ステレオカメラの視差を利用して、撮影画像データから被写体の輪郭の形状を特定する。情報処理装置が特定した被写体の輪郭の形状をアウトライン１０ａとする。
情報処理装置は、アウトライン１０ａと、アウトライン情報１４２とを比較して、撮影画像データ１０に含まれる被写体が、アウトライン情報に登録された複数の物体のうち、いずれの物体に対応するのかを特定する。
アウトライン情報１４２は、物体のアウトラインの情報と、物体に含まれるパーツのアウトラインの情報とを保持する。たとえば、アウトライン情報１４２は、車両Ａのアウトライン２０ａと、車両Ａのパーツのアウトライン２１ａとを対応付ける。アウトライン情報１４２は、車両Ｂのアウトライン２０ｂと、車両Ｂのパーツのアウトライン２１ｂとを対応付ける。アウトライン情報１４２は、車両Ｃのアウトライン２０ｃと、車両Ｃのパーツのアウトライン２１ｃとを対応付ける。
情報処理装置は、被写体のアウトライン１０ａと、アウトライン情報１４２の各アウトライン２０ａ，２０ｂ，２０ｃとを比較し、アウトライン１０ａと類似するアウトラインを、各アウトライン２０ａ，２０ｂ，２０ｃから特定する。図１に示す例では、アウトライン１０ａと類似するアウトラインを、アウトライン２０ａ，２０ｃとする。
情報処理装置は、アウトライン２０ａ，２０ｃを特定すると、アウトラインに対応付けられたパーツのエッジ２１ａ，２１ｃと、画像エッジ１０ｂとの比較を行う。この画像エッジ１０ｂは、撮影画像データ１０の全領域の内、被写体の輪郭の内側の領域からエッジを抽出した画像である。情報処理装置は、画像エッジ１０ｂと、アウトライン２１ａ、２１ｃとを比較し、アウトライン２１ａの方が、アウトライン２１ｂよりも、画像エッジ１０ｂに類似している場合に、被写体に対応する物体が、「車両Ａ」であると判定する。
上述したように、本実施例１に係る情報処理装置は、撮影画像データ１０からアウトライン１０ａを特定し、アウトライン１０ａと、アウトライン情報１４２の物体のアウトライン２０ａ〜２０ｃとの比較により、物体の絞り込みを行う。情報処理装置は、絞り込みを行った後に、撮影画像データ１０の画像エッジ１０ｂと、パーツのエッジとの比較を行い、被写体に対応する物体を特定する処理を行う。これにより、撮影画像データに含まれる被写体の特定に要する計算負荷を軽減することができる。
次に、本実施例１に係る情報処理装置の構成の一例について説明する。図２は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図２に示すように、情報処理装置１００は、カメラ１０５、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。
カメラ１０５は、被写体を２つの異なる方向から同時に撮影するステレオカメラ（双眼カメラ）または、左右に可動可能な単眼カメラであり、視差により被写体のアウトラインを識別することができる。カメラ１０５は、第１の方向から撮影した第１撮影画像データと、第１の方向とは異なる第２の方向から撮影した第２撮影画像データとを、情報処理装置１００に出力する。以下の説明では、適宜、第１撮影画像データと、第２撮影画像データとをまとめて「撮影画像データ」と表記する。
通信部１１０は、ネットワークを介して外部装置とデータ通信を実行する処理部である。通信部１１０は、通信装置の一例である。情報処理装置１００は、ネットワークを介して、カメラ１０５に接続し、ネットワークを介して、撮影画像データを受信してもよい。
入力部１２０は、情報処理装置１００に各種の情報を入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。
表示部１３０は、制御部１５０から出力される各種の情報を表示するための表示装置である。たとえば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。
記憶部１４０は、画像バッファ１４１と、アウトライン情報１４２とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
画像バッファ１４１は、カメラ１０５に撮影された撮影画像データを格納するバッファである。図３は、本実施例１に係る画像バッファのデータ構造の一例を示す図である。図３に示すように、画像バッファ１４１は、時刻と、撮影画像データとを対応付ける。時刻は、撮影画像データが撮影された時刻である。撮影画像データは、カメラ１０５に撮影された画像データである。
アウトライン情報１４２は、物体の向き情報と、物体のアウトラインと、物体に含まれる各パーツの情報とを保持する情報である。アウトライン情報１４２は、物体に含まれる各パーツの情報として、PostScriptデータを有する。
PostScriptデータは、アウトラインや複数のパーツのエッジを描画するためのPostScriptデータである。図４は、PostScriptデータの一例を示す図である。図４に示すように、このPostScriptデータ４０は、複数のPostScriptデータ４０ａ，４０ｂ，４０ｃ，４０ｄを含む。一例として、PostScriptデータ４０ａ〜４０ｄを示すが、PostScriptデータ４０は、他のPostScriptデータを含んでいてもよい。
最上層のPostScriptデータ４０ａは、物体（全体）の輪郭のアウトラインを描画するためのPostScriptデータである。たとえば、PostScriptデータ４０が、車両Ａの角度「０°／０：００」のPostScriptデータである場合には、物体（全体）の輪郭のアウトラインは、図１で説明したアウトライン２０ａに対応する。以下の説明では、適宜、最上層のPostScriptデータにより描画されるアウトラインを、「最上層アウトライン」と表記する。
PostScriptデータ４０ａの配下の各PostScriptデータ４０ｂ〜４０ｄは、物体の輪郭内に含まれる各パーツのエッジを描画するためのPostScriptデータである。たとえば、PostScriptデータ４０ｂは、物体の右ウインカーのエッジを描画するためのPostScriptデータである。PostScriptデータ４０ｃは、物体の左ウインカーのエッジを描画するためのPostScriptデータである。PostScriptデータ４０ｄは、物体の輪郭内の他のパーツのエッジを描画するためのPostScriptデータである。以下の説明では、適宜、配下のPostScriptデータにより描画されるエッジを「パーツエッジ」と表記する。たとえば、PostScriptデータ４０ａの配下の各PostScriptデータ４０ｂ〜４０ｄに規定される座標は、最上層のPostScriptデータで規定された座標を基準とする相対的な座標であってもよい。
図５は、アウトラインとスクリプトデータとの関係を説明するための図である。図５では、一例として、アウトライン５に対応するPostScriptデータ６を示す。PostScriptデータ６により、アウトライン５を描画することができる。
アウトライン５は、直線５ＡＢ、曲線５ＢＣ、直線５ＣＤ、直線５ＤＡからなる。直線５ＡＢは、制御点Ａと制御点Ｂとを結ぶ直線である。直線５ＣＤは、制御点Ｃと制御点Ｄとを結ぶ直線である。直線５ＤＡは、制御点Ｄと制御点Ａとを結ぶ直線である。曲線５ＢＣは、制御点Ｂと制御点Ｃとを結ぶ曲線であり、制御点α，βおよび制御点（端点）Ｂ，Ｃにより、曲線の形状が決定される。
アウトライン５の制御点Ａ，Ｂ，Ｃ，Ｄ、制御点α，βを基にして、アウトライン５のPostScriptデータ６が生成される。PostScriptデータ６に含まれる「Ｘａ，Ｙａ」は、制御点Ａの座標を示すものである。「Ｘｂ，Ｙｂ」は、制御点Ｂの座標を示すものである。「Ｘｃ，Ｙｃ」は、制御点Ｃの座標を示すものである。「Ｘｄ，Ｙｄ」は、制御点Ｄの座標を示すものである。「Ｘα，Ｙα」は、制御点αの座標を示すものである。「Ｘβ，Ｙβ」は、制御点βの座標を示すものである。PostScriptデータ６には、各種のコマンド「newpath moveto lineto curveto stroke showpage」が含まれる。
制御部１５０は、取得部１５１と、判定部１５２と、特定部１５３と、出力部１５４とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
取得部１５１は、カメラ１０５から、撮影画像データを取得する処理部である。取得部１５１は、取得した撮影画像データを時刻と対応付けて、画像バッファ１４１に格納する。カメラ１０５は、撮影時に時刻情報を、撮影画像データに付与してもよいし、取得部１５１が、図示しないタイマから時刻の情報を取得してもよい。
判定部１５２は、画像バッファ１４１に格納された撮影画像データと、アウトライン情報１４２とを基にして、撮影画像データに含まれる被写体のアウトラインと類似する最上層アウトラインを判定する処理部である。以下において、判定部１５２の処理の一例について説明する。
判定部１５２は、撮影画像データ（第１撮影画像データおよび第２撮影画像データ）を基にして、ステレオカメラの原理により、撮影画像上の被写体の輪郭形状を抽出する。判定部１５２は、輪郭形状を、被写体のアウトラインとして特定する。以下の説明では、撮影画像データから抽出した被写体のアウトラインを「画像アウトライン」と表記する。
判定部１５２は、アウトライン情報１４２の各PostScriptデータについて、最上層のPostScriptデータを基にして、最上層アウトラインをそれぞれ描画する。判定部１５２は、描画した各最上層アウトラインと、画像アウトラインとを比較して類似度を算出する。判定部１５２は、画像アウトラインとの類似度が所定の類似度以上となる最上層アウトラインを判定する。判定部１５２は、各最上層アウトラインのうち、画像アウトラインとの類似度が所定の類似度以上となる最上層アウトラインの情報を、特定部１５３に出力する。以下の説明では、画像アウトラインとの類似度が所定の類似度以上となる最上層アウトラインを「候補アウトライン」と表記する。候補アウトラインは、複数であってもよい。
判定部１５２は、最上層アウトラインと、画像アウトラインとの類似度をどのように算出してもよい。たとえば、判定部１５２は、最上層アウトラインに囲まれる領域と、画像アウトラインに囲まれる領域との一致率を、類似度として算出してもよい。
また、判定部１５２は、撮影画像データの全領域のうち、画像アウトラインに囲まれる領域を抽出し、抽出した領域の画像からエッジを抽出し、画像エッジを生成する。たとえば、判定部１５２は、ハフ変換などを用いて、画像エッジを生成する。
判定部１５２は、上記の処理を実行し、候補アウトラインの情報と、画像エッジの情報を、特定部１５３に出力する。判定部１５２が特定部１５３に出力する候補アウトラインの情報は、候補アウトラインを特定可能な情報であり、識別情報と、角度（向き情報）とを含む。
特定部１５３は、候補アウトラインの情報を受け付けると、候補アウトラインの内側に位置する部品の形状または模様の形状と、撮影画像データの画像エッジとを基にして、撮影画像データの被写体に対応する物体を特定する処理部である。以下において、特定部１５３の処理の一例について説明する。
特定部１５３は、１つの候補アウトラインを選択し、選択した候補アウトラインの配下のPostScriptデータから、各パーツのエッジ描画し、画像エッジに含まれるエッジの各形状と、各パーツのエッジとを比較する。特定部１５３は、比較したパーツのエッジの内、類似度が閾値以上となるエッジの形状が存在するパーツのエッジの数をカウントする。以下の説明では、類似度が閾値以上となるエッジの形状が存在するパーツのエッジの数を「一致数」と表記する。
特定部１５３は、パーツのエッジと、画像エッジの形状との類似度をどのように算出してもよい。たとえば、判定部１５２は、パーツのエッジに囲まれる領域と、画像エッジにより形成される領域との一致率を、類似度として算出してもよい。
特定部１５３は、他の候補アウトラインに対して同様に一致数をカウントする処理を繰り返し実行する。特定部１５３は、各候補アウトラインのうち、一致数が最大となる候補アウトラインに対応する識別情報を特定する。特定部１５３が特定した識別情報が、撮影画像データの被写体に対応する物体の識別情報となる。特定部１５３は、特定した識別情報を、出力部１５４に出力する。
出力部１５４は、特定部１５３に特定された、識別情報を、出力する処理を行う処理部である。たとえば、出力部１５４は、識別情報を、通信部１１０を介して、他の外部装置に出力する。出力部１５４は、画像アウトラインの抽出元となった撮影画像データと、識別情報とを対応付けた情報を出力してもよい。
次に、本実施例１に係る情報処理装置１００の処理手順の一例について説明する。図６は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図６に示すように、情報処理装置１００の取得部１５１は、撮影画像データを取得し、画像バッファ１４１に格納する（ステップＳ１０１）。
情報処理装置１００の判定部１５２は、被写体の画像アウトラインを抽出する（ステップＳ１０２）。判定部１５２は、画像アウトライン内の画像エッジを生成する（ステップＳ１０３）。判定部１５２は、画像アウトラインとアウトライン情報１４２の最上層アウトラインとを比較し、画像アウトラインと類似する最上層アウトライン（候補アウトライン）を特定する（ステップＳ１０４）。
情報処理装置１００の特定部１５３は、候補アウトラインを選択する（ステップＳ１０５）。特定部１５３は、選択した候補アウトラインの配下のPostScriptデータから、パーツのエッジを描画する（ステップＳ１０６）。
特定部１５３は、画像エッジとパーツのエッジとを比較して、一致数をカウントする（ステップＳ１０７）。特定部１５３は、全ての候補アウトラインを選択したか否かを判定する（ステップＳ１０８）。特定部１５３は、全ての候補アウトラインを選択していない場合には（ステップＳ１０８，Ｎｏ）、未選択の候補アウトラインを選択し（ステップＳ１０９）、ステップＳ１０６に移行する。
一方、特定部１５３は、全ての候補アウトラインを選択した場合には（ステップＳ１０８，Ｙｅｓ）、一致数が最大となる候補アウトラインに対応する識別情報を特定する（ステップＳ１１０）。情報処理装置１００の出力部１５４は、特定された識別情報と、撮影画像データとを外部装置（あるいは、表示部１３０）に出力する（ステップＳ１１１）。
次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、撮影画像データから画像アウトラインを特定し、画像アウトラインと、アウトライン情報１４２との比較により、最上層アウトラインの絞り込みを行う。情報処理装置は、絞り込みを行った後に、撮影画像データの画像エッジと、パーツのエッジとの比較を行い、被写体に対応する物体を特定する処理を行う。これにより、撮影画像データに含まれる被写体の特定に要する計算負荷を軽減することができる。
情報処理装置１００によれば、ステレオカメラの原理により、撮影画像上の被写体の輪郭形状（画像アウトライン）を抽出し、最上層アウトラインの絞り込みを行う。このため、画像から抽出されるエッジを用いる場合と比較して、容易に最上層アウトラインの絞り込みを行うことができる。
図７は、本実施例２に係る情報処理装置の処理を説明するための図である。情報処理装置は、ステレオカメラにより撮影された撮影画像データ３１，３２，３３，３４を取得する。情報処理装置は、ステレオカメラの視差を利用して、各撮影画像データ３１〜３４から被写体の輪郭の形状を特定する。
たとえば、撮影画像データ３１に含まれる被写体の輪郭の形状をアウトライン３１ａとする。撮影画像データ３２に含まれる被写体に輪郭の形状をアウトライン３２ａとする。撮影画像データ３３に含まれる被写体に輪郭の形状をアウトライン３３ａとする。撮影画像データ３４に含まれる被写体に輪郭の形状をアウトライン３４ａとする。
アウトライン情報２４２は、物体の向き情報と、物体のアウトラインの情報とを対応付けて保持する。アウトライン情報２４２では、物体の向き情報は、物体の角度を示し、昇順に並んでいる。アウトライン４３ａは、向き「０°」の車両Ａの輪郭の形状である。アウトライン４１ａは、向き「６０°」の車両Ａの輪郭の形状である。アウトライン４２ａは、向き「１２０°」の車両Ａの輪郭の形状である。車両Ａに関する他の向きのアウトラインの図示は省略する。
アウトライン４３ｂは、向き「０°」の車両Ｂの輪郭の形状である。アウトライン４１ｂは、向き「６０°」の車両Ｂの輪郭の形状である。アウトライン４２ｂは、向き「１２０°」の車両Ｂの輪郭の形状である。車両Ｂに関する他の向きのアウトラインの図示は省略する。
アウトライン４３ｃは、向き「０°」の車両Ｃの輪郭の形状である。アウトライン４１ｃは、向き「６０°」の車両Ｃの輪郭の形状である。アウトライン４２ｃは、向き「１２０°」の車両Ｃの輪郭の形状である。車両Ｃに関する他の向きのアウトラインの図示は省略する。
アウトライン情報２４２のより具体的なデータ構造は、図８に示すものとなる。図８は、本実施例２で用いるアウトライン情報のデータ構造の一例を示す図である。図８に示すように、アウトライン情報２４２は、識別情報と、角度（時刻表現による物体の向き）毎のPostScriptデータを有する。識別情報は、物体を一意に識別する情報である。情報処理装置は、各アウトライン３１ａ〜３４ａと、アウトライン情報２４２とを比較して、撮影画像データ３１〜３４に含まれる被写体が、アウトライン情報２４２に登録された複数の物体のうち、いずれの物体に対応するのかを特定する。
情報処理装置は、各アウトライン３１ａ〜３４ａと、アウトライン情報２４２とを比較し、各アウトライン３１ａ〜３４ａと類似するアウトラインを、特定する処理を繰り返し実行する。
たとえば、情報処理装置は、アウトライン３１ａと、向き情報「０°」の各アウトライン４３ａ〜４３ｃとを比較し、アウトライン３１ａと類似するアウトライン４３ａ，４３ｃを特定する。情報処理装置は、アウトライン３２ａと、図示しない向き情報「３０°」の各アウトラインとを比較し、類似するアウトラインを特定する。
情報処理装置は、アウトライン３３ａと、向き情報「６０°」の各アウトライン４１ａ〜４１ｃとを比較し、アウトライン３３ａと類似するアウトライン４１ａを特定する。情報処理装置は、アウトライン３４ａと、図示しない向き情報「９０°」の各アウトラインとを比較し、類似するアウトラインを特定する。
情報処理装置は、上記処理を実行し、アウトライン情報２４２の車両毎に、類似するアウトラインの数を集計する。情報処理装置は、類似するアウトラインの数が最大となる車両を、撮影画像データの被写体に対応する車両であると判定する。
たとえば、車両Ａに対応する各向き情報の各アウトラインのうち、「ｌ個」のアウトラインが、撮影画像データ３１〜３４のアウトライン３１ａ〜３４ａと類似するアウトラインとして特定されたものとする。車両Ｂに対応する各向き情報の各アウトラインのうち、「ｍ個」のアウトラインが、撮影画像データ３１〜３４のアウトライン３１ａ〜３４ａと類似するアウトラインとして特定されたものとする。車両Ｃに対応する各向き情報の各アウトラインのうち、「ｎ個」のアウトラインが、撮影画像データ３１〜３４のアウトライン３１ａ〜３４ａと類似するアウトラインとして特定されたものとする。また、ｌ個＞ｍ個＞ｎ個とする。この場合には、情報処理装置は、撮影画像データ３１〜３４に含まれる被写体を「車両Ａ」として特定する。
上記のように、本実施例２に係る情報処理装置は、各撮影画像データからアウトラインをそれぞれ抽出し、アウトライン情報２４２に格納された角度毎のアウトラインと、抽出したアウトラインとの対応関係から、被写体に対応する物体を特定する。これによって、被写体の輪郭の形状が継続的に変化しても、被写体に対応する物体を判定する精度が低下することを抑止することができる。
次に、本実施例２に係る情報処理装置の構成の一例について説明する。図９は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図９に示すように、情報処理装置２００は、カメラ２０５、通信部２１０、入力部２２０、表示部２３０、記憶部２４０、制御部２５０を有する。
カメラ２０５は、被写体を２つの異なる方向から同時に撮影するステレオカメラ（双眼カメラ）または、左右に可動可能な単眼カメラである。カメラ２０５は、撮影画像データを、情報処理装置２００に出力する。カメラ２０５に関するその他の説明は、カメラ１０５に関する説明と同様である。
通信部２１０は、ネットワークを介して外部装置とデータ通信を実行する処理部である。通信部２１０は、通信装置の一例である。情報処理装置２００は、ネットワークを介して、カメラ２０５に接続し、ネットワークを介して、撮影画像データを受信してもよい。
入力部２２０は、情報処理装置２００に各種の情報を入力するための入力装置である。たとえば、入力部２２０は、キーボードやマウス、タッチパネル等に対応する。
表示部２３０は、制御部２５０から出力される各種の情報を表示するための表示装置である。たとえば、表示部２３０は、液晶ディスプレイやタッチパネル等に対応する。
記憶部２４０は、画像バッファ２４１と、アウトライン情報２４２とを有する。記憶部２４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
画像バッファ２４１は、カメラ２０５に撮影された撮影画像データを格納するバッファである。画像バッファ２４１のデータ構造は、図３で説明した画像バッファ１４１のデータ構造と同様であるため、説明を省略する。
アウトライン情報２４２は、物体の向き情報と、物体のアウトラインと、物体に含まれる各パーツの情報とを保持する情報である。アウトライン情報２４２のデータ構造は、図８で説明したものと同様である。
制御部２５０は、取得部２５１と、特定部２５２と、判定部２５３と、出力部２５４とを有する。制御部２５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
取得部２５１は、カメラ２０５から、撮影画像データを取得する処理部である。取得部２５１は、取得した撮影画像データを時刻と対応付けて、画像バッファ２４１に格納する。カメラ２０５は、撮影時に時刻情報を、撮影画像データに付与してもよいし、取得部２５１が、図示しないタイマから時刻の情報を取得してもよい。
特定部２５２は、画像バッファ２４１に格納された撮影画像データと、アウトライン情報２４２とを基にして、撮影画像データの画像アウトラインと類似する最上層アウトラインを特定する処理部である。最上層アウトラインは、図８で説明したように、最上層のPostScriptデータにより描画されるアウトラインである。
特定部２５２は、撮影画像データの時刻、類似する最上層アウトラインに対応する識別情報、向き情報等を含む特定情報を生成し、判定部２５３に出力する。特定部２５２は、一つの撮影画像データに含まれる被写体のアウトラインと類似する最上層アウトラインがＮ個存在する場合には、Ｎ個の特定情報を生成する。
図１０は、本実施例２に係る特定部の処理を説明するための図である。たとえば、図１０に示すように、特定部２５２は、時刻ｔ１の撮影画像データ３１から、画像アウトライン（アウトライン）３１ａを抽出する。特定部２５２が、画像アウトラインを抽出する処理は、判定部１５２が、画像アウトラインを抽出する処理と同様である。
特定部２５２は、アウトライン情報２４２の各領域に格納されたPostScriptデータから最上層アウトラインをそれぞれ描画し、描画した最上層アウトラインと、画像アウトライン３１ａと類似度を算出する。特定部２５２は、画像アウトラインとの類似度が所定の類似度以上となる最上層アウトラインの情報を特定し、特定情報を生成する。また、特定部２５２は、実施例１の判定部１５２と同様の処理を行って、画像エッジとパーツのエッジとを基にして、一致数をカウントしてもよい。
たとえば、アウトライン情報２４２の領域２４２Ａ，２４２Ｂに格納された最上層アウトラインと、画像アウトライン３１ａとの類似度を所定の類似度以上とする。特定部２５２は、領域２４２Ａに対応する特定情報２４２ａを生成する。特定情報２４２ａには、時刻「ｔ１」と、識別情報「Ｃ００１」と、向き情報「０°」と、一致数「Ｍ１」が対応付けられる。特定部２５２は、領域２４２Ｂに対応する特定情報２４２ｂを生成する。特定情報２４２ｂには、時刻「ｔ１」と、識別情報「Ｃ００３」と、向き情報「０°」と、一致数「Ｍ２」とが対応付けられる。
特定部２５２は、撮影画像データ３１に続く、他の撮影画像データ（たとえば、図８の撮影画像データ３２〜３４等）についても、同様の処理を繰り返し実行し、特定情報を生成する。特定部２５２は、生成した各特定情報を、判定部２５３に出力する。
判定部２５３は、特定部２５２から取得する各特定情報を基にして、各撮影画像データの被写体に対応する物体の識別情報を判定する処理部である。判定部２５３は、判定した識別情報を、出力部２５４に出力する。
たとえば、判定部２５３は、複数の特定情報を、識別情報毎に分類する。判定部２５３は、各識別情報に分類された特定情報の数をカウントし、特定情報の数が最大となるグループに対応する識別情報を判定する。識別情報「Ｃ００１」を有する特定情報の数が「ｌ個」、識別情報「Ｃ００２」を有する特定情報の数が「ｍ個」、識別情報「Ｃ００３」を有する特定情報の数が「ｎ個」とし、ｌ個＞ｍ個＞ｎ個とする。この場合には、撮影画像データに含まれる被写体に対応する物体の識別情報は「Ｃ００１」となる。
ここで、判定部２５３は、特定情報の数が同一となる識別情報が複数存在する場合には、次の処理を実行することで、一つの識別情報を判定してもよい。一例として、特定情報の数が同一となる識別情報を識別情報「Ｃ００１」、「Ｃ００３」として、判定部２５３の処理について説明する。
判定部２５３は、識別情報「Ｃ００１」を含む特定情報を、時系列に並べる。判定部２５３は、時系列に並べた特定情報を走査し、全体的な向き情報の変化の傾向が、昇順であるか降順であるかを判定する。変化の傾向が昇順である場合には、前後の特定情報の向き情報を比較し、向き情報が増加していれば、評価値に１を加え、向き情報が増加していない場合には、評価値に０を加える処理を繰り返し実行することで、識別情報「Ｃ００１」の評価値を算出する。
一方、判定部２５３は、時系列に並べた特定情報を走査し、全体的な向き情報の変化の傾向が降順である場合には、前後の特定情報の向き情報を比較し、向き情報が減少していれば、評価値に１を加え、向き情報が減少していない場合には、評価値に０を加える処理を繰り返し実行することで、識別情報「Ｃ００１」の評価値を算出する。
判定部２５３は、識別情報「Ｃ００３」についても、上記処理を実行することで、識別情報「Ｃ００３」の評価値を算出する。判定部２５３は、識別情報「Ｃ００１」の評価値と、「Ｃ００３」の評価値とを比較し、評価値の大きい側の識別情報を、撮影画像データに含まれる被写体に対応する物体の識別情報として判定する。
なお、判定部２５３は、判定部２５３は、特定情報に含まれる一致数を用いて、識別情報を判定する処理を行ってもよい。たとえば、判定部２５３は、上記処理を実行する場合に、各特定情報のうち、一致数が閾値未満となる特定情報を対象から除外する処理を行う。判定部２５３は、一致数に基づいて、該当する特定情報を除外した後に、残りの特定情報を分類する処理、評価値を算出する処理を行う。
出力部２５４は、判定部２５３に特定された、識別情報を、出力する処理を行う処理部である。たとえば、判定部２５３は、識別情報を、通信部１１０を介して、他の外部装置に出力する。出力部２５４は、画像アウトラインの抽出元となった撮影画像データと、識別情報とを対応付けた情報を出力してもよい。
次に、本実施例２に係る情報処理装置２００の処理手順の一例について説明する。図１１は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。図１１に示すように、情報処理装置２００の取得部２５１は、カメラ２０５から撮影画像データを取得し、画像バッファ２４１に格納する（ステップＳ２０１）。
情報処理装置２００の特定部２５２は、画像バッファ２４１から未選択の撮影画像データを選択する（ステップＳ２０２）。特定部２５２は、撮影画像データから画像アウトライン宇を抽出する（ステップＳ２０３）。特定部２５２は、画像アウトラインと、アウトライン情報２４２の各最上層アウトラインとを比較する（ステップＳ２０４）。
特定部２５２は、画像アウトラインに類似する最上層アウトラインを特定し、特定情報を生成する（ステップＳ２０５）。特定部２５２は、画像バッファ２４１に未選択の撮影画像データが存在するか否かを判定する（ステップＳ２０６）。
特定部２５２は、未選択の撮影画像データが存在する場合には（ステップＳ２０６，Ｙｅｓ）、未選択の撮影画像データを選択し（ステップＳ２０７）、ステップＳ２０３に移行する。一方、特定部２５２は、未選択の撮影画像データが存在しない場合には（ステップＳ２０６，Ｎｏ）、ステップＳ２０８に移行する。
情報処理装置２００の判定部２５３は、特定情報のうち、一致数が閾値未満となる特定情報を除外する（ステップＳ２０８）。判定部２５３は、特定情報を分類して、撮影画像データに対応する識別情報を判定する（ステップＳ２０９）。情報処理装置２００の出力部２５４は、特定された識別情報と、撮影画像データとを外部装置（あるいは、表示部２３０）に出力する（ステップＳ２１０）。
次に、本実施例２に係る情報処理装置２００の効果について説明する。情報処理装置２００は、各撮影画像データからアウトラインをそれぞれ抽出し、アウトライン情報２４２に格納された角度毎のアウトラインと、抽出したアウトラインとの対応関係から、被写体に対応する物体を特定する。これによって、被写体の輪郭の形状が継続的に変化しても、被写体に対応する物体を判定する精度が低下することを抑止することができる。
ところで、上述した情報処理装置２００の処理は、上記の処理に限定されるものではない。たとえば、特定部２５２は、撮影画像データから画像アウトラインを抽出して、類似度が閾値以上となる複数の最上層アウトラインを特定した際に、続く撮影画像データの画像アウトラインと比較する最上層アウトラインを、順序関係を基にして絞り込んでもよい。
図１２は、情報処理装置のその他の処理を説明するための図である。たとえば、特定部２５２は、時刻ｔ１の撮影画像データ３１から、画像アウトライン（アウトライン）３１ａを抽出する。特定部２５２が、画像アウトラインを抽出する処理は、判定部１５２が、画像アウトラインを抽出する処理と同様である。
特定部２５２は、アウトライン情報２４２の各領域に格納されたPostScriptデータから最上層アウトラインをそれぞれ描画し、描画した最上層アウトラインと、画像アウトライン３１ａと類似度を算出する。特定部２５２は、画像アウトラインとの類似度が所定の類似度以上となる最上層アウトラインの情報を特定する。たとえば、アウトライン情報２４２の領域２４２Ａ，２４２Ｂに格納された最上層アウトラインと、画像アウトライン３１ａとの類似度を所定の類似度以上とする。
ここで、特定部２５２は、向き情報「０°」と所定の順序関係にある、向き情報「３０°」のうち、アウトライン情報２４２の領域２４２Ａ，２４２Ｂに対応する領域２４２Ｃ，２４２Ｄの最上層アウトラインを特定する。
続いて、判定部２５３は、時刻ｔ２の撮影画像データ３２から、画像アウトライン（アウトライン）３２ａを抽出する。判定部２５３は、特定部２５２に特定された、領域２４２Ｃの最上層アウトラインと、画像アウトライン３２ａとの類似度Ｒ１を算出する。判定部２５３は、領域２４２Ｄの最上層アウトラインと、画像アウトライン３２ａとの類似度Ｒ２を算出する。判定部２５３は、類似度Ｒ１が、類似度Ｒ２よりも大きい場合には、撮影画像データ３１，３２に含まれる被写体に対する識別情報「Ｃ００１」と判定する。一方、判定部２５３は、類似度Ｒ１が、類似度Ｒ２よりも大きくない場合には、撮影画像データ３１，３２に含まれる被写体に対する識別情報「Ｃ００３」と判定する。
上記のように、情報処理装置は、順序関係を基にして、撮影画像データの画像アウトラインと比較する最上層アウトラインベクトルを絞り込むことで、計算量を削減することが可能となる。また、被写体の輪郭の形状が継続的に変化しても、被写体に対応する物体を判定する精度が低下することを抑止することができる。
なお、図１２に説明した例では、向き情報「０°／０：００」と所定の順序関係（反時計回り）にある、向き情報「３０°」のうち、アウトライン情報２４２の領域２４２Ａ，２４２Ｂに対応する領域２４２Ｃ，２４２Ｄの最上層アウトラインを特定した。しかし、向き情報「０°」と所定の順序関係にある、向き情報は、たとえば、図示しない向き情報「−３０°（３３０°）」であってもよいし、両方の向き情報（３０°および３３０°）であってもよい。
上記実施例１に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１３は、本実施例１に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図１３に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、有線または無線ネットワークを介して、外部装置、カメラ１０５等との間でデータの授受を行うインタフェース装置３０５とを有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。
ハードディスク装置３０７は、取得プログラム３０７ａ、判定プログラム３０７ｂ、特定プログラム３０７ｃ、出力プログラム３０７ｄを有する。ＣＰＵ３０１は、取得プログラム３０７ａ、判定プログラム３０７ｂ、特定プログラム３０７ｃ、出力プログラム３０７ｄを読み出してＲＡＭ３０６に展開する。
取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。判定プログラム３０７ｂは、判定プロセス３０６ｂとして機能する。特定プログラム３０７ｃは、特定プロセス３０６ｃとして機能する。出力プログラム３０７ｄは、出力プロセス３０６ｄとして機能する。
取得プロセス３０６ａの処理は、取得部１５１の処理に対応する。判定プロセス３０６ｂの処理は、判定部１５２の処理に対応する。特定プロセス３０６ｃの処理は、特定部１５３の処理に対応する。出力プロセス３０６ｄの処理は、出力部１５４の処理に対応する。
なお、各プログラム３０７ａ〜３０７ｅについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ〜３０７ｅを読み出して実行するようにしてもよい。
上記実施例２に示した情報処理装置２００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１４は、本実施例２に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図１４に示すように、コンピュータ４００は、各種演算処理を実行するＣＰＵ４０１と、ユーザからのデータの入力を受け付ける入力装置４０２と、ディスプレイ４０３とを有する。また、コンピュータ４００は、記憶媒体からプログラム等を読み取る読み取り装置４０４と、有線または無線ネットワークを介して、外部装置、カメラ２０５等との間でデータの授受を行うインタフェース装置４０５とを有する。コンピュータ４００は、各種情報を一時記憶するＲＡＭ４０６と、ハードディスク装置４０７とを有する。そして、各装置４０１〜４０７は、バス４０８に接続される。
ハードディスク装置４０７は、取得プログラム４０７ａ、特定プログラム４０７ｂ、判定プログラム４０７ｃ、出力プログラム４０７ｄを有する。ＣＰＵ４０１は、取得プログラム４０７ａ、特定プログラム４０７ｂ、判定プログラム４０７ｃ、出力プログラム４０７ｄを読み出してＲＡＭ４０６に展開する。
取得プログラム４０７ａは、取得プロセス４０６ａとして機能する。特定プログラム４０７ｂは、判定プロセス４０６ｂとして機能する。判定プログラム４０７ｃは、判定プロセス４０６ｃとして機能する。出力プログラム４０７ｄは、出力プロセス４０６ｄとして機能する。
取得プロセス４０６ａの処理は、取得部２５１の処理に対応する。特定プロセス４０６ｂの処理は、特定部２５２の処理に対応する。判定プロセス４０６ｃの処理は、判定部２５３の処理に対応する。出力プロセス４０６ｄの処理は、出力部２５４の処理に対応する。
なお、各プログラム４０７ａ〜４０７ｅについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ４００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム４０７ａ〜４０７ｅを読み出して実行するようにしてもよい。
１００，２００ 情報処理装置
１０５，２０５ カメラ
１１０，２１０ 通信部
１２０，２２０ 入力部
１３０，２３０ 表示部
１４０，２４０ 記憶部
１４１，２４１ 画像バッファ
１４２，２４２ アウトライン情報
１５０，２５０ 制御部
１５１，２５１ 取得部
１５２，２５３ 判定部
１５３，２５２ 特定部
１５４，２５４ 出力部

Claims (18)

  1. コンピュータが、
    撮影装置により撮影された撮影画像を取得し、
    複数の物体の輪郭の形状を示す複数の輪郭データを記憶する記憶部を参照して、前記複数の輪郭データに、取得した前記撮影画像に含まれる被写体の輪郭に対応する複数の輪郭データが含まれるか否かの判定を行い、
    判定結果が肯定的である場合、物体の輪郭の内側に位置する部位の形状又は模様を示す部位データを前記物体の輪郭の形状を示す輪郭データに対応付けて記憶する記憶部を参照して、前記被写体の輪郭に対応する前記複数の輪郭データにそれぞれ対応付けられた複数の部位データを取得し、
    取得した前記複数の部位データに基づき、前記複数の物体のうち、前記被写体に対応する物体を特定する、
    処理を実行することを特徴とする特定方法。
  2. 前記複数の部位データを取得する際に、前記物体の輪郭の内側に位置する部位又は模様の該物体に対する位置を該物体の輪郭を示す輪郭データに対応付けて記憶する記憶部を参照して、前記被写体の輪郭に対応する前記複数の輪郭データにそれぞれ対応付けられた前記複数の部位データのうち、前記被写体の輪郭に対応する前記複数の輪郭データにそれぞれ対応付けられた複数の位置に対応する部位データを取得する、
    ことを特徴とする請求項１に記載の特定方法。
  3. 前記撮影装置は被写体を異なる方向から同時に撮影する撮影装置であり、前記撮影装置に同時に撮影された第１方向撮影画像と第２方向撮影画像とを基にして、前記被写体の輪郭を抽出する処理を更に実行することを特徴とする請求項１または２に記載の特定方法。
  4. 前記撮影画像のうち、前記抽出された被写体の輪郭の内側の領域から複数のエッジを抽出する処理を更に実行させ、前記特定する処理は、前記抽出された複数のエッジと、前記複数の部位データとに基づき、前記複数の物体のうち、前記被写体に対応する物体を特定することを特徴とする請求項３に記載の特定方法。
  5. コンピュータが、
    撮影装置により撮影された第１の撮影画像を取得すると、複数の物体それぞれが有する複数の輪郭の形状を示す複数の輪郭データ群を記憶する記憶部を参照して、前記複数の輪郭データ群のうち、取得した前記第１の撮影画像に含まれる被写体の輪郭に対応する輪郭データが含まれる複数の輪郭データ群を特定し、
    特定した前記複数の輪郭データ群それぞれに含まれる複数の輪郭データを、該複数の輪郭データの順序に対応付けて記憶する記憶部を参照して、特定した前記複数の輪郭データ群それぞれに含まれる複数の輪郭データのうち、前記被写体の輪郭に対応する前記輪郭データに対して特定の順序関係を有する複数の輪郭データを新たに特定し、
    前記撮影装置により新たに撮影された第２の撮影画像を取得すると、新たに特定した前記複数の輪郭データと、前記第２の撮影画像に含まれる前記被写体の輪郭との対応関係に基づき、前記被写体がいずれの物体に対応するかの判定を行う、
    処理を実行することを特徴とする判定方法。
  6. 前記撮影装置は被写体を異なる方向から同時に撮影する撮影装置であり、前記撮影装置に同時に撮影された第１方向撮影画像と第２方向撮影画像とを基にして、前記被写体の輪郭を抽出する処理を更に実行することを特徴とする請求項５に記載の判定方法。
  7. 撮影装置により撮影された撮影画像を取得し、
    複数の物体の輪郭の形状を示す複数の輪郭データを記憶する記憶部を参照して、前記複数の輪郭データに、取得した前記撮影画像に含まれる被写体の輪郭に対応する複数の輪郭データが含まれるか否かの判定を行い、
    判定結果が肯定的である場合、物体の輪郭の内側に位置する部位の形状又は模様を示す部位データを前記物体の輪郭の形状を示す輪郭データに対応付けて記憶する記憶部を参照して、前記被写体の輪郭に対応する前記複数の輪郭データにそれぞれ対応付けられた複数の部位データを取得し、
    取得した前記複数の部位データに基づき、前記複数の物体のうち、前記被写体に対応する物体を特定する、
    処理をコンピュータに実行させることを特徴とする特定プログラム。
  8. 前記複数の部位データを取得する際に、前記物体の輪郭の内側に位置する部位又は模様の該物体に対する位置を該物体の輪郭を示す輪郭データに対応付けて記憶する記憶部を参照して、前記被写体の輪郭に対応する前記複数の輪郭データにそれぞれ対応付けられた前記複数の部位データのうち、前記被写体の輪郭に対応する前記複数の輪郭データにそれぞれ対応付けられた複数の位置に対応する部位データを取得する、
    ことを特徴とする請求項７に記載の特定プログラム。
  9. 前記撮影装置は被写体を異なる方向から同時に撮影する撮影装置であり、前記撮影装置に同時に撮影された第１方向撮影画像と第２方向撮影画像とを基にして、前記被写体の輪郭を抽出する処理を更に実行することを特徴とする請求項７または８に記載の特定プログラム。
  10. 前記撮影画像のうち、前記抽出された被写体の輪郭の内側の領域から複数のエッジを抽出する処理を更に実行させ、前記特定する処理は、前記抽出された複数のエッジと、前記複数の部位データとに基づき、前記複数の物体のうち、前記被写体に対応する物体を特定することを特徴とする請求項９に記載の特定プログラム。
  11. 撮影装置により撮影された第１の撮影画像を取得すると、複数の物体それぞれが有する複数の輪郭の形状を示す複数の輪郭データ群を記憶する記憶部を参照して、前記複数の輪郭データ群のうち、取得した前記第１の撮影画像に含まれる被写体の輪郭に対応する輪郭データが含まれる複数の輪郭データ群を特定し、
    特定した前記複数の輪郭データ群それぞれに含まれる複数の輪郭データを、該複数の輪郭データの順序に対応付けて記憶する記憶部を参照して、特定した前記複数の輪郭データ群それぞれに含まれる複数の輪郭データのうち、前記被写体の輪郭に対応する前記輪郭データに対して特定の順序関係を有する複数の輪郭データを新たに特定し、
    前記撮影装置により新たに撮影された第２の撮影画像を取得すると、新たに特定した前記複数の輪郭データと、前記第２の撮影画像に含まれる前記被写体の輪郭との対応関係に基づき、前記被写体がいずれの物体に対応するかの判定を行う、
    処理をコンピュータに実行させることを特徴とする判定プログラム。
  12. 前記撮影装置は被写体を異なる方向から同時に撮影する撮影装置であり、前記撮影装置に同時に撮影された第１方向撮影画像と第２方向撮影画像とを基にして、前記被写体の輪郭を抽出する処理を更に実行することを特徴とする請求項１１に記載の判定プログラム。
  13. 撮影装置により撮影された撮影画像を取得する取得部と、
    複数の物体の輪郭の形状を示す複数の輪郭データを記憶する記憶部を参照して、前記複数の輪郭データに、取得した前記撮影画像に含まれる被写体の輪郭に対応する複数の輪郭データが含まれるか否かの判定を行う判定部と、
    前記判定部による判定結果が肯定的である場合、物体の輪郭の内側に位置する部位の形状又は模様を示す部位データを前記物体の輪郭の形状を示す輪郭データに対応付けて記憶する記憶部を参照して、前記被写体の輪郭に対応する前記複数の輪郭データにそれぞれ対応付けられた複数の部位データを取得し、取得した前記複数の部位データに基づき、前記複数の物体のうち、前記被写体に対応する物体を特定する特定部と
    を有することを特徴とする情報処理装置。
  14. 前記特定部は、前記複数の部位データを取得する際に、前記物体の輪郭の内側に位置する部位又は模様の該物体に対する位置を該物体の輪郭を示す輪郭データに対応付けて記憶する記憶部を参照して、前記被写体の輪郭に対応する前記複数の輪郭データにそれぞれ対応付けられた前記複数の部位データのうち、前記被写体の輪郭に対応する前記複数の輪郭データにそれぞれ対応付けられた複数の位置に対応する部位データを取得する、
    ことを特徴とする請求項１３に記載の情報処理装置。
  15. 前記撮影装置は被写体を異なる方向から同時に撮影する撮影装置であり、前記判定部は、前記撮影装置に同時に撮影された第１方向撮影画像と第２方向撮影画像とを基にして、前記被写体の輪郭を抽出することを特徴とする請求項１３または１４に記載の情報処理装置。
  16. 前記特定部は、前記撮影画像のうち、前記抽出された被写体の輪郭の内側の領域から複数のエッジを抽出し、抽出した複数のエッジと、前記複数の部位データとに基づき、前記複数の物体のうち、前記被写体に対応する物体を特定することを特徴とする請求項１５に記載の情報処理装置。
  17. 撮影装置により撮影された第１の撮影画像を取得すると、複数の物体それぞれが有する複数の輪郭の形状を示す複数の輪郭データ群を記憶する記憶部を参照して、前記複数の輪郭データ群のうち、取得した前記第１の撮影画像に含まれる被写体の輪郭に対応する輪郭データが含まれる複数の輪郭データ群を特定し、前記複数の輪郭データ群それぞれに含まれる複数の輪郭データを、該複数の輪郭データの順序に対応付けて記憶する記憶部を参照して、特定した前記複数の輪郭データ群それぞれに含まれる複数の輪郭データのうち、前記被写体の輪郭に対応する前記輪郭データに対して特定の順序関係を有する複数の輪郭データを新たに特定する特定部と、
    前記撮影装置により新たに撮影された第２の撮影画像を取得すると、新たに特定した前記複数の輪郭データと、前記第２の撮影画像に含まれる前記被写体の輪郭との対応関係に基づき、前記被写体がいずれの物体に対応するかの判定を行う判定部と
    を有することを特徴とする情報処理装置。
  18. 前記撮影装置は被写体を異なる方向から同時に撮影する撮影装置であり、前記特定部は、前記撮影装置に同時に撮影された第１方向撮影画像と第２方向撮影画像とを基にして、前記被写体の輪郭を抽出することを特徴とする請求項１７に記載の情報処理装置。
JP2020527141A 2018-06-29 2018-06-29 判定方法、判定プログラムおよび情報処理装置 Active JP7264163B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024894 WO2020003510A1 (ja) 2018-06-29 2018-06-29 特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2020003510A1 true JPWO2020003510A1 (ja) 2021-06-24
JP7264163B2 JP7264163B2 (ja) 2023-04-25

Family

ID=68986332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020527141A Active JP7264163B2 (ja) 2018-06-29 2018-06-29 判定方法、判定プログラムおよび情報処理装置

Country Status (5)

Country Link
US (1) US20210110558A1 (ja)
EP (1) EP3816931A4 (ja)
JP (1) JP7264163B2 (ja)
AU (1) AU2018429247B2 (ja)
WO (1) WO2020003510A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2007232389A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 立体形状検出装置
JP2014229010A (ja) * 2013-05-21 2014-12-08 株式会社デンソー 物体検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5645079B2 (ja) 2011-03-31 2014-12-24 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20140093142A1 (en) * 2011-05-24 2014-04-03 Nec Corporation Information processing apparatus, information processing method, and information processing program
JP5596628B2 (ja) * 2011-06-17 2014-09-24 トヨタ自動車株式会社 物体識別装置
US9866900B2 (en) * 2013-03-12 2018-01-09 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to detect shapes
US9582739B2 (en) * 2014-11-18 2017-02-28 Harry Friedbert Padubrin Learning contour identification system using portable contour metrics derived from contour mappings
JP2017091202A (ja) 2015-11-10 2017-05-25 国立大学法人静岡大学 物体認識方法及び物体認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2007232389A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 立体形状検出装置
JP2014229010A (ja) * 2013-05-21 2014-12-08 株式会社デンソー 物体検出装置

Also Published As

Publication number Publication date
US20210110558A1 (en) 2021-04-15
AU2018429247B2 (en) 2022-07-07
JP7264163B2 (ja) 2023-04-25
AU2018429247A9 (en) 2021-05-13
EP3816931A4 (en) 2021-07-07
AU2018429247A1 (en) 2021-01-28
EP3816931A1 (en) 2021-05-05
WO2020003510A1 (ja) 2020-01-02

Similar Documents

Publication Publication Date Title
US9363499B2 (en) Method, electronic device and medium for adjusting depth values
JP6639523B2 (ja) 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
US20180114092A1 (en) Devices, systems, and methods for anomaly detection
US9082000B2 (en) Image processing device and image processing method
JPWO2015136714A1 (ja) 画像識別装置、画像センサ、画像識別方法
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
Mai et al. Comparing salient object detection results without ground truth
JP2012053606A (ja) 情報処理装置および方法、並びにプログラム
JP2016031679A (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
CN108596079B (zh) 手势识别方法、装置及电子设备
CN109446364A (zh) 抓拍检索方法、图像处理方法、装置、设备及存储介质
JP2018151830A (ja) 画像処理装置、画像処理方法及びプログラム
JP6278108B2 (ja) 画像処理装置、画像センサ、画像処理方法
JP2017041190A (ja) 画像処理方法、画像処理装置、プログラム及び記録媒体
JP2018088049A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7258632B2 (ja) 物体検出装置
JP2015045919A (ja) 画像認識方法及びロボット
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP7264163B2 (ja) 判定方法、判定プログラムおよび情報処理装置
JP2016081472A (ja) 画像処理装置、画像処理方法及びプログラム
KR20160148806A (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
JP7370759B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6116916B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
KR101847587B1 (ko) 유사 세포 이미지 탐색 장치 및 방법
KR101884874B1 (ko) 부분 이미지 기반 객체 판별 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230208

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230221

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R150 Certificate of patent or registration of utility model

Ref document number: 7264163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150