JP6618075B2 - 外郭空間特徴情報抽出方法{methodforextractingoutterstaticstructureofspacefromgeometricdataofspace} - Google Patents

外郭空間特徴情報抽出方法{methodforextractingoutterstaticstructureofspacefromgeometricdataofspace} Download PDF

Info

Publication number
JP6618075B2
JP6618075B2 JP2015206213A JP2015206213A JP6618075B2 JP 6618075 B2 JP6618075 B2 JP 6618075B2 JP 2015206213 A JP2015206213 A JP 2015206213A JP 2015206213 A JP2015206213 A JP 2015206213A JP 6618075 B2 JP6618075 B2 JP 6618075B2
Authority
JP
Japan
Prior art keywords
information
sampling
plane
feature
outer space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015206213A
Other languages
English (en)
Other versions
JP2016212824A (ja
Inventor
ド,ナクジュ
ヒョン ジョン,チャン
ヒョン ジョン,チャン
Original Assignee
ティーラボス カンパニー,リミテッド
ティーラボス カンパニー,リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ティーラボス カンパニー,リミテッド, ティーラボス カンパニー,リミテッド filed Critical ティーラボス カンパニー,リミテッド
Publication of JP2016212824A publication Critical patent/JP2016212824A/ja
Application granted granted Critical
Publication of JP6618075B2 publication Critical patent/JP6618075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Civil Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象領域の空間幾何情報から特徴情報を取得する際に必要な技術である。
産業用固定ロボットに需要が集中された過去とは違って、最近では家庭用ロボット市場の需要が増大しており、これに伴い、移動ロボットの研究が活発に進められている。
移動ロボットの性能を向上させるための多様な研究が進行されている中、このような研究の核心技術の一つとして、空間で特徴を捜し出す技術が挙げられる。例えば、実生活において、ロボットが歩き回ったり、物体を認識するための特徴を探し出す技術は必須の技術である。このためには、各種センサー情報から観察された情報から適切な特徴を抽出することができなければならない。
特に、産業用固定ロボットが存在する工場とは違って、人が活動する空間においては多様な環境要素を考慮しなければならない。通常、野外環境と違って室内空間は、次のような、(1)ストラクチャー(Structure)、(2)オブジェクト(Object)、(3)ダイナミクス(Dynamics)の三つの類型の要素に分類され得る(図1a(a)参照)。ここで、ストラクチャー(Structure)は、室内空間において壁面のような常時固定された部分であって、インテリア工事のように内部環境を変える要因が発生しない限り変化されないため、動きが全くない完全静的要素であり、室内空間の体積を形成するので室内空間内で観察される場合、ストラクチャーは最外郭に配置されている可能性が高い。
また、オブジェクト(Object)は、室内空間内に存在するものの、そのまま置かれている状況では動きのない臨時的静的状態を維持するが、数秒〜数時間の短い時間が経過する場合、該当時間内に位置や方向の変化が存在し得る臨時的静的要素乃至潜在的動的要素である。
一方、ダイナミクス(Dynamics)は、室内空間内に存在し、現在の時点で動きが発生する動的要素である。
しかしながら、従来の位置推定および物体認識などの技術は静的環境の統制下で具現されるという点で、オブジェクト乃至ダイナミクスが備えられた潜在的動的要素乃至動的要素を含む動的環境が要求される実際の環境要件と全く異なる環境下でなされる。すなわち、ストラクチャーだけを含む静的環境は、ある抽出された特徴が環境内で固定されているか統制された動きの下にあると仮定するものであるため、動的環境下では統制されていない物体乃至人間などが予測していない方向に移動する可能性が存在するので、従来の位置推定および物体認識技術などを実際の環境に類似した動的環境に直接適用することは困難であるという問題点がある。
このような問題点を解消するためには、動的環境において位置が変化しないストラクチャーを把握する技術または、動的環境において位置が変化するオブジェクト乃至ダイナミクスを把握する技術、換言すれば、静的要素と潜在的動的要素乃至動的要素を分離できる技術が必要である。
このようなストラクチャーとしては、一般に壁面構造情報が挙げられるが、動的環境が発生するある空間内で壁面構造情報を注意深く観察すると、殆どの壁面構造、すなわちストラクチャーは殆ど外郭に位置している。すなわち、室内で環境を観察すると、壁面構造であるストラクチャーがダイナミクス乃至オブジェクトの後に位置していることが分かる。
本発明は、前記のような従来技術の問題点を解決するためのもので、空間の幾何情報を通して空間の外郭情報を抽出することによって、ストラクチャー、オブジェクト、ダイナミクスが混在する環境において、ストラクチャー、オブジェクト、ダイナミクスを分離するか、ストラクチャー、オブジェクト、ダイナミクスを個別的に抽出確保することができ、これを利用して静的特徴点、すなわち、外郭空間特徴情報を確保することができるようになり、これを通して窮極的には、従来の静的環境に適用できる多様な技術をストラクチャー、オブジェクト、ダイナミクスが混在する環境下においても適用できるようにする外郭空間特徴情報抽出方法およびこれを実現する装置を提供することを目的とする。
前述した目的を達成するための本発明は、対象領域に対する空間幾何情報が入力される入力段階S10と、前記入力段階で入力された前記空間幾何情報に対して事前設定選択方式で任意の領域を選択してサンプルを決定するサンプリング段階S20と、前記サンプリング段階で取得したサンプリング平面に対する前記空間幾何情報のサンプリング平面情報を含むサンプリング情報に基づいてコンベックスハル(convex hull)方式で該当サンプリング平面に対する特徴情報を取得する特徴抽出段階S30を含むこともできる。
場合によって、前記サンプリング段階と前記特徴抽出段階とは、事前に設定された方式で繰返し実行されることもあり得る。
前記外郭空間特徴情報抽出方法において、前記サンプリング段階S20は:前記空間幾何情報と交差平面とが事前設定マージン内で交差する交差領域を選択してサンプルに決定することもできる。
前記外郭空間特徴情報抽出方法において、前記空間幾何情報と交差領域を形成する交差平面としてのサンプリング平面を選択するサンプリング平面決定段階S21と、前記空間幾何情報のうち前記サンプリング平面に対して前記事前設定マージン内に存在する空間幾何情報としてのサンプリング平面情報を取得するサンプル決定段階S23を含むこともできる。
前記外郭空間特徴情報抽出方法において、前記サンプリング平面決定段階S21で前記サンプリング平面は、対象領域に位置する事前設定サンプリング原点を含む地面に事前設定間隔角度で形成されるサンプリング平面を含むこともできる。
前記外郭空間特徴情報抽出方法において、前記サンプリング平面決定段階S21で前記サンプリング平面は、対象領域に位置する事前設定サンプリング原点を通過して地面に垂直な垂直線分を含む平面であって、前記垂直線分を中心として事前設定間隔角度で形成されるサンプリング平面を含むこともできる。
前記外郭空間特徴情報抽出方法において、前記事前設定原点情報は前記空間幾何情報を取得する感知センサーの感知位置である観察時点位置情報であり得る。
前記外郭空間特徴情報抽出方法において、前記サンプリング平面決定段階S21で前記サンプリング平面は、前記観察時点位置情報および対象領域に位置する事前設定サンプリング原点を含む地面に事前設定間隔角度で形成されるサンプリング平面を含み、前記観察時点位置情報は前記対象領域内の任意の位置情報であり得る。
前記外郭空間特徴情報抽出方法において、前記サンプリング平面決定段階S21で前記サンプリング平面は、前記観察時点位置情報および前記事前設定サンプリング原点を通過して地面に垂直な垂直線分を含む平面であって、前記垂直線分を中心として事前設定間隔角度で形成されるサンプリング平面を含み、前記観察時点位置情報は前記対象領域内の任意の位置情報であり得る。
前記外郭空間特徴情報抽出方法において、前記サンプル決定段階S23は:前記サンプリング平面に対して前記事前設定マージン内に存在する空間幾何情報を前記サンプリング平面で射影させるサンプルプロジェクション段階S231と、前記サンプルプロジェクション段階S231で前記サンプリング平面に投影された情報をサンプリング平面情報に設定するサンプリング平面情報確認段階S233を含むこともできる。
前記外郭空間特徴情報抽出方法において、前記特徴抽出段階S30は:前記サンプリング段階S20で決定されたサンプリング情報を特定して入力を受ける決定サンプル入力段階S31と、前記決定サンプル入力段階S31で入力されたサンプリング情報に基づいてコンベックスハル(convex hull)を適用してコンベックスハル情報を算出するサンプルコンベックスハル実行段階S33と、前記サンプリング情報と前記コンベックスハル情報の事前設定範囲内での交差部分を前記サンプリング平面に対して抽出される特徴で確認するサンプル特徴確認段階S35を含むこともできる。
前記外郭空間特徴情報抽出方法において、前記サンプリング情報は、前記サンプリング平面情報と前記観察時点位置情報を含み、前記サンプルコンベックスハル実行段階S33は前記観察時点位置情報を含んでコンベックスハルが適用されることもあり得る。
前記外郭空間特徴情報抽出方法において、前記サンプル特徴確認段階S35で、前記コンベックスハル情報に事前設定特徴マージン範囲を設定して外郭サンプル情報を算出する外郭サンプル情報算出段階S351と、前記サンプリング平面情報と前記外郭サンプル情報を比較して前記サンプリング平面情報が前記外郭サンプル情報がなす外郭サンプル情報領域内に存在するか否かを確認する外郭情報如何確認段階S353と、前記サンプリング平面情報のうち、前記外郭情報如何確認段階S353で前記外郭情報と確認されたサンプリング平面情報に対応する空間幾何情報をサンプル特徴に設定するサンプル特徴設定段階S355を含むこともできる。
前記外郭空間特徴情報抽出方法において、前記特徴抽出段階完了後、前記外郭空間特徴と前記入力段階で入力される基準データとを比較する基準データ比較段階と、前記基準データ比較段階で比較結果により前記外郭空間特徴が前記基準データと同一であるか否かを出力する比較結果出力段階を含むこともできる。
前記外郭空間特徴情報抽出方法において、前記特徴抽出段階完了後、前記外郭空間特徴と前記入力段階で入力される空間幾何情報とを利用して動的要素を抽出し、前記動的要素のうち新規動的要素存在の如何を確認する動的要素比較段階と、前記動的要素比較段階での比較結果により前記新規動的要素が事前設定された時間以上に維持される場合、警告モードを実行するモード出力段階を含むこともできる。
前記したような構成を有する本発明に係る外郭空間特徴情報抽出方法および外郭空間特徴情報抽出装置は次のような効果を有する。
第一、本発明に係る外郭空間特徴情報抽出方法および外郭空間特徴情報抽出装置は、入力された空間幾何情報に基づいて外郭情報を抽出することによって、壁面構造情報の殆どを抽出することができる。
第二、本発明に係る外郭空間特徴情報抽出方法および外郭空間特徴情報抽出装置は、抽出された外郭情報で動的環境においてストラクチャーを常に確保でき、これによって動的環境が発生する対象領域内のストラクチャーとオブジェクト乃至ダイナミクスを分離できることによって、ストラクチャーとオブジェクト乃至ダイナミクスを区分することができる。
第三、本発明に係る外郭空間特徴情報抽出方法および外郭空間特徴情報抽出装置は、抽出されたストラクチャーは多様な従来技術の特徴点として使用することができ、これを利用すれば動的環境において従来の技術を活用することができるようになる。(位置認識技術や物体認識技術など特徴点を利用するすべての技術に活用可能である。)
第四、本発明に係る外郭空間特徴情報抽出方法および外郭空間特徴情報抽出装置は、入力された空間幾何情報で外郭情報ではない部分はオブジェクト乃至ダイナミクスが属している部分であるので、オブジェクト乃至ダイナミクスの集合を得ることができる。これはオブジェクト乃至ダイナミクスを処理する従来の技術に入力データとして活用することができ、入力データからストラクチャーの殆どが除外されているので従来技術の効率を増大させる。
第五、本発明に係る外郭空間特徴情報抽出方法および外郭空間特徴情報抽出装置は、様々な平面に対して同一技法を繰返し遂行するので、並列処理(parallel processing)に適合し、演算速度を最適化させて、迅速な外郭空間特徴情報の導出が可能で、場合によってはリアルタイム演算も可能であるため、静的環境に適用可能な従来の物体認識、位置認識乃至自律走行などに適用された他の技術と共に実行されても演算の負荷を過度に増大させないので、計算の実行時間を短期化させることもできる。
第六、本発明に係る外郭空間特徴情報抽出方法および外郭空間特徴情報抽出装置は、オブジェクトとダイナミクスを具備するかまたは、静的特徴点を利用する場合、すべての入力データがコンベックスカットによって顕著に減少するので、プリプロセッシングを通した入力データの減少により究極的な演算量の減少をなすこともできる。
第七、本発明に係る外郭空間特徴情報抽出方法および外郭空間特徴情報抽出装置は、ストラクチャーとオブジェクト乃至ダイナミクスの区分を通して従来の優秀な空間認識技術と物体認識技術を動的環境において適用することもできるが、動的環境内でストラクチャーとオブジェクト乃至ダイナミクスの分離を通して設計の基準となる設計情報と比較して建築の個別段階における検測をリアルタイム化して建設監理分野において適用することもできる。
本発明は図面に示された一実施例を参考として説明しているが、これは例示的なものに過ぎず、本技術分野の通常の知識を有した者であればこれから多様な変形および均等な他の実施例が可能であることは明らかである。したがって、本発明の真の技術的保護範囲は添付された特許請求範囲の技術的思想によって定められるべきである。
(a)は、空間幾何情報をストラクチャー、オブジェクト、ダイナミクスに分類する関係図であり、(b)は、本発明の実施例を通して各空間幾何情報がストラクチャー、オブジェクト、ダイナミクスに個別的に分離抽出された状態図である。 本発明の一実施例によって分離抽出されたストラクチャー、オブジェクト、ダイナミクスを相異なる色相に変換して重ね合わせ配置させた分離抽出空間幾何情報の状態図である。 本発明の一実施例に係る装置の概略ブロック線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法のフローチャートである。 本発明の一実施例に係る外郭空間特徴情報抽出方法の具体的な段階のフローチャートである。 本発明の一実施例に係る外郭空間特徴情報抽出方法の具体的な段階のフローチャートである。 対象領域でのポイントクラウドで具現される空間幾何情報とサンプリング平面の関係を示す線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法のサンプリング段階および特徴抽出段階過程を示す線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法のサンプリング段階および特徴抽出段階過程を示す線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法のサンプリング段階および特徴抽出段階過程を示す線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法を通して対象領域に対して抽出された外郭空間特徴情報の線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法を通して対象領域に対する空間幾何情報のうち抽出された外郭空間特徴情報を除いたオブジェクト乃至ダイナミクスを示す線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法の建築工事に用いられる他の一例のフローチャートである。 本発明の一実施例に係る外郭空間特徴情報抽出方法の建築工事に用いられる他の一例のフローチャートである。 本発明の一実施例に係る外郭空間特徴情報抽出方法のセキュリティチェックに用いられる他の一例のフローチャートである。 本発明の一実施例に係る外郭空間特徴情報抽出方法のセキュリティチェックに用いられる他の一例のフローチャートである。 本発明の一実施例に係る外郭空間特徴情報抽出方法のサンプリング平面へのプロジェクション過程を示す線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法の特徴抽出段階を説明する構成図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法の特徴抽出段階を説明する構成図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法の特徴抽出段階のうち観察時点位置情報如何によるコンベックスハル情報および空間幾何情報から得られるサンプリング平面情報の差を示す線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法の特徴抽出段階のうち観察時点位置情報如何によるコンベックスハル情報および空間幾何情報から得られるサンプリング平面情報の差を示す線図である。 対象領域のうち感知部が位置した地点を事前設定原点として事前設定角度間隔で全方位サンプリング平面を形成する方法を説明する線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法の建築工事に用いられる他の一例の概略状態図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法のセキュリティチェックに用いられる他の一例の概略状態図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法の特徴抽出段階の一過程を示す線図である。 本発明の一実施例に係る外郭空間特徴情報抽出方法の特徴抽出段階の一過程を示す線図である。 従来の空間データマッチング方式を利用した場合に対する結果(a)及び本発明の外郭空間特徴情報抽出方法のコンベックスハルを利用した結果(b)を示す線図である。 従来の単純な移動ロボット自律走行を利用した場合に対する経路結果(a)及び本発明の外郭空間特徴情報抽出方法のコンベックスハルを利用した移動ロボットの自律走行経路結果(b)を示す線図である。 本発明の外郭空間特徴情報抽出方法のマージン領域に存在する空間幾何情報をサンプリング平面に垂直に射影させて得られるサンプリング平面情報を示す線図である。 本発明の外郭空間特徴情報抽出方法のマージン領域に存在する空間幾何情報をサンプリング平面に垂直に射影させて得られるサンプリング平面情報を示す線図である。 本発明の外郭空間特徴情報抽出方法のマージン領域に存在する空間幾何情報をサンプリング平面に射影させて得られるサンプリング平面情報を示す線図である。 本発明の外郭空間特徴情報抽出方法のマージン領域に存在する空間幾何情報をサンプリング平面に射影させて得られるサンプリング平面情報を示す線図である。 本発明の外郭空間特徴情報抽出方法のマージン領域に存在する空間幾何情報をサンプリング平面に射影させて得られるサンプリング平面情報を示す線図である。 本発明の外郭空間特徴情報抽出方法の他の一類型の室内空間構造に対するサンプリング平面を通した外郭特徴情報算出過程を示す線図である。 本発明の外郭空間特徴情報抽出方法の他の一類型の室内空間構造に対するサンプリング平面を通した外郭特徴情報算出過程を示す線図である。 本発明の外郭空間特徴情報抽出方法の他の一類型の室内空間構造に対するサンプリング平面を通した外郭特徴情報算出過程を示す線図である。 本発明の外郭空間特徴情報抽出方法の他の一類型の室内空間構造に対するサンプリング平面を通した外郭特徴情報算出過程を示す線図である。
以下、外郭空間特徴情報抽出方法について図面を参照して説明する。
本発明の一実施例に係る外郭空間特徴情報抽出方法は、空間幾何情報から相対的な位置固定情報をなす壁面などのようなストラクチャーに対する情報を抽出する方法を提供するものである。
図1aの(a)には、空間幾何情報をストラクチャー、オブジェクト、ダイナミクスに分類する関係図が図示され、図1aの(b)には、本発明の実施例を通して空間幾何情報がストラクチャー、オブジェクト、ダイナミクスに個別的に分離抽出された状態が図示され、図1bには、本発明の一実施例によって分離抽出されたストラクチャー、オブジェクト、ダイナミクスを相異なる色相に変換して重ね合わせ配置させた分離抽出空間幾何情報が図示される。
本発明の外郭空間特徴情報抽出方法は、移動ロボットの地図形成過程に用いることもでき、壁面構造を抽出可能な範囲で、建築、建設作業時のCADデータ形成に活用することもでき、場合によって人波の多い地域でのリアルタイム地図データの確保作業に用いることもでき、移動ロボット以外にも位置移動可能乃至位置固定されて任意並進および回転が可能なセンサーシステムに具現され得ることもできるなど、多様な活用が可能である。本実施例では、理解の便宜を図るため、移動ロボットが感知部としてのセンサーを通して感知するポイントクラウドデータのような空間幾何情報から壁面情報のようなストラクチャーに対する情報を抽出することを主な実施例として記述するが、多様な空間幾何情報からストラクチャーおよびオブジェクト乃至ダイナミクスを抽出乃至分離可能な範囲で多様な変形が可能である。
本発明で用いられる対象領域に対する空間幾何情報は、LRF(Laser Range Finder)やStereo cameraなど、各種幾何情報を得ることができるセンサーシステムから得られるRaw Dataやこれを加工した点雲データ(ポイントクラウドデータ)または、網(Mesh)データ、3次元モデリングデータなど、3次元の幾何情報を含めているデータで、データの形式に限定されず、場合によって所定のノイズフィルタリング過程を通してノイズが除去されるデータを含むこともでき、IR基盤の深さ(depth)およびRGBセンサー乃至キネクト(kinect)、キネクト2(kinect2)、タンゴ(tango)センサーなどから得られるセンサーデータを含むこともできる。また、場合によってデータ情報量が制限された場合、下記の方法段階のうち以前段階でのRaw dataまたは、3次元幾何情報データを位置推定データに変換および統合することもでき、本技術分野の多様な形式のデータを含む。すなわち、本発明において空間幾何情報はポイントクラウドデータを中心として記述されるが、これに限定されないことは前述した通りである。
本発明の一実施例に係る外郭空間特徴情報抽出方法を利用するにおいて、移動ロボット1の走行時に感知される空間幾何情報を利用する方法を取る場合、移動ロボット1に備えられる感知部10、入力部15、制御部20、貯蔵部30、演算部40、出力部50を含む外郭空間特徴情報抽出装置2が提供される(図1c参照)。本実施例において、感知部10、入力部15、貯蔵部30、演算部40、出力部50は制御部20と直接連結される構造を取っているが、場合によって、制御部20は各構成要素に制御信号を伝達するように連結され、感知部10、入力部15、貯蔵部30、演算部40、出力部50等が直接相互連結される構成を取ることもできることは、本発明から明らかである。
下記の外郭空間特徴情報抽出方法において、外郭空間特徴情報抽出装置2が提供された後、空間幾何情報が外郭空間特徴情報抽出装置で入力実行されるが、入力段階で対象空間に対する空間幾何情報が入力され、入力段階は感知部10を通してなされる対象領域に対する空間幾何情報を感知して入力する感知入力段階で実行することもできる。
感知部10はスキャナなどの装備で具現されるが、感知部10が感知するポイントデータは、通常、ポイントクラウドデータ(point cloud data)と表現される感知部の感知領域に存在する物体などに対する座標軸上での位置データを表す。
感知部10は制御部20の入力制御信号としての感知制御信号により所定の入力段階S10としての感知入力段階を実行することができる。この過程において前述した通り、感知部10で感知されたポイントクラウドデータは原データ(raw data)を直接入力することもでき、所定のフィルタリングを経てノイズなどが除去された後で入力される過程を経ることもあり得るなど、設計の仕様によって多様な変形が可能であることは前述した通りである。
また、場合によって、入力段階S10は入力部15を通して直接入力される完成された形態の空間幾何情報であり得る。この場合、使用者は入力部15を通して、例えばCADデータなどのように対象領域がなす空間に対する完成された形態の空間幾何情報を入力することもでき、場合によって任意の空間幾何情報が入力される構造を取ることもできるなど、多様な変形が可能である。
また、入力部15は使用者による事前設定データなどを移動ロボットなどの制御部20と連結される貯蔵部30に貯蔵可能にし、演算部40は制御部の演算制御信号により所定の演算過程を経て対象領域に対する外郭特徴情報抽出を可能にし、出力部50は移動ロボットが移動しながら感知したポイントクラウドデータから所定の段階を経て抽出した特徴情報、すなわちストラクチャーとしての壁面構造などに関する情報を出力して作業者に使用可能にする。また、場合によって、反対の場合として、ストラクチャーを除いてオブジェクト乃至ダイナミクスを抽出したり、またはストラクチャーのうち変化されたオブジェクト乃至ダイナミクスを抽出する方法を取って作業者が要求する出力環境に積極的に対応可能な方法を取ることもできる。
一方、移動ロボットには駆動部としてのモーターが備えられ、所定の位置変動をすることもでき、このようなモーターはエンコーダーなどを通して移動ロボットの位置変化をなす並進運動および回転運動を含む移送情報、すなわち座標系に対する基準位置の変動を追跡可能として、基準位置から移送による位置変動をなすとしても基準位置への座標変換を可能にする座標変換データとして使用することもできる。
本発明の一実施例を説明する過程において、座標変換データを説明するに当たって、移動ロボットのモーターの回動を感知するエンコーダーデータを利用する場合を想定したが、これは説明のための一例であって、本発明の外郭空間特徴情報抽出方法の具現時の座標変換過程上に用いられるデータは、スターゲイザー(Stargazer)のように移動ロボットの位置を感知するセンサーのデータを利用することもでき、多様な入力情報から抽出される特徴点を利用した自分位置判別のような従来の位置認識技術から得られる位置データを利用して基準位置への座標変換をなす方法を取ることもできるなど、設計の仕様により多様な変形が可能である。
また、本発明の外郭空間特徴情報抽出装置では、対象領域に対する空間幾何情報を提供する範囲で移動ロボットの座標変換データは、移動ロボット乃至感知部が感知して得られるポイントクラウドデータが取得される観察時点位置情報として現在位置を活用可能である。このように、本発明の外郭空間特徴情報抽出装置において位置認識は、現在位置を活用できるように位置認識可能な範囲で多様な変形が可能である。
以下、図面を参照して本発明の3次元空間の幾何情報から外郭空間特徴情報を抽出する方法の制御過程を説明する。前述した通り、本発明の外郭空間特徴情報抽出方法は多様な分野に使用可能であるが、理解の便宜を図るため、本実施例は移動ロボットの場合を中心として説明されるが本発明がこれに対して限定されるのではない。
本発明の実施例に係る3次元空間の幾何情報から外郭特徴情報を抽出する方法は図2に示された通り、入力段階S10と、サンプリング段階S20、特徴抽出段階S30を含み、サンプリング段階S20と特徴抽出段階S30は貯蔵部30に事前設定貯蔵された方式で所定の回数だけ繰返し実行され得る。このような繰返し実行は別途の抽出完了確認段階S40を通して下記のサンプリング平面に対してすべてプロジェクションが完了して特徴抽出がなされたか否かをカウンティンググして実行される方式を取ることもでき、抽出が完了された後、抽出された各特徴は貯蔵部30に貯蔵されて特徴情報を蓄積する特徴情報蓄積段階を実行することによって、より迅速で正確な外郭空間特徴情報抽出を利用した多様なアプリケーションの実現を可能にすることもできる。例えば、特徴抽出段階で抽出された特徴情報乃至これを繰返し遂行して蓄積された特徴情報を含む蓄積データ(accumulation data)に基づいて蓄積データ自体で空間幾何要素を抽出したり、蓄積データが示す空間幾何情報としての該当ポイントまたは、該当ポイントに関連付けられたRGB色相、熱、材質、透明度、映像強度(image intensity)などの追加の関連情報に基づいて対応する特徴点乃至特徴情報を抽出する技術で具現することもできる。また、総括的なデータから蓄積されたデータを利用して備蓄的データ自体乃至これを利用して抽出される特徴点を活用する方法で具現することもでき、本実施例では、単一プロセッサを利用した制御演算過程を利用したが、並列処理可能な複数個のプロセッサを利用して制御演算過程を実行して大規模の演算量にも強靭性を確保し、迅速な演算処理による外郭特徴情報抽出を可能にすることもできる。
前述した通り、まず、外郭空間特徴情報抽出装置が準備、提供された後、制御部20に制御信号にしたがって入力段階S10が実行され、対象領域に対する所定の3次元空間幾何情報が入力される。
このような3次元空間幾何情報は、感知部などを通して入力される対象領域に対する空間幾何情報であっても、完成された形態のCADデータなどの空間幾何情報であってもよく、任意の空間幾何情報であってもよいなど設計の仕様により多様な選択が可能である。
対象領域に対する空間幾何情報が入力段階S10で実行された後、制御部20はサンプリング段階S20を実行するが、サンプリング段階S20で制御部20は入力段階S10で入力された空間幾何情報(Pi)に対して事前設定選択方式でサンプリング領域を選択してサンプルを決定する。ここで、事前設定選択方式は、制御部20が空間幾何情報と対象領域内に選択された交差平面が事前設定マージン内で交差する方式で、空間幾何情報からサンプリングしようとする領域を選択する方式を指し示すもので、より具体的には、このような事前設定選択方式で制御部20は対象領域に対して交差平面を選択し、貯蔵部30に貯蔵された事前設定データに含まれるマージン情報を利用して選択された交差平面を中心として所定のマージン空間を形成した後、空間幾何情報のうち該当交差平面を中心として形成されるマージン空間内に存在する空間幾何情報をサンプルに決定する。
すなわち、サンプリング段階S20は、サンプリング平面決定段階S21とサンプル決定段階S23を含む。サンプリング平面決定段階S21で制御部20は空間幾何情報(Pi)と交差領域を形成する交差平面としてサンプリング平面を選択する。サンプリング平面(πi;i=1、2、3、...、n)は対象領域に選択されるが、サンプリング平面(πi)は任意の平面に選択されることもあって、事前設定された選択方式に設定されることもある。すなわち、サンプリング平面(πi)は空間幾何情報データと交差領域を形成する交差平面であって、任意の平面ベクトルの方向を有する任意の平面に選択されることもあれば、事前設定された選択方式に設定されることもある。
好ましくは、本発明のサンプリング平面決定段階S21で選択される空間幾何情報との交差領域を形成する交差平面としてのサンプリング平面(πi)は、地面に垂直なZ軸乃至Z軸に平行した垂直線分を含む平面で構成される。すなわち。交差平面としてのサンプリング平面(πi)を地面に垂直な垂直線分を含む垂直平面に形成することによって演算量を減少させて制御部乃至演算部の演算負荷を低減させることもできる。
他の一例として、地面に水平の平面をサンプリング平面で構成することもでき、このような地面に水平のサンプリング平面も垂直平面同様に演算負荷を低減させることもできるが、本実施例では地面に垂直な平面をサンプリング平面で構成する場合を中心として記述する。
また、このようなサンプリング平面は事前設定された原点を含む構成を取ることもできる。本実施例でのサンプリング平面は事前設定原点から垂直に形成される垂直線分を含む平面で構成される。
ここで、事前設定原点は、サンプリング平面が任意の平面に選択される場合、対象領域内の任意の一地点に対する位置情報として選択することもでき、サンプリング平面が事前設定選択方式で選択される場合、特定位置、すなわち、下記のように、移動ロボット乃至これに搭載される感知部の感知位置としての観察時点位置情報に形成することもできる。
一方、本発明の外郭空間特徴情報抽出方法の特徴として、3次元空間幾何情報を処理するように、サンプリング平面は事前設定原点で地面に垂直な垂直線分を中心として貯蔵部30に貯蔵される事前設定データ中の一つである事前設定間隔角度で360度全方位を包括するカバレッジ(coverage)を含むが、本実施例で事前設定間隔角度は1度に設定した(図20参照)。
例えば、対象領域に対する空間幾何情報がCADデータなどの形態で入力されて別途の感知過程が不要な場合、サンプリング平面段階S21は対象領域のうちの任意の地点を事前設定原点で形成して、これから垂直な垂直線分を中心として1度の事前設定間隔角度で複数個のサンプリング平面を形成することによって、該当事前設定原点を含むいずれか一つのサンプリング平面に対してサンプル決定および特徴抽出がなされた後、該当事前設定原点を中心とするサンプリング平面形成および特徴抽出が360度カバレッジをなされる時まで所定のサンプリング段階と特徴抽出段階を繰返し実行することができる。
このようなサンプリング平面(πi)が形成された後、制御部20はサンプル決定段階S23を実行するが、空間幾何情報のうちサンプリング平面(πi)に対して貯蔵部30に貯蔵される事前設定データ中の一つである事前設定マージンを有する領域内に存在する空間幾何情報であるサンプリング平面情報を取得する。
より具体的には、サンプル決定段階S23はサンプルプロジェクション段階S231とサンプリング平面情報確認段階S233を含むが、サンプルプロジェクション段階S231で制御部20はサンプリング平面決定段階S21で選択されたサンプリング平面(πi)に対して事前設定マージン内に存在する空間幾何情報をサンプリング平面に射影(プロジェクション)させて、サンプリング平面情報確認段階S233で制御部20はサンプリング平面(πi)に投影された情報をサンプリング平面情報に設定する。
すなわち、図面に示された通り、サンプリング平面(πi)から事前設定マージン(dmrg)だけ離隔された仮想のマージン平面(πmrg)が形成され、サンプリング平面(πi)と仮想のマージン平面(πmrg)の間に存在する空間幾何情報(Pi)はサンプリング平面(πi)に垂直射影されてサンプリング平面情報(Pπi)を形成し、制御部20はサンプリング平面情報(Pπi)を取得して貯蔵部30に貯蔵することができる。
本実施例では、サンプリング平面(πi)の外側に、一定距離のマージン空間内乃至マージン平面との間のマージン領域内に存在する空間幾何情報を射影させる構造を取っているが、場合によってはマージン平面以外にもサンプリング平面からのマージン形成のためのマージン関数を提供してサンプリング平面の位置ごとに相異するマージン距離を形成し、サンプリング平面とマージン距離がなすマージン領域内の空間幾何情報を利用する構造を取ることもできるなど、サンプリング平面からのマージン構成は多様な方法が選択され得る。
また、本実施例において、射影はサンプリング平面に対して垂直射影をなしてもよく、一定の角度で射影されてもよいなど、多様な変形が可能である。すなわち、図26に示された通り、マージン領域に存在する空間幾何情報をサンプリング平面に垂直に射影させてサンプリング平面情報を得ることもできる(図27参照)。
また、場合によって本発明は、図28〜図30に示された通り、与えられた空間幾何情報から平面(A)を抽出するが、該当平面(A)はサンプリング平面(πi)と一定の角度で交差され得る。この時、該当平面(A)とサンプリング平面(πi)がなす交差線(X)が得られる。該当平面(A)を構成する空間幾何情報のうちサンプリング平面(πi)がなすマージン領域内に存在する空間幾何情報を交差線(X)上に垂直射影させることによって、サンプリング平面(πi)に対するサンプリング平面情報(Pπi)を導き出すこともできる。この場合、図27の場合とは違って、交差線(X)上に配列されるサンプリング平面情報を活用することによって、より正確なコンベックスハルの導出を可能にすることもできる。
このようなサンプリング段階S20が完了された後、制御部20は特徴抽出段階S30を実行するが、特徴抽出段階S30は決定サンプル入力段階S31とサンプルコンベックスハル実行段階S33とサンプル特徴確認段階S35を含む。
決定サンプル入力段階S31はサンプリング段階S20で決定されたサンプルが平面情報を含むサンプリング情報を特定して入力を受けるが、前述した通り、空間幾何情報が感知部などを通して感知されて入力される場合、サンプリング情報はサンプリング平面情報と空間幾何情報が感知される感知位置としての観察時点位置情報を含むことができ、観察時点位置情報は複数個のサンプリング平面を形成するための事前設定原点の位置情報で形成される。このようにサンプリング情報に感知位置としての観察時点位置情報、すなわち移動ロボットなどが位置する事前設定原点情報は、感知部で感知する電磁気波の直進性で、感知位置によって発生可能な外郭情報の隠れ乃至視野角(fov)の限界によって下記のコンベックスハルとの交差から特徴を抽出する時に、本来の最外郭を特徴に抽出するときに発生する問題点を補完することができる。
すなわち、図面に示された通り、同一領域に対する空間幾何情報を利用するものの、サンプリング情報に観察時点位置情報が含まれていない場合、該当空間に対してサンプリング平面情報と該当サンプリング平面情報から抽出されたコンベックスハルとの交差から得られる特徴情報は、対象領域の内側の構造物(Is)の空間幾何情報が含まれるものの、対象領域の内側構造物(Is)によって隠される外郭領域(Ss)の外郭空間特徴に確保可能性が弱まる(図18参照)。
一方、サンプリング情報に観察時点位置情報が含まれた場合、該当空間に対してサンプリング平面情報と該当サンプリング平面情報から抽出されたコンベックスハルとの交差から得られる特徴情報は、観察時点位置情報によって対象領域のうち内部領域をより広げて外郭空間特徴を抽出することに中点を置くことによって、対象領域の内側構造物(Is)によって隠される外郭領域(Ss)の外郭空間特徴に確保可能性を拡大させることができ、より正確な外郭空間特徴情報抽出の可能性を高め得る(図19参照)。
決定サンプル入力段階S31を通してサンプリング平面情報を含むサンプリング情報が入力された後、制御部20はサンプルコンベックスハル実行段階S33を実行するが、サンプリング情報を利用してコンベックスハル(convex hull)を実行してサンプリング平面情報または、サンプリング平面情報(Pπi)と観察時点位置情報(Po、図17参照)がなすコンベックスハル情報、すなわちコンベックスハル情報(conv(Pπi)、図7参照)を算出する。ここで、コンベックスハルの実行は通常のコンベックスハル演算過程を利用することができる。
その後、制御部20はサンプル特徴確認段階S35を実行して、サンプリング平面情報(Pπi)を含むサンプリング情報とコンベックスハル情報(conv(Pπi))の事前設定範囲内での交差部分をサンプリング平面に対して抽出し、抽出されたサンプリング情報に対応する空間幾何情報を特徴に確認する。ここで、事前設定範囲は貯蔵部30に貯蔵される事前設定データ中の一つで、サンプリング平面情報(Pπi)を含むサンプリング情報とコンベックスハル情報(conv(Pπi))が実質的に交差一致すると判断するための判断基準として用いることができる。
ここで、入力段階での空間幾何情報が感知部を通した感知入力である場合、サンプリング情報は観察時点位置情報を含むことができ、サンプルコンベックスハル実行段階で観察時点位置情報を含めてコンベックスハルが実行され得る。
より具体的には、サンプル特徴確認段階S35は外郭サンプル情報算出段階S351と、外郭情報如何確認段階S353と、サンプル特徴設定段階S355を含むことができる。
外郭サンプル情報算出段階S351で制御部20は、コンベックスハル情報(conv(Pπi))の周辺に事前設定特徴マージン(dmrgc、図23の(a)及び(b)参照)範囲を設定して、サンプリング平面情報(Pπi)のうち事前設定特徴マージン範囲内に存在するサンプリング平面情報(Pπi)を外郭サンプル情報(Pcc)で形成する。ここで、事前設定特徴マージン(dmrgc)はサンプリング段階S20での事前設定マージン(dmrg)と同じ値が使用されることもある。
制御部20はサンプル特徴設定段階S355で外郭サンプル情報(Pcc)に対応する空間幾何情報(Pi)をサンプル特徴(Pc)に設定する。
サンプル特徴(Pc)は外郭空間特徴として貯蔵部30に貯蔵され、この過程で従来の特徴情報との整合如何を判断して更新の如何が決定されることもある。
前記のようなサンプリング段階および特徴抽出段階は、事前設定された回数だけ繰返し実行され得る。例えば、前述した通り、一つのサンプリング平面に対してサンプリング段階および特徴抽出段階が実行された後、段階S20で複数個のサンプリング平面が形成された場合、すべての該当サンプリング平面に対して所定の過程が完了したか否かをカウンティンググし、与えられた事前設定原点に対して複数個のサンプリング平面情報処理完了の如何を判断することもできる。場合によって、複数個の事前設定原点に対して複数個のサンプリング平面が集合される場合、該当複数個の事前設定原点でなされるサンプリング段階および特徴抽出段階乃至入力段階、サンプリング段階および特徴抽出段階が完了されたか否かを判断して、判断結果により繰返し乃至過程完了などを実行することができる。
一方、前記実施例においては理解の便宜を図るため、単純な平面の関係を基準に説明したが、実際的には、より複雑な室内空間構造の場合にも本発明の特徴を利用して、より正確で且つ迅速に外郭情報を抽出することができる。すなわち、図31〜図34に示された通り、室内空間の構造が点線の内部(X)のように、内側に窪んだ部分が存在する空間構造の場合を例に挙げることができる。
ここで、図32の(a)乃至(c)に、図31の室内空間構造に対する外郭空間特徴抽出過程が示されるが、(a)に点線で示された通り、空間幾何情報との交差領域を形成する交差平面が正面(PLNa)に平行したサンプリング平面(πi)を構成する場合が示されるが、このとき(b)に示されたように、サンプリング平面に対するサンプリング平面情報(Pπi)が算出され、これを通してサンプルコンベックスハル情報(conv(Pπi)を得ることができ、(c)に示されたようにサンプル特徴(Pc)を抽出すれば図31の点線部分のような中に窪んだ部分はサンプル特徴である外郭空間特徴情報に含まれない。
反面、図33と図34の(a)に示された点線のようにサンプリング平面(πi)を空間幾何情報に合わせて水平と垂直にそれぞれ構成すると、各サンプリング平面に対するサンプリング平面情報(Pπi)を求めて、それぞれの(b)に示されたように、サンプルコンベックスハル情報(conv(Pπi)を得ることができ、(c)に示されたようなサンプル特徴(Pc)抽出を経たとき、図31の階段のような形状の室内空間構造の点線部分(X)が外郭空間特徴情報に含まれることを確認することができる。前記のように室内空間の構造や入力を受けた空間幾何情報の特性に応じて、多様なサンプリング平面を形成するようになれば、さらに正確な外郭空間特徴情報を抽出することができることを確認することができる。
このような外郭空間特徴情報抽出装置およびこれを通した外郭空間特徴抽出方法は、前述した自律走行ロボットなどの地図形成にのみ制限されず、多様な分野に活用可能である。
本発明の他の適用実施例として、外郭空間特徴情報抽出装置およびこれを通した外郭空間特徴抽出方法はコンクリート骨組工事にも使用され得る(図11および図12)。通常のコンクリート骨組工事後に内部仕上げ工事が進行される。内部仕上げ工事進行のためにコンクリート打ちがなされ、内部空間をなす壁面あるいは床面などの位置固定構造物に対する正確な仕上げがなされたか、寸法検査を実行して、仕上げの状態によって、引き続肉盛および割石がなされるが、このような寸法検査などの過程は通常、巻尺、気泡尺、鉛錘などを利用して概略な測定がなされるが、本発明の外郭空間特徴情報抽出装置および方法を利用する場合、内部仕上げ工事がなされた対象領域に対してレーザーセンサーとしてのライダ(LIDAR)などのような感知部を通して対象領域を感知することによって空間幾何情報を感知入力する入力段階が実行され、感知部の対象領域内の位置を事前設定原点として所定のサンプリング段階および特徴抽出段階を実行して、対象領域の空間幾何情報から内部仕上げに対する外郭特徴情報を抽出することによって(図11、S10〜S40)、作業者や作業道具などの動的要素乃至非外郭要素を排除し、外郭空間特徴情報を利用して構造物の設計規格と実際の施工構造物の寸法間の差を抽出し、事前設定された規格寸法から外れた領域に対する警告表示乃至外れた空間位置情報などを提供して、作業者が該当構造物、例えば本実施例におけるコンクリート骨組工事の仕上げ乃至内部仕上げ作業の効率性を増進させることもできる。すなわち、段階S40が完了された後、制御部20は基準データ比較段階S50と比較結果出力段階S60を実行する。ここで基準データは構造物設計規格を指しており、入力段階S10などで入力されることもできる。基準データ比較段階S50で外郭空間特徴情報および基準データが比較され、該当差を設定基準差と比較して実行されるべきモードを決定し、比較結果出力段階で該当決定モードにしたがって所定の出力過程をなす。
基準データ比較段階S50は基準差算出段階S51と基準差比較段階S53と出力モード決定段階S55、S57を含む。
基準差算出段階S51で制御部20は演算部40を通して外郭空間特徴情報と基準データを比較して差を算出してこれを基準差(△)に形成する。
その後、基準差(△)を貯蔵部30の事前設定データに含まれる設定基準差(△s)と比較する基準差比較段階S53を実行する。基準差比較段階S53で基準差(△)が設定基準差(△s)以下と判断された場合、制御部20は外郭空間特徴情報と基準データ間に差が微小と判断して、両者は実質的に同一であると見なし、出力モード決定段階で実行されるべきモードを同一モードに設定するS55。
一方、基準差比較段階S53で基準差(△)が設定基準差(△s)より大きいと判断された場合、制御部20は外郭空間特徴情報と基準データ間に差が大きいと判断して両者は実質的に相異なると見なし、出力モード決定段階で実行されるべきモードを異常モードに設定するS57。
このような基準差の比較は外郭空間特徴情報全体に対して進行されることもあれば、外郭空間特徴情報に対して区間別に分けて形成されることもあるなど、設計の仕様により多様な変形が可能である。
出力モードが設定された後、制御部20は出力部60を通して設定されたモードを比較結果で出力実行するS60。すなわち、実行されたモードが同一モードであるかを判断してS61、判断結果により同一モードまたは、異常モードのうち該当モードを実行してディスプレイで具現される出力部60を通して出力実行することもできる。この時、差がある異常モードの場合、基準データと相異する異常領域および誤差数値をディスプレイして作業者の作業迅速性を増進させることもできる。
また、本発明のさらに別の適用実施例として、外郭空間特徴情報抽出装置およびこれを通した外郭空間特徴抽出方法は鉄筋配筋工事にも使用することができる。コンクリート構造物の場合、内部に鉄筋を利用して鉄筋配筋工事が実行されてから型枠にコンクリート打ちおよび養生過程を経ることになるが、鉄筋および配筋の位置および間隔が正確でない場合、型枠の組み立てが不可能であるかまたは設計構造と誤差を有する状態でコンクリート打ちがなされ、構造物の不安定性を引き起こす恐れがある。これを防止するために鉄筋配筋工事後、所定の検測工程がなされ、検測工程で発見された鉄筋配筋位置の間隔欠陥は修正過程を経ることになる。しかしながら、通常の方式の検測の場合、鉄筋配筋、特に柱構造物をなす鉄筋の場合、空中に配置されるという点で検測の判断基準の参照点がないか不正確であり、正確な位置検測が困難であるが、本発明の外郭空間特徴情報抽出装置およびこれを通した外郭空間特徴抽出方法を利用して3次元深さ情報感知可能な感知部から感知入力される該当工事地域の空間幾何情報から本発明のサンプリング平面およびコンベックスハルを利用するコンベックスカットを通して該当工事地域の底部分としての外郭特徴情報を抽出して(図22参照)、入力感知された空間幾何情報から該当工事地域の底部分としての外郭特徴情報を相殺させることによって鉄筋配筋位置情報を確認することができ、設計情報と鉄筋配筋の空間幾何情報を比較して誤差値および誤差位置情報を確認することもできる。場合によって、コンベックスカット(covex cut)で使用する深さ情報を鉄筋の底よりもう少し長い領域内の情報だけを使用するものと設定することを通して、全体の外郭特徴情報ではない、鉄筋配筋形成された領域近くの外郭特徴情報だけを抽出する方式で演算量を低減させる構造を取ることもでき、このように取得された3次元鉄筋に対してのみ、もう一度2次元平面を利用したサンプリング段階を適用してその断面を把握し、断面の大きさや方向などを考慮して鉄筋の連結情報を見つけ出すことを通して鉄筋配筋の適合如何を迅速かつ容易に遂行することもできる。
また、前記の実施例は建設工事に適用される場合に対して記述されたが、本発明の外郭空間特徴情報抽出方法および装置はセキュリティーサービスにも活用され得る。すなわち、段階S40までの過程を通して外郭空間情報特徴が完了された後、制御部20は動的要素比較段階S50aとモード出力段階S60aを実行する。ここで基準データは構造物設計規格を指しており、入力段階S10などで入力することもできる。動的要素比較段階S50aで空間幾何情報から外郭空間特徴情報を除いて動的要素を抽出するS51a。該当対象領域の既存の動的要素情報と比較して動的要素の差(△dyn、t)を算出するS53a。算出された動的要素の差が新規動的要素であるかを判断してS55a、判断結果にしたがってモードを設定するS55a、S57a。新規動的要素である場合、制御部20は制御の流れをモニタリングモードS55aに設定し、反対の場合、実行モードを維持モードS57aに設定する。
その後、制御部20は実行モードがモニタリングモードであるかを判断しS61a、モニタリングモードでなければ維持モードを実行しS69a、一方、モニタリングモードと判断された場合、モニタリングカウンティング比較段階S63aを実行する。制御部20はモニタリングカウンティング比較段階S63aでモニタリング対象として維持するモニタリングカウンティング数(tc)を貯蔵部30に貯蔵される事前設定カウンティング数(ts)と比較して一定時間の間、新しい動的要素が維持された状態であるかを判断し、段階S63aで一定時間が超過していないと判断された場合、制御部20は段階S65aを実行してカウンティング数を増分させて、制御の流れを段階S10に進めて所定の過程を繰り返す。ここで動的要素の差の新規如何およびカウンティング数は所定の物体認識過程を経てそれぞれのセクション別になされ、所定のタグが付与されて単位別に実行することもできるなど、多様な変形が可能である。
一方、段階S63aで一定時間が超過した状態で該当位置を占有したと判断された場合、制御部20はセキュリティー担当者に所定のセキュリティー手続きを進行するように該当新規動的要素を使用者にディスプレイ乃至音響出力警告する警告モードS67aを実行することもできる。
前記実施例において、地図作成および建設現場などでの多様な実施例が具現されるが、本発明の外郭空間特徴情報抽出方法は多様な分野に適用および効果導出が可能である。
すなわち、本発明の出力部を通して得られる結果として、静的要素であるストラクチャーと、潜在的動的要素であるオブジェクト乃至動的要素であるダイナミクスが備えられる結果が出力されることもあるが、ストラクチャーにある特徴(feature)だけを使う場合、いかなる動的環境においても変化しない静的な特徴(feature)だけに基づいて位置認識および地図作成作業を遂行することになり、常に一貫した結果を得ることができ、ストラクチャーに存在する幾何的特徴(geometric feature;平面、交点、交線あるいは任意方向微分の時、不連続性が現れる突出部など)あるいはこれにマッチングされる映像特徴(SURF、Harris−corner)などの活用性を増大させることもでき、本発明の出力部を通した結果物として、ノイズに強靭な位置予測が可能である。すなわち、ストラクチャーは室内建物を構成する大きい部分を表す傾向性があるので、この部分の特徴点だけを使う場合よりノイズに強靭な位置予測をなすことができ、正確度が増大し得る。図24には本発明の外郭空間特徴情報抽出方法のコンベックスハルを利用した結果(b)と従来の空間データマッチング方式を利用した場合に対する結果(a)が図示されるが、本発明の外郭空間特徴情報抽出方法を通してマッチング正確度を著しく向上させることもできる。
また、本発明の外郭空間特徴情報抽出方法を通して導き出されたデータを利用して静的要素としてのストラクチャーは、廊下、ホールなどの主要形状をなすため、ロボット走行に利用することもできる。図25には本発明の外郭空間特徴情報抽出方法のコンベックスハルを利用した移動ロボットの自律走行経路結果(b)と従来の単純な移動ロボット自律走行を利用した場合に対する経路結果(a)が図示されるが、本発明の外郭空間特徴情報抽出方法を通してより正確かつ自然な移動走行動作の実現を可能にすることもできる。
また、本発明の外郭空間特徴情報抽出方法を通して導き出されたデータは、ストラクチャーとオブジェクト/ダイナミクスにプリプロセッシングされる場合、演算処理されるべき情報量が減少されることによって、全体演算量の減少という効果を奏することもできる。
本発明は、前記本発明を説明するための一例に制限されず、多様な変形が可能である。
1...移動ロボット
10...感知部
20...制御部
30...貯蔵部
40...演算部

Claims (12)

  1. 対象領域に対する空間幾何情報が入力される入力段階S10と、
    前記入力段階で入力された前記空間幾何情報に対して前記空間幾何情報に対応する領域と交差する交差平面を利用する事前設定選択方式で任意の領域を選択してサンプルを決定するサンプリング段階S20と、
    前記サンプリング段階で取得したサンプリング平面に対する前記空間幾何情報のサンプリング平面情報を含むサンプリング情報に基づいてコンベックスハル(convex hull)方式で抽出されたコンベックスハル情報(convex hull information)および前記サンプリング平面情報(sampling plane information)に基づいて該当サンプリング平面に対する特徴情報を取得する特徴抽出段階S30と、
    前記サンプリング段階S20と前記特徴抽出段階S30を所定の回数繰り返し実行することにより、前記所定の回数に対応する複数の前記特徴情報を含む外郭空間特徴情報を抽出する抽出完了確認段階S40を含む、室内空間構造の外郭空間特徴情報抽出方法。
  2. 前記サンプリング段階S20は:
    前記空間幾何情報と交差平面が事前設定マージン内で交差する交差領域を選択してサンプルに決定することを特徴とする、請求項1に記載の室内空間構造の外郭空間特徴情報抽出方法。
  3. 前記空間幾何情報と交差領域を形成する交差平面としてのサンプリング平面を選択するサンプリング平面決定段階S21と、
    前記空間幾何情報のうち前記サンプリング平面に対して前記事前設定マージン内に存在する空間幾何情報としてのサンプリング平面情報を取得するサンプル決定段階S23を含むことを特徴とする、請求項2に記載の室内空間構造の外郭空間特徴情報抽出方法。
  4. 前記サンプリング平面決定段階S21で前記サンプリング平面は、対象領域に位置する事前設定サンプリング原点を含む地面に事前設定間隔角度(任意の3次元角度)で形成されるサンプリング平面を含むことを特徴とする、請求項3に記載の室内空間構造の外郭空間特徴情報抽出方法。
  5. 前記サンプリング平面決定段階S21で前記サンプリング平面は、対象領域に位置する事前設定サンプリング原点を通過して地面に垂直な垂直線分を含む平面であって、前記垂直線分を中心として事前設定間隔角度で形成されることを特徴とする、請求項4に記載の室内空間構造の外郭空間特徴情報抽出方法。
  6. 前記事前設定原点情報は前記空間幾何情報を取得する感知センサーの感知位置である観察時点位置情報であることを特徴とする、請求項4に記載の室内空間構造の外郭空間特徴情報抽出方法。
  7. 前記サンプル決定段階S23は:
    前記サンプリング平面に対して前記事前設定マージン内に存在する空間幾何情報を前記サンプリング平面に射影(プロジェクション)させるサンプルプロジェクション段階S231と、
    前記サンプルプロジェクション段階S231で前記サンプリング平面に投影された情報をサンプリング平面情報に設定するサンプリング平面情報確認段階S233を含むことを特徴とする、請求項3に記載の室内空間構造の外郭空間特徴情報抽出方法。
  8. 前記特徴抽出段階S30は:
    前記サンプリング段階S20で決定されたサンプリング情報を特定して入力を受ける決定サンプル入力段階S31と、
    前記決定サンプル入力段階S31で入力されたサンプリング情報に基づいてコンベックスハル(convex hull)を適用してコンベックスハル情報を算出するサンプルコンベックスハル実行段階S33と、
    前記サンプリング情報と前記コンベックスハル情報の事前設定範囲内での交差部分を前記サンプリング平面に対して抽出される特徴で確認するサンプル特徴確認段階S35を含むことを特徴とする、請求項1に記載の室内空間構造の外郭空間特徴情報抽出方法。
  9. 前記サンプリング情報は前記サンプリング平面情報と前記観察時点位置情報を含み、前記サンプルコンベックスハル実行段階S33は前記観察時点位置情報を含めてコンベックスハルが適用されることを特徴とする、請求項に記載の室内空間構造の外郭空間特徴情報抽出方法。
  10. 前記サンプル特徴確認段階S35で、
    前記コンベックスハル情報に事前設定特徴マージン範囲を設定して外郭サンプル情報を算出する外郭サンプル情報算出段階S351と、
    前記サンプリング平面情報のうち、前記外郭サンプル情報算出段階S351で算出された前記外郭サンプル情報に対応する空間幾何情報をサンプル特徴に設定するサンプル特徴設定段階S355を含むことを特徴とする、請求項に記載の室内空間構造の外郭空間特徴情報抽出方法。
  11. 前記特徴抽出段階完了後、前記外郭空間特徴と前記入力段階で入力される基準データを比較する基準データ比較段階と、
    前記基準データ比較段階で比較結果によって前記外郭空間特徴が前記基準データと同一であるか否かを出力する比較結果出力段階を含むことを特徴とする、請求項1に記載の室内空間構造の外郭空間特徴情報抽出方法。
  12. 前記特徴抽出段階完了後、前記外郭空間特徴と前記入力段階で入力される空間幾何情報を利用して動的要素を抽出し、前記動的要素のうち新規動的要素の存在如何を確認する動的要素比較段階と、
    前記動的要素比較段階での比較結果によって前記新規動的要素が事前設定された時間以上に維持される場合、警告モードを実行するモード出力段階を含むことを特徴とする、請求項1に記載の室内空間構造の外郭空間特徴情報抽出方法。
JP2015206213A 2015-05-06 2015-10-20 外郭空間特徴情報抽出方法{methodforextractingoutterstaticstructureofspacefromgeometricdataofspace} Active JP6618075B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0062890 2015-05-06
KR1020150062890A KR101679741B1 (ko) 2015-05-06 2015-05-06 외곽 공간 특징 정보 추출 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018025745A Division JP2018088275A (ja) 2015-05-06 2018-02-16 外郭空間特徴情報抽出方法{method for extracting outter static structure of space from geometric data of space}

Publications (2)

Publication Number Publication Date
JP2016212824A JP2016212824A (ja) 2016-12-15
JP6618075B2 true JP6618075B2 (ja) 2019-12-11

Family

ID=54291056

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015206213A Active JP6618075B2 (ja) 2015-05-06 2015-10-20 外郭空間特徴情報抽出方法{methodforextractingoutterstaticstructureofspacefromgeometricdataofspace}
JP2018025745A Pending JP2018088275A (ja) 2015-05-06 2018-02-16 外郭空間特徴情報抽出方法{method for extracting outter static structure of space from geometric data of space}

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018025745A Pending JP2018088275A (ja) 2015-05-06 2018-02-16 外郭空間特徴情報抽出方法{method for extracting outter static structure of space from geometric data of space}

Country Status (5)

Country Link
US (1) US9727978B2 (ja)
EP (1) EP3091506B1 (ja)
JP (2) JP6618075B2 (ja)
KR (1) KR101679741B1 (ja)
CN (1) CN106127723B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092727A (zh) * 2017-03-30 2017-08-25 南京师范大学 一种基于cad图纸的建筑物室内跨楼层空间提取方法
WO2018209557A1 (zh) * 2017-05-16 2018-11-22 深圳市大疆创新科技有限公司 用于设备控制的方法、设备和计算机可读存储介质
KR102468897B1 (ko) * 2017-10-16 2022-11-21 삼성전자주식회사 깊이 값을 추정하는 방법 및 장치
KR102155021B1 (ko) * 2018-12-06 2020-09-14 고려대학교 산학협력단 점군 데이터의 3차원 직육면체 모델링 방법 및 장치
CN112105890B (zh) * 2019-01-30 2023-11-17 百度时代网络技术(北京)有限公司 用于自动驾驶车辆的基于rgb点云的地图生成系统
KR102339020B1 (ko) * 2020-05-20 2021-12-14 (주) 아키드로우 가상 컨텐츠 데이터 기반 현실적 장면 이미지의 객체 변환 렌더링 방법 및 그 장치
KR102517093B1 (ko) * 2020-12-09 2023-04-04 주식회사 씨에스아이비젼 딥 러닝을 이용한 3d 지형 정보 분석기
KR102588818B1 (ko) * 2021-10-01 2023-10-16 이백산 시공현장에서 IoT 영상 처리장치를 이용하여 설계도면을 입체영상으로 출력하는 시스템

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US7263509B2 (en) * 2003-04-09 2007-08-28 Lee Shih-Jong J Intelligent spatial reasoning
CN1839409A (zh) * 2003-08-21 2006-09-27 松下电器产业株式会社 人物检测装置和人物检测方法
JP3815689B2 (ja) * 2003-11-20 2006-08-30 松下電器産業株式会社 移動物体検出装置及び移動物体検出方法
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US20160098095A1 (en) * 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
WO2005087452A1 (ja) * 2004-03-17 2005-09-22 Sony Corporation ロボット装置、及びその動作制御方法、並びに移動装置
US7714855B2 (en) * 2004-05-17 2010-05-11 Siemens Medical Solutions Usa, Inc. Volume rendering processing distribution in a graphics processing unit
US7397473B2 (en) * 2004-07-16 2008-07-08 Geometric Ltd. Geometry based search method for 3D CAx/PDM repositories
EP2209091B1 (en) 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
KR20110097140A (ko) * 2010-02-24 2011-08-31 삼성전자주식회사 이동 로봇의 위치 추정 장치 및 방법
JP5452442B2 (ja) * 2010-10-25 2014-03-26 株式会社日立製作所 ロボットシステム及び地図更新方法
US9740937B2 (en) * 2012-01-17 2017-08-22 Avigilon Fortress Corporation System and method for monitoring a retail environment using video content analysis with depth sensing
KR101391525B1 (ko) * 2012-07-19 2014-05-07 고려대학교 산학협력단 이동 로봇의 지도 형성 방법 및 위치 인식 방법
US8970709B2 (en) * 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9792724B2 (en) * 2013-03-14 2017-10-17 Robert Bosch Gmbh System and method for generation of shadow effects in three-dimensional graphics
US9984177B2 (en) * 2013-05-31 2018-05-29 Panasonic Intellectual Property Management Co., Ltd. Modeling device, three-dimensional model generation device, modeling method, program and layout simulator
CN103984037B (zh) * 2014-04-30 2017-07-28 深圳市墨克瑞光电子研究院 基于视觉的移动机器人障碍物检测方法和装置
KR101764615B1 (ko) * 2015-04-13 2017-08-03 숭실대학교산학협력단 공간 지식 추출기 및 추출 방법
JP6635690B2 (ja) * 2015-06-23 2020-01-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN106127723B (zh) 2019-04-26
JP2016212824A (ja) 2016-12-15
CN106127723A (zh) 2016-11-16
KR101679741B1 (ko) 2016-11-28
EP3091506A1 (en) 2016-11-09
EP3091506B1 (en) 2019-01-09
KR20160132153A (ko) 2016-11-17
US20160328862A1 (en) 2016-11-10
JP2018088275A (ja) 2018-06-07
US9727978B2 (en) 2017-08-08

Similar Documents

Publication Publication Date Title
JP6618075B2 (ja) 外郭空間特徴情報抽出方法{methodforextractingoutterstaticstructureofspacefromgeometricdataofspace}
Kim et al. SLAM-driven robotic mapping and registration of 3D point clouds
Özaslan et al. Inspection of penstocks and featureless tunnel-like environments using micro UAVs
CN110308729B (zh) 基于视觉与imu或里程计的agv组合导航定位方法
Kim et al. SLAM-driven intelligent autonomous mobile robot navigation for construction applications
Xiao et al. 3D point cloud registration based on planar surfaces
CN103941748A (zh) 自主导航方法及系统和地图建模方法及系统
US20230236608A1 (en) Method and system for inspecting a building construction site using a mobile robotic system
Braun et al. Process-and computer vision-based detection of as-built components on construction sites
CN111609853A (zh) 三维地图构建方法、扫地机器人及电子设备
Beinschob et al. Advances in 3d data acquisition, mapping and localization in modern large-scale warehouses
Kayhani et al. Tag-based indoor localization of UAVs in construction environments: Opportunities and challenges in practice
JP6267307B2 (ja) 物品の設置空間の探索方法及びそのためのプログラムが記録されたコンピュータで読取り可能な記録媒体
Bassier et al. Standalone terrestrial laser scanning for efficiently capturing AEC buildings for as-built BIM
KR101093793B1 (ko) 가상 평면 정보를 사용한 3차원 자세 정보 획득 방법
CN111609854A (zh) 基于多个深度相机的三维地图构建方法及扫地机器人
US10755478B1 (en) System and method for precision indoors localization and mapping
Zhao et al. Platform-independent visual installation progress monitoring for construction automation
Spampinato et al. An embedded stereo vision module for 6D pose estimation and mapping
Runceanu et al. Indoor point cloud segmentation for automatic object interpretation
Phung et al. Automatic interpretation of unordered point cloud data for UAV navigation in construction
Spampinato et al. An embedded stereo vision module for industrial vehicles automation
Wang et al. Robot floor‐tiling control method based on finite‐state machine and visual measurement in limited FOV
Yang et al. A robust and accurate SLAM algorithm for omni-directional mobile robots based on a novel 2.5 D lidar device
Shu et al. An imu/sonar-based extended kalman filter for mini-uav localization in indoor environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180307

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180406

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191106

R150 Certificate of patent or registration of utility model

Ref document number: 6618075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250