JP5868005B2 - 撮像装置、撮像条件設定方法、プログラム - Google Patents

撮像装置、撮像条件設定方法、プログラム Download PDF

Info

Publication number
JP5868005B2
JP5868005B2 JP2011023118A JP2011023118A JP5868005B2 JP 5868005 B2 JP5868005 B2 JP 5868005B2 JP 2011023118 A JP2011023118 A JP 2011023118A JP 2011023118 A JP2011023118 A JP 2011023118A JP 5868005 B2 JP5868005 B2 JP 5868005B2
Authority
JP
Japan
Prior art keywords
range
imaging
imaging condition
condition setting
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011023118A
Other languages
English (en)
Other versions
JP2012165135A (ja
Inventor
幹雄 木浦
幹雄 木浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011023118A priority Critical patent/JP5868005B2/ja
Priority to US13/983,295 priority patent/US9398208B2/en
Priority to PCT/JP2012/000599 priority patent/WO2012105228A2/en
Publication of JP2012165135A publication Critical patent/JP2012165135A/ja
Application granted granted Critical
Publication of JP5868005B2 publication Critical patent/JP5868005B2/ja
Priority to US15/183,509 priority patent/US9942465B2/en
Priority to US15/909,854 priority patent/US10623629B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、撮像装置と撮像条件設定方法とプログラムに関するものである。特に、対象物の位置や姿勢や種類などの識別を、当該対象物が撮像された画像データを用いて行う撮像装置と、この撮像装置による対象物の撮像に好適な撮像条件設定方法及びプログラムに関するものである。
近年、工場などで行われる組立等の作業をロボットに行わせる需要が高まっている。位置や姿勢や種類などが一定でない作業対象物をロボットで扱う場合には、作業対象物の位置や姿勢や種類などを計測する手段が必要である。そして、作業対象物の位置や姿勢や種類などを計測する手段としては、視覚センサが広く用いられている。
高度な組立等の作業をロボットに行わせるためには、作業対象物などを視覚センサにより識別する必要がある。古くから、作業対象物のCADデータなどといった形状情報と、視覚センサなどにより得られる2次元もしくは3次元情報とを照合して、部品の種別および位置・姿勢を識別する研究がなされてきた。また、識別手法のひとつとして、撮像手段によって得られる作業対象物の画像から抽出される特徴量をコンピュータに学習させて、入力された画像のなかに映る作業対象物の種別を識別する研究も活発になされてきた。
従来一般には、対象物の識別を行う方法として、パッシブビジョンに基づく識別が用いられている。パッシブビジョンに基づく識別は、固定されたカメラから得られる入力画像を用いて対象物の識別が行われる。このような構成では、類似する外観の作業対象物が存在すると、識別が困難になるという問題を有している。そこで、単一の画像から得られる情報が十分ではない場合には、能動的にカメラを制御して、複数の視点から作業対象物を撮像して情報を得る方法がある。能動的にカメラを制御して複数の視点から作業対象物を得る方法の例として、入力画像と行動後に得られる画像との相互エントロピーが最大となるような行動を選択する方法がある(非特許文献1参照)。
非特許文献1に記載される方法では、すべての撮像条件について結果がオンラインでシミュレートされて相互エントロピーが求められる。このため計算量が大きく、新しい撮像条件を設定するための計算に多くの時間がかかる。また、計算時に取り得る内部状態のパターンの数が膨大であるため、事前に計算してキャッシュしておくことも困難である。このように、特許文献1に記載の方法では、撮像条件を高速で設定することが困難である。
Joachim Denzler, Christopher M. Brown "Information Theoretic Sensor Data Selection for Active Object Recognition and State Estimation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, Issue 2 (Feb, 2002), pp. 145-157.
上記実情に鑑み、本発明が解決しようとする課題は、撮像条件を高速に設定できる撮像条件設定方法を提供することである。特に、誤った識別結果が得られた場合であっても、正しい識別結果が得られる撮像条件を高速に設定できる(換言すると、撮像条件を高速で変更できる)撮像装置、この撮像装置に適用される撮像条件設定方法及びプログラムを提供することである。
前記課題を解決するため、本発明の撮像装置は、対象物の位置および姿勢を識別するための画像を撮像する撮像装置であって、前記対象物を撮像する撮像部と、前記撮像部により複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別部と、前記対象物識別部前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成部と、前記対象物識別部により前記対象物が同一の位置および姿勢であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成部と、前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成する撮像条件設定規程生成部と、前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定部と、を含むことを特徴とする。
また、本発明の撮像条件設定方法は、対象物の位置および姿勢を識別するための画像を撮影する撮像条件設定方法であって、複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別工程と、前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成工程と、前記対象物が同一の位置および姿勢であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成工程と、前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成する撮像条件設定規程生成工程と、前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、を含むことを特徴とする。
また、本発明のプログラムは、対象物の位置および姿勢を識別するための画像を撮像する撮像装置のコンピュータに実行させるためのプログラムであって、複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別工程と、前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成工程と、前記対象物の位置および姿勢が同一であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成工程と、前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成する撮像条件設定規程生成工程と、前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、をコンピュータに実行させるためのプログラムである。
本発明によれば、誤った識別結果が得られたとしても、生成された撮像条件設定規程に従って撮像条件を変更することで、正しい識別結果が得られる撮像条件を設定することができる。さらに、撮像条件設定規程は、対象物の位置や姿勢や種類などの識別の結果をインデックスとしたデータであるから、高速な参照が可能である。このため、撮像条件を高速に変更しながら対象物の識別を実施することが可能になる。このように、本発明は、誤った識別結果が得られた場合であっても、正しい識別結果が得られる撮像条件を高速に設定できる(換言すると、撮像条件を高速で変更できる)。
図1は、本発明の第一実施形態の撮像装置の全体構成を示したブロック図である。 図2は、本発明の第一実施形態の撮像条件設定方法及びプログラムの処理フローを示したフローチャートである。 図3は、本発明の第一実施形態の撮像装置の具体的な構成を模式的に示した図である。 図4は、ある一つの識別結果Aを模式的に示した図である。 図5は、識別可能範囲生成工程を模式的に示した図である。 図6は、撮像条件設定規程を生成する工程を模式的に示した図である。 図7は、対象物の識別方法の処理フローを示したフローチャートである。 図8は、本発明の第二実施形態の撮像条件設定方法及びプログラムの処理フローを示したフローチャートである。 図9は、二つの互いに異なる同一識別結果範囲を示す図である。 図10は、識別可能範囲を示した図である。 図11は、撮像条件設定規程生成工程を模式的に示した図である。 図12は、二度目以降の識別可能範囲生成工程を示した図である。 図13は、第三の撮像装置の具体的な構成を示す図である。 図14は、ある一つの識別結果Aを示した図である。 図15は、識別可能範囲生成工程を模式的に示した図である。 図16は、ある一つの識別結果Aについての撮像条件設定規程を生成する工程を示した図である。
<第一実施形態>
まず、図面を参照して本発明の第一実施形態を詳細に説明する。本発明の第一実施形態は、互いに異なる複数の方向から見た外観が類似することがある対象物の識別に好適な形態である。図1は、本発明の第一実施形態の撮像装置または第一実施形態の撮像システム1a(以下、「第一の撮像装置」1aと称する)の全体構成を示したブロック図である。
図1に示すように、第一の撮像装置1aは、対象物を撮像して画像データを生成することができる撮像部11と、さまざまな計算を行うことができる計算部12とを含む。計算部12は、撮像条件設定部121と、複数対象物識別部122と、同一識別結果範囲生成部123と、所定の生成部と、所定の保持部とを有する。所定の生成部には、識別可能範囲生成部124と、撮像条件設定規程生成部125とが含まれる。所定の保持部には、画像データ保持部126と、識別結果保持部127と、識別可能範囲保持部129と、同一識別結果範囲保持部128と、撮像条件設定規程保持部130とが含まれる。計算部12に含まれる各部121〜130は、コンピュータ(ハードウェア)およびこのコンピュータ上で動作するプログラム(ソフトウェア)として具現化される。
計算部12に含まれる各部121〜130の概要は、次のとおりである。撮像条件設定部121は、撮像部11に対して様々な撮像条件を設定する。複数対象物識別部122は、複数の対象物のそれぞれの位置や姿勢や種類などが、あらかじめ学習しておいた複数種類の位置や姿勢や種類などのいずれに該当するかを識別する。同一識別結果範囲生成部123は、複数対象物識別部122により対象物の位置や姿勢や種類などが同一であると識別された撮像条件の範囲を生成する。この撮像条件の範囲が、撮像部11の撮像条件の同一撮像条件範囲である。識別可能範囲生成部124は、複数対象物識別部122により対象物の位置や姿勢や種類などを識別可能な撮像部11の撮像条件範囲を生成する。撮像条件設定規程生成部125は、撮像条件設定部121が撮像部11に設定する撮像条件を変更する際に用いられる撮像条件設定規程を生成する。画像データ保持部126は、撮像部11により生成された画像データを保持する。識別結果保持部127は、複数対象物識別部122による識別結果を保持する。識別可能範囲保持部129は、識別可能範囲生成部124により生成された識別可能範囲を保持する。同一識別結果範囲保持部128は、同一識別結果範囲生成部123により生成された同一識別結果範囲を保持する。撮像条件設定規程保持部130は、撮像条件設定規程生成部125により生成された撮像条件設定規程を保持する。
本発明の第一実施形態の撮像条件設定方法及びプログラムの処理フローを、図2を参照して説明する。本発明の第一実施形態の撮像条件設定方法及びプログラムの処理フローは、第一の撮像装置1aに適用される。図2は、本発明の第一実施形態の撮像条件設定方法及びプログラムの処理フローを示したフローチャートである。図2に示すように、本発明の第一実施形態の撮像条件設定方法及びプログラムは、複数対象物識別工程S1−1と、同一識別結果範囲生成工程S1−2と、識別可能範囲生成工程S1−3と、撮像条件設定規程生成工程S1−4とを含む。
複数対象物識別工程S1−1においては、複数対象物識別部122が撮像条件設定部121に所定の命令を送る。撮像条件設定部121は撮像部11に制御信号を送る。撮像部11は、撮像条件設定部121からの制御信号を用いて、複数の対象物のそれぞれを撮像して画像データを生成する。撮像部11により生成された画像データは、画像データ保持部126に送信されて保持される。
複数対象物識別部122は、画像データ保持部126に保持された画像データを用いて、複数の対象物のそれぞれの位置や姿勢や種類などの識別を行う。複数の対象物のそれぞれの位置や姿勢や種類などの識別の方法は特に限定されないが、たとえば、次のような方法が適用できる。まず、あらかじめ、撮像部11が、162個の頂点を有する測地ドームの各頂点から対象物を撮像し、162枚の画像データを生成する。生成された162枚の画像データは、テンプレート画像データとして保持される。そして、複数対象物識別部122は、テンプレートマッチングにより、撮像部11が対象物を撮像して生成した画像データと162枚のテンプレート画像データとの類似度を求める。複数対象物識別部122は、もっとも類似するテンプレート画像データを用いて、対象物の位置や姿勢や種類などの識別を行う。なお、対象物の位置や姿勢や種類などの識別方法は、前記方法に限定されるものではなく、その他の方法であってもよい。要は、対象物の位置や姿勢や種類などを識別することができる方法であればよい。そして、識別結果は、識別結果保持部127に保持される。
同一識別結果範囲生成工程S1−2においては、同一識別結果範囲生成部123が、識別結果保持部127に保持される識別結果を用いて、同一識別結果範囲を生成する。同一識別結果範囲は、対象物の位置や姿勢やなどが同一であると識別される撮像部11の撮像条件の範囲である。同一識別結果範囲生成部123により生成された同一識別結果範囲は、同一識別結果範囲保持部128に保持される。
識別可能範囲生成工程S1−3では、識別可能範囲生成部124が、識別結果保持部127に保持される識別結果を用いて、識別可能範囲を生成する。識別可能範囲は、対象物の位置や姿勢や種類などを識別することができる撮像部11の撮像条件の範囲である。識別可能範囲生成部124によって生成された識別可能範囲は、識別可能範囲保持部129に保持される。
撮像条件設定規程生成工程S1−4においては、撮像条件設定規程生成部125が、撮像条件設定規程を生成する。撮像条件設定規程は、同一識別結果範囲保持部128に保持される同一識別結果範囲と、識別可能範囲保持部129に保持される識別可能範囲とを用いて生成される。撮像条件設定規程は、撮像条件設定部121が撮像部11に対して設定する撮像条件を変更するための規程である。撮像条件設定規程生成部125により生成された撮像条件設定規程は、撮像条件設定規程保持部130に保持される。
次に、第一の撮像装置1aの具体的な構成を示す。図3は、第一の撮像装置1aの具体的な構成を模式的に示した図である。
図3に示すように、第一の撮像装置1aは、カメラ22と、ロボットアーム22と、計算機(コンピュータ)23とを含む。カメラ22は、撮像部11に相当する。ロボットアーム22は、カメラ22の視点位置や姿勢を任意に設定できる。計算機23は、計算部12に相当する。
撮像部11に相当するカメラ22は、種々の撮像条件によって対象物31を撮像して画像データを生成できる。撮像条件には、たとえば、カメラ22の視点位置、カメラ22の姿勢、対象物に光を照射する照明の位置、照明の姿勢、生成する画像の解像度、カメラ22の画角のいずれか又はこれらの組み合わせなどがある。カメラ22の視点位置や姿勢は、ロボットアームによって、任意に設定できる。そして、撮像部11としてのカメラ22は、計算部12としての計算機23に接続されている。
計算部12に相当する計算機(コンピュータ)23は、ソフトウェア(プログラム)により、複数対象物識別部122と、同一識別結果範囲生成部123と、識別可能範囲生成部124と、撮像条件設定規程生成部125との機能を有する。また、計算機23は、インターフェースを装備する。このインターフェースは、撮像条件設定部121に相当し、カメラ22を制御できる。さらに、計算機23には、メモリが搭載されるとともに、不揮発性の記憶装置が外部に接続されるかまたは内部に搭載される。メモリは、画像データ保持部126と、識別結果保持部127と、同一識別結果範囲保持部128と、識別可能範囲保持部129として利用できる。不揮発性の記憶装置は、撮像条件設定規程保持部130として利用できる。
次いで、図2を参照して、本発明の第一実施形態の撮像条件設定方法及びプログラムの具体的な処理内容を説明する。
複数対象物識別工程S1−1においては、まず、カメラ22が様々な視点から対象物31を撮像し、複数の画像データを生成する。様々な視点から対象物31を撮像する方法としては、次の(1)〜(4)に示す方法が適用される。(1)撮像部11であるカメラ22を移動させながら対象物31を撮像する方法。(2)多数の位置に所定の姿勢で配置されるカメラ22により対象物31を撮像する方法。(3)対象物31自身を回転させながら撮像する方法。(4)前記(1)〜(3)が組み合わされた方法。要は、カメラ22と対象物31の相対的な位置や方向をさまざまに変えて撮像できる方法であればよい。本発明の第一実施形態においては、ロボットアーム22を制御し、642個の頂点を有する測地ドームの各頂点から対象物31をカメラで撮像して642枚の画像データを生成する。そして、複数対象物識別部122が、生成した画像データを用いて対象物の位置や姿勢や種類などの識別を行う。識別結果は、識別結果保持部127に保持される。
同一識別結果範囲生成工程S1−2においては、同一識別結果範囲生成部123が、識別結果保持部127に保持される識別結果を用いて、同一識別結果範囲を生成する。同一識別結果範囲は、対象物31が同じ位置や姿勢や種類などであると判断される撮像条件の範囲である。この工程では、互いに近い位置および姿勢のカメラ視点だけでなく、対象物31の位置や姿勢や種類などを誤って識別される視点も含めて、対象物の位置や姿勢や種類などの識別結果が等しければ、同一識別識結果範囲に含められる。
図4は、ある一つの識別結果Aを模式的に示した図である。図4においては、642個の頂点を有する測地ドームの各頂点を、三角形の頂点に見立てて図示している。図4中、白丸で示される頂点42は、ある一つの識別結果Aと等しい識別結果が得られた画像データが生成された位置(=画像が撮像された位置)を示す。図4中、黒丸で示される頂点41は、ある一つの識別結果Aとは異なる識別結果が得られた画像データが生成された位置を示す。白丸で示される頂点42を囲む領域43(図4においては、チェックが施される領域)が、ある一つの識別結果Aと等しく識別される撮像条件の範囲を示す。すなわち、この範囲が、ある一つの識別結果Aについての同一識別結果範囲43となる。この同一識別結果範囲43は、同一識別結果範囲保持部128に保持される。
識別可能範囲生成工程S1−3においては、識別可能範囲生成部124が、識別可能範囲を生成する。識別可能範囲は、対象物の位置や姿勢や種類などを識別可能な撮像条件の範囲である。識別可能範囲は、識別結果保持部127で保持される識別結果を用いて生成される。本発明の第一実施形態においては、642個の頂点を有する測地ドームの各頂点から対象物31を撮像して生成した642枚の画像データを用いて、識別可能範囲が決定される。図5は、識別可能範囲生成工程S1−3を模式的に示した図である。図5においては、642個の頂点を有する測地ドームの各頂点を、三角形の頂点に見立てて図示している。図5中、白丸で示される頂点51は、対象物の位置や姿勢や種類などの識別に成功した画像データが生成された位置を示す。一方、黒丸で示される頂点53は、対象物の位置や姿勢や種類などの識別に失敗した画像が生成された位置を示す。そして、識別が成功した頂点に囲まれる領域が、識別可能範囲52となる。図5においては、ハッチングが施される領域52が、識別可能範囲52である。生成された識別可能範囲52は、識別可能範囲保持部129に保持される。
撮像条件設定規程生成工程S1−4においては、撮像条件設定規程生成部125が、撮像条件設定規程を生成する。撮像条件設定規程は、同一識別結果範囲保持部128に保持される同一識別結果範囲と、識別可能範囲保持部129に保持される識別可能範囲とを用いて生成される。撮像条件設定規程は、方向と距離で表現される。図6は、撮像条件設定規程を生成する工程を模式的に示した図である。図6においては、例として、ある一つの識別結果Aに関して、642個の頂点を有する測地ドームの各頂点を、三角形の頂点に見立てて図示している。撮像条件設定規程生成工程S1−4においては、所定の条件(この所定の条件を、第一の条件と称する)を満たすような同一識別結果範囲の移動距離および移動方向が探索される。第一の条件としては、例えば、あるひとつの同一識別結果範囲43と識別可能範囲52との重なりが最大になるという条件が適用される。図6中の矢印55が示すように、同一識別結果範囲43を左側に2頂点分移動させると、同一識別結果範囲43が識別可能範囲52に完全に重なる。第一の条件を充足するような同一識別結果範囲43の移動距離と向きとが、撮像条件設定規程となる。そして、第一の条件を充足する移動距離および移動方向が2通り以上ある場合は、さらに別の所定の条件(この別の所定の条件を、第二の条件と称する)を満たすような撮像条件設定規程が探索される。第二の条件としては、例えば、撮像条件の変更量が最小になるという条件が適用できる。生成された撮像条件設定規程は、撮像条件設定規程保持部130に保持される。
このようにして生成された撮像条件設定規程にしたがって撮像条件を設定(換言すると変更)することで、誤った識別結果が得られたとしても、正しい識別結果が得られる撮像条件を設定することが可能になる。また、異なる撮像条件を用いて、それぞれ正しい識別結果を得ることにより、より精度や信頼度の高い識別結果を得ることが可能になる。さらに、撮像条件設定規程保持部130に保持される撮像条件設定規程は、識別結果をインデックスとしたデータであることから、高速な参照が可能である。このため、撮像条件を高速に設定(=変更)しながら対象物の識別を実施することが可能になる。
次に、撮像条件設定規程保持部130に保持される撮像条件設定規程を用いた対象物の位置や姿勢や種類などの識別方法について説明する。図7は、対象物の識別方法の処理フローを示したフローチャートである。対象物の識別方法の処理フローは、対象物撮像工程S2−1と、複数対象物識別工程S2−2と、終了判定S2−3と、撮像条件設定工程S2−4とを含む。
対象物撮像工程S2−1においては、撮像部11が対象物31を撮像して画像データを生成する。複数対象物識別工程S2−2においては、複数対象物識別部122が、生成された画像データを用いて、対象物31の位置や姿勢や種類などを識別する。終了判定S2−3においては、識別結果を用いて、対象物31の位置や姿勢や種類などの識別を終了するか否かが判定される。図7中の「Yes」は、終了判定において識別終了と判定された場合の処理を示し、「No」は、識別終了と判定されなかった場合の処理を示す。
終了判定S2−3において識別終了と判定される条件には、様々な条件が適用できる。本発明の第一実施形態では、次の(1)(2)の二つの条件の両方を充足した場合に、終了判定S2−3において識別終了と判定される。(1)撮像条件が少なくとも1回以上変更されていること。(2)複数対象物識別部122による初期撮像条件による識別結果と、撮像条件変更後の識別結果とで、対象物の位置や姿勢や種類などが等しいこと。
終了判定S2−3において、識別終了と判定されなかった場合には、撮像条件設定規程保持部130に保持される撮像条件設定規程に従って、新たな撮像条件が設定される(=撮像条件が変更される)。具体的には、撮像条件設定規程に従って、撮像部11を移動させる。そして、新たに設定された撮像条件が適用されて、再び、対象物撮像工程S2−1と複数対象物識別工程S2−2とに進む。そして、このような処理が、終了判定S2−3において識別終了と判定されるまで繰り返される。
<第2の実施形態>
次に、本発明の第二実施形態について説明する。本発明の第二実施形態は、互いに異なる対象物の外観が類似することがある対象物の識別に好適な形態である。なお、本発明の第一実施形態と相違する部分について主に説明し、本発明の第一実施形態と共通する部分については説明を省略することがある。本発明の第二実施形態の撮像装置または第二実施形態にかかる撮像システム(以下、「第二の撮像装置」と称する)は、第一の撮像装置と同じ構成が適用できる(図1参照)。また、第二の撮像装置の具体的な構成も、第一の撮像装置と同じ構成が適用できる(図3参照)。
図8は、本発明の第二実施形態の撮像条件設定方法及びプログラムの処理フローを示したフローチャートである。本発明の第二実施形態の撮像条件設定方法及びプログラムの処理フローは、第二の撮像装置に適用される。図8に示すように、本発明の第二実施形態の撮像条件設定方法及びプログラムの処理フローは、複数対象物識別工程S3−1と、同一識別結果範囲生成工程S3−2と、識別可能範囲生成工程S3−3と、撮像条件設定規程生成工程S3−4とを含む。
図9は、二つの互いに異なる同一識別結果範囲63,64を示す。なお、図9は、第一実施形態の図4に対応する。一方の同一識別結果範囲63と他方の同一識別結果範囲64とは、対象物の位置や姿勢や種類などが、互いに相違すると識別される撮像条件の範囲を示す。すなわち、図4において、白丸で示される複数の頂点61は、対象物の位置や姿勢や種類などが同一であると識別される頂点である。同様に、二重丸で示される頂点62も、対象物の位置や姿勢や種類などが同一であると識別される頂点である。ただし、白丸で示される頂点61と、二重丸で示される頂点62とは、互いに異なる識別結果が得られる。これらの一方の同一識別結果範囲63と他方の同一識別結果範囲64とは、同一識別結果範囲生成工程S3−2において、複数対象物識別工程S3−1の結果を用いて生成される。
図10は、識別可能範囲66を示す。図10は、第一実施形態における図5に対応する。識別可能範囲66は、識別可能範囲生成工程S3−3において、複数対象物識別工程S3−1の結果を用いて生成される。図10中の白丸で示す頂点65は、複数対象物識別工程S3−1において識別できた画像データが生成された位置を示す。一方、図10中の黒丸で示す頂点67は、複数対象物識別工程S3−1において識別できなかった画像データが生成された位置を示す。
撮像条件設定規程生成工程S3−4においては、一方の同一識別結果範囲63と他方の同一識別結果範囲64とのそれぞれについて、所定の条件(この所定の条件を、第三の条件と称する)を満たす撮像条件設定規程が探索される。撮像条件設定規程は、方向と距離で表現される。第三の条件には、例えば、ある一つの同一識別結果範囲が識別可能範囲に完全に重なるという条件が適用される。第三の条件を充足する撮像条件設定規程が複数個見つかった場合には、他の所定の条件(この他の所定の条件を、第四の条件と称する)を充足する撮像条件設定規程が選択される。第四の条件には、例えば、元の識別可能範囲との重なりが最大になる条件や、撮像条件の変更量が最小になるという条件などがあげられる。
図11は、撮像条件設定規程生成工程を模式的に示した図である。図11に示す例では、一方の同一識別結果範囲63に含まれるすべての頂点が、識別可能範囲66と重なる撮像条件設定規程は存在する。すなわち、矢印68に示すように、一方の同一識別結果範囲63を左向きに2頂点分の距離を移動させると、一方の同一識別結果範囲63に含まれるすべての頂点が、識別可能範囲66と重なる。これに対して、他方の同一識別結果範囲64に含まれるすべての頂点が、識別可能範囲66と重なる撮像条件設定規程は存在しない。
終了判定S3−5においては、撮像条件設定規程生成工程S3−4を終了するか否かが判定される。本発明の第二実施形態においては、すべての同一識別結果範囲に対して撮像条件設定規程が生成された場合に、撮像条件設定規程生成工程S3−4を終了すると判定される。図8中の「Yes」は、撮像条件設定規程生成工程S3−4を終了すると判定された場合の処理を示し、「No」は、終了すると判定されなかった場合の処理を示す。
終了判定S3−5において終了と判定されなかった場合には、再び、識別可能範囲生成工程S3−3に進む。図12は、二度目以降の識別可能範囲生成工程S3−3を示した図である。図12に示すように、二度目以降の識別可能範囲生成工程S3−3において、新たな識別可能範囲70が生成される。具体的には、既に生成されている識別可能範囲70に、既に撮像条件設定規程が生成されている同一識別結果範囲63を加えた範囲を、新たな識別可能範囲70とする。換言すると、識別可能範囲66が拡張される。
二度目以降の撮像条件設定規程生成工程S3−4においては、新たな撮像条件設定規程が生成される。具体的には、まだ撮像条件設定規程が生成されていない同一識別結果範囲(以下、未生成同一識別結果範囲と称する)に対して、所定の条件(この所定の条件を、第五の条件と称する)を充足する新たな撮像条件設定規程が探索される。第五の条件としては、例えば、未生成同一識別結果範囲が新たな識別可能範囲に完全に重なるようにする。図12に示す例では、未生成同一識別結果範囲である他方の同一識別結果範囲64を、矢印69に示すように、斜め左下に2頂点分の距離を移動させると、他方の同一識別結果範囲64が新たな識別可能範囲70に完全に重なる。このように、第五の条件を充足する未生成同一識別結果範囲の移動方向および移動距離が、新たな撮像条件設定規程となる。
ただし、未生成同一識別結果範囲が、識別可能範囲に完全に重なるような撮像条件設定が存在しない場合には、他の所定の条件(この他の所定の条件を、第六の条件と称する)を充足する新たな撮像条件設定規程が探索される。第六の条件としては、例えば、未生成同一識別結果範囲と識別可能範囲の重なりが最大になるようにする。第六の条件を充足する複数の新たな撮像条件設定規程が探索された場合には、さらに他の所定の条件(この他の所定の条件を、第七の条件と称する)を充足する新たな撮像条件設定規程が探索される。第七の条件としては、例えば、元の識別可能範囲との重なりが最大になるものや、撮像条件の変更量が最小となるという条件があげられる。そして、同様の処理を再帰的に繰り返すことによって、新たな撮像条件設定規程が生成される。生成された新たな撮像条件設定規程は、撮像条件設定規程保持部130によって保持される。
このようにして生成された新たな撮像条件設定規程を利用し、撮像条件を複数回にわたって設定しなおす(すなわち、撮像条件を変更する)。このような構成によれば、1度の撮像条件の変更では対象物の位置や姿勢や種類などの識別が困難であったとしても、正しい識別結果が得られる撮像条件を設定することが可能になる。
次いで、撮像条件設定規程保持部130に保持される撮像条件設定規程を用いた対象物の位置や姿勢や種類の識別方法について、図7を参照して説明する。対象物撮像工程S2−1においては、対象物を撮像して画像データを生成する。複数対象物識別工程S2−2においては、複数対象物識別部122が、生成した画像データを用いて、対象物の位置や姿勢や種類などを識別する。終了判定S2−3においては、識別結果を用いて、識別を終了するか否かが判定される。終了すると判定される条件は、様々なものが考えられる。本発明の第二実施形態においては、次の(1)(2)の両方を充足することを識別終了の条件とする。(1)撮像条件が少なくとも1回以上変更されていること。(2)複数対象物識別部122による初期撮像条件による識別結果と、撮像条件変更後の識別結果とで、対象物体の位置や姿勢や種類などが等しいこと。終了判定において、識別終了と判定されなかった場合には、撮像条件設定工程S2−4へ進む。撮像条件設定工程S2−4においては、撮像条件設定規程保持部130に保持される撮像条件設定規程に従って、撮像条件が変更される。そして、変更された撮像条件を用いて、再度、対象物撮像工程S2−1と複数対象物識別工程S2−2に進む。そして、このような処理を、終了判定S2−3において識別終了と判定されるまで繰り返される。
<第三実施形態>
次に、本発明の第三実施形態について説明する。本発明の第三実施形態は、対象物に光を照射する照明を用いる構成に好適な形態である。本発明の第三実施形態の撮像装置または本発明の第三実施形態の撮像システム1c(以下、「第三の撮像装置」1cと称する)の全体的な構成は、第一の撮像装置1aと同じ構成が適用できる(図1参照)。本発明の第三実施形態における撮像条件設定規程を生成する処理フローも、図2に示す処理フローが適用される。ただし、第三の撮像装置1cの具体的な構成、および本発明の第三実施形態における撮像条件設定規程を生成する処理フローの具体的な内容は、第一実施形態と相違する。以下、本発明の第一実施形態と相違する部分について主に説明し、共通する部分については説明を省略することがある。
図13は、第三の撮像装置1cの具体的な構成を示す。第三の撮像装置は、計算機(コンピュータ)27と、カメラ24と、照明25と、ロボットアーム26とを含む。計算機27は、計算部12に相当する。カメラ24および照明25は、撮像部11に相当する。撮像部11に相当する照明25は、ロボットアーム26に設けられる。ロボットアーム26は、照明25の位置や姿勢を任意に設定できる。照明25は、ロボットアーム26を制御することにより、任意の視点位置および姿勢で対象物32を照明することができる。撮像部11としてのカメラ24は、撮像部11としての照明25により光を照射された対象物32を撮像して画像データを生成することができる。さらに、撮像部11としての照明25およびカメラ24は、種々の撮像条件で対象物を撮像できる。撮像条件としては、対象物32を撮像する撮像部の位置や姿勢や画角、撮像部が撮像する画像の解像度、対象物32に光を照射する照明25の位置や姿勢や照度のいずれか又は組み合わせが適用できる。照明25およびカメラ24は、計算機27に接続される。
計算機(コンピュータ)27は、計算部12に相当する。そして、計算機27は、ソフトウェア(プログラム)により、複数対象物識別部122と、同一識別結果範囲生成部123と、識別可能範囲生成部124と、撮像条件設定規程生成部125との機能を有する。さらに、計算機27は、撮像条件設定部121に相当するインターフェースを備える。このインターフェースは、カメラ24および照明25を制御できる。
計算機27には、メモリが搭載されるとともに、不揮発性の記憶装置が内部に搭載されるかまたは外部に接続される。メモリは、画像データ保持部126と、識別結果保持部127と、同一識別結果範囲保持部128と、識別可能範囲保持部129として利用できる。不揮発性の記憶装置は、撮像条件設定規程保持部130として利用できる。
次に、図2を参照して、本発明の第三実施形態の撮像条件設定方法及びプログラムの具体的な処理内容を説明する。本発明の第三実施形態の撮像条件設定方法及びプログラムは、複数対象物識別工程S1−1と、同一識別結果範囲生成工程S1−2と、識別可能範囲生成工程S1−3と、撮像条件設定規程生成工程S1−4とを含む。なお、各工程における具体的な処理の内容は、本発明の第一実施形態と相違する。
複数対象物識別工程S1−1においては、照明25により様々な視点から対象物32に光を照射し、カメラ24により対象物32を撮像して画像データを生成する。様々な視点から対象物32に光を照射して撮像する方法としては、たとえば、次の(1)〜(4)に示す方法が適用できる。(1)照明25を移動させながら対象物32を撮像する方法。(2)多数の位置に所定の姿勢で配置される照明25により対象物32に光を照射し、カメラ24により対象物32を撮像する方法。(3)対象物32を回転させながら照明25により光を照射してカメラ24により撮像する方法。(4)前記(1)〜(3)の組み合わせ。要は、照明25と対象物32との相対的な位置および方向が異なる複数の画像データを生成できればよい。
本発明の第三実施形態においては、ロボットアーム26を制御することによって、642個の頂点を有する測地ドームの各頂点から対象物32に光を照射する。そして、各頂点から対象物32に光を照射している状態で、カメラ24により対象物32を撮像して642枚の画像データが生成される。そして、複数対象物識別部122が、生成された画像データを用いて対象物32の位置や姿勢や種類などの識別を行う。対象物32の位置や姿勢や種類などの識別結果は、識別結果保持部127に保持される。
同一識別結果範囲生成工程S1−2においては、同一識別結果範囲生成部123が、識別結果保持部127に保持される識別結果を用いて、同一識別結果範囲を生成する。同一識別結果範囲は、対象物32が同じ位置や姿勢や種類などであると判断される撮像条件の範囲である。この工程においては、照明25の位置や姿勢が互いに近いために同一であると識別される範囲のみならず、対象物32の位置や姿勢や種類などが誤って識別される照明条の件も含めて、識別結果が等しければ同一識別識結果範囲とする。図14は、ある一つの識別結果Aを示した図である。そして、図14は、642個の頂点を有する測地ドームの各頂点を、三角形の頂点に見立て図示している。図中の白丸で示される頂点82は、対象物32の位置や姿勢や種類などが、ある一つの識別結果Aと等しいと識別された照明25の位置を示す。黒丸で示される頂点81は、対象物の位置や姿勢や種類などが、ある一つの識別結果Aとは異なると識別された照明25の位置を示す。チェックが施される領域83が、ある一つの識別結果Aについての同一識別結果範囲83である。すなわち、チェックが施される領域83が、対象物32の位置や姿勢や種類などがある一つの識別結果Aと等しく識別される範囲を示す。この同一識別結果範囲83は、同一識別結果範囲保持部128に保持される。
識別可能範囲生成工程S1−3においては、識別可能範囲生成部124が、対象物の位置や姿勢や種類などを識別可能な撮像条件範囲を生成する。この撮像条件範囲が、識別可能範囲である。識別可能範囲は、識別結果保持部127に保持される識別結果を用いて生成される。本発明の第三実施形態では、同一識別結果範囲は、前記の642枚の画像データを用いて生成される。図15は、識別可能範囲生成工程S1−3を模式的に示した図である。図15においては、642個の個の頂点を有する測地ドームの各頂点を、三角形の頂点に見立てて図示している。白丸で示される頂点84は、対象物の位置や姿勢や種類などの識別に成功した画像データが生成された照明25の位置を示す。黒丸で示される頂点86は、対象物の位置や姿勢や種類などの識別に失敗した画像データが生成された照明25の位置を示す。識別が成功した頂点に囲まれる領域が、識別可能範囲となる。図15においては、ハッチングが施される領域85が、識別可能範囲85となる。生成された識別可能範囲85は、識別可能範囲保持部129に保持される。
撮像条件設定規程生成工程S1−4においては、撮像条件設定規程生成部125が、撮像条件設定規程を生成する。撮像条件設定規程は、同一識別結果範囲保持部128に保持される同一識別結果範囲と、識別可能範囲保持部129に保持される識別可能範囲とを用いて生成される。図16は、ある一つの識別結果Aについての撮像条件設定規程を生成する工程を示した図である。図16においては、642個の頂点を有する測地ドームの各頂点を、三角形の頂点に見立てて図示している。この工程では、あるひとつの同一識別結果範囲83と識別可能範囲85との重なりが、所定の条件(この所定の条件を、第八の条件と称する)を満たすような撮像条件設定規程を探索する。第八の条件としては、例えば、ある一つの同一識別結果範囲83と識別可能範囲85との重なりが、最大となる条件が適用される。図16では、矢印88のように、同一識別結果範囲83を左側に2頂点分の距離を移動させると、同一識別結果範囲83が識別可能範囲85に完全に重なる。撮像条件設定規程は、ある一つの同一識別結果範囲の移動の距離と方向であって、第八の条件を充足する距離と方向で示される。なお、重なりが最大になる移動方法が2通り以上ある場合には、他の所定の条件(この他の所定の条件を、第九の条件と称する)を満たすような撮像条件設定規程を選択する。第九の条件としては、例えば、撮像条件の変更量が最小になるものなどがある。生成された撮像条件設定規程は、撮像条件設定規程保持部130に保持される。
撮像条件設定部121は、対象物32の位置や姿勢や種類などを識別可能な撮像条件を設定する。この撮像条件は、撮像条件設定規程保持部130で保持される撮像条件設定規程を用いて設定される。前記のようにして生成された撮像条件設定規程にしたがって撮像条件を設定や変更することで、誤った識別結果が得られたとしても、正しい識別結果が得られる撮像条件を設定することが可能になる。また、異なる撮像条件から、それぞれ正しい識別結果を得ることにより、より精度や信頼度の高い識別結果を得ることが可能になる。さらに、撮像条件設定規程保持部130に保持されている撮像条件設定規程は、識別結果をインデックスとしたデータであることから、高速な参照が可能である。このため撮像条件を高速に設定や変更しながら、対象物の位置や姿勢や種類などの識別を実施することが可能になる。
次に、撮像条件設定規程保持部130に保持される撮像条件設定規程を用いた物体識別方法を、図7を参照して説明する。対象物撮像工程S2−1においては、対象物を撮像して画像データを生成する。複数対象物識別工程S2−2においては、複数対象物識別部122が、生成した画像データを用いて対象物の位置や姿勢や種類などを識別する。終了判定S2−3においては、対象物の位置や姿勢や種類などの識別結果を用いて、対象物の位置や姿勢や種類などの識別を終了するか否かが判定される。図中の「Yes」が、終了判定S2−3において識別終了と判定された場合の処理を示し、「No」が、識別終了と判定されなかった場合の処理を示す。識別終了と判定される条件には様々なものが考えられる。本発明の第三実施形態では、次の(1)(2)の両方を充足することを条件とする。(1)撮像条件が少なくとも1回以上変更されていること。(2)複数対象物識別部122による初期撮像条件による識別結果と、撮像条件変更後の識別結果とで、対象物の位置や姿勢や種類などが等しいこと。
終了判定S2−3において識別終了と判定されなかった場合には、撮像条件設定工程S2−4に進む。撮像条件設定工程S2−4においては、撮像条件設定規程保持部130に保持される撮像条件設定規程に従って、撮像条件が設定や変更される。そして、再度、対象物撮像工程S2−1と、複数対象物識別工程S2−2に進む。そして、このような処理を、終了判定S2−3において識別終了と判定されるまで繰り返す。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワークまたは各種記憶媒体を介してシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータ(もしくはCPUやMPUなど)がプログラムを読み出して実行する処理である。
以上、本発明を実施形態を用いて説明したが、本発明は、前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の改変が可能である。
S1−1:対象物識別工程,S1−3:識別可能範囲生成工程,S1−2:同一識別結果範囲を生成する同一識別結果範囲生成工程,S1−4:撮像条件設定規程生成工程,S2−4:撮像条件設定工程

Claims (13)

  1. 対象物の位置および姿勢を識別するための画像を撮像する撮像装置であって、
    前記対象物を撮像する撮像部と、
    前記撮像部により複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別部と、
    前記対象物識別部前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成部と、
    前記対象物識別部により前記対象物が同一の位置および姿勢であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成部と、
    前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成する撮像条件設定規程生成部と、
    前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定部と、
    を含むことを特徴とする撮像装置。
  2. 対象物の位置および姿勢を識別するための画像を撮像する撮像装置であって、
    前記対象物を撮像する撮像部と、
    前記撮像部により複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別部と、
    前記対象物識別部前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成部と、
    前記対象物識別部により前記対象物が同一の位置および姿勢であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成部と、
    前記撮像条件を変更するための撮像条件設定規程を、前記識別可能範囲と前記同一識別結果範囲とを用いて生成し、前記識別可能範囲と前記同一識別結果範囲とが重なる前記撮像条件設定規程を探索する撮像条件設定規程生成部と、
    探索された前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定部と、を含むことを特徴とする撮像装置。
  3. 対象物の位置および姿勢を識別するための画像撮像する撮像装置であって、
    前記対象物を撮像する撮像部と、
    前記撮像部により複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別部と、
    前記対象物識別部前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成部と、
    前記対象物識別部により前記対象物の位置および姿勢が同一であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成部と、
    前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成し、前記識別可能範囲と前記同一識別結果範囲との重なりが最大となる前記撮像条件設定規程を探索する撮像条件設定規程生成部と、
    探索された前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定部と、を備え、
    前記識別可能範囲生成部は、前記撮像条件設定部により設定された前記撮像条件により撮像された画像を用いて前記対象物の位置および姿勢を識別可能な新たな識別可能範囲を生成し、
    前記同一識別結果範囲生成部は、前記撮像条件設定部において設定された前記撮像条件により撮像された画像を用いて前記対象物の位置および姿勢が同一であると識別される範囲である新たな同一識別結果範囲を生成し、
    前記撮像条件設定規程生成部は、前記撮像条件を変更するための新たな撮像条件設定規程を、前記新たな識別可能範囲と前記新たな同一識別結果範囲とを用いて生成し、前記新たな識別可能範囲と前記新たな同一識別結果範囲とが重なる前記新たな撮像条件設定規程を探索し、
    前記撮像条件設定部は、探索された前記新たな撮像条件設定規程を用いて前記撮像条件を変更することを特徴とする撮像装置。
  4. 前記撮像条件は、前記対象物を撮像する撮像部の位置、前記撮像部の姿勢、前記撮像部の画角、前記撮像部が撮像する前記画像の解像度、前記対象物を照射する照明の位置、前記照明の姿勢のいずれか又は組み合わせであることを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記撮像条件設定規程生成部は、前記撮像条件設定規程に基づいて前記撮像条件の変更量が最小となるように、前記撮像条件設定規程を生成することを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
  6. 対象物の位置および姿勢を識別するための画像を撮影する撮像条件設定方法であって、
    複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別工程と、
    前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成工程と、
    前記対象物が同一の位置および姿勢であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成工程と、
    前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成する撮像条件設定規程生成工程と、
    前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、
    を含むことを特徴とする撮像条件設定方法。
  7. 対象物の位置および姿勢を識別するための画像を撮像する撮像条件設定方法であって、
    複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別工程と、
    前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成工程と、
    前記対象物が同一の位置および姿勢であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成工程と、
    前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成し、前記識別可能範囲と前記同一識別結果範囲とが重なる前記撮像条件設定規程を探索する撮像条件設定規程生成工程と、
    探索された前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、
    を含むことを特徴とする撮像条件設定方法。
  8. 対象物の位置および姿勢を識別するための画像を撮像する撮像条件設定方法であって、
    複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別工程と、
    前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成工程と、
    前記対象物の位置および姿勢が同一であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成工程と、
    前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成し、前記識別可能範囲と前記同一識別結果範囲との重なりが最大となる前記撮像条件設定規程を探索する撮像条件設定規程生成工程と、
    探索された前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、
    前記撮像条件設定工程において設定された前記撮像条件について前記対象物の位置および姿勢を識別可能な新たな識別可能範囲を生成する識別可能範囲生成工程と、
    前記撮像条件設定工程において変更された前記撮像条件について前記対象物の位置および姿勢が同一であると識別される範囲である新たな同一識別結果範囲を生成する同一識別結果範囲生成工程と、
    前記撮像条件を変更するための新たな撮像条件設定規程を、前記新たな識別可能範囲と前記新たな同一識別結果範囲とを用いて生成し、前記新たな識別可能範囲と前記新たな同一識別結果範囲とが重なる前記新たな撮像条件設定規程を探索する撮像条件設定規程生成工程と、
    探索された前記新たな撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、
    を含むことを特徴とする撮像条件設定方法。
  9. 前記撮像条件は、前記対象物を撮像する撮像部の位置、前記撮像部の姿勢、前記撮像部の画角、前記撮像部が撮像する前記画像の解像度、前記対象物を照射する照明の位置、前記照明の姿勢のいずれか又は組み合わせであることを特徴とする請求項からのいずれか1項に記載の撮像条件設定方法。
  10. 前記撮像条件設定規程生成工程においては、前記撮像条件設定規程に基づいて前記撮像条件の変更量が最小となるように、前記撮像条件設定規程を生成することを特徴とする請求項6から9のいずれか1項に記載の撮像条件設定方法。
  11. 対象物の位置および姿勢を識別するための画像を撮像する撮像装置のコンピュータに実行させるためのプログラムであって、
    複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別工程と、
    前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成工程と、
    前記対象物の位置および姿勢が同一であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成工程と、
    前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成する撮像条件設定規程生成工程と、
    前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、
    をコンピュータに実行させるためのプログラム。
  12. 対象物の位置および姿勢を識別するための画像を撮像する撮像装置のコンピュータに実行させるためのプログラムであって、
    複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別工程と、
    前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成工程と、
    前記対象物の位置および姿勢が同一であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成工程と、
    前記撮像条件を変更するための撮像条件設定規程を前記識別可能範囲と前記同一識別結果範囲とを用いて生成し、前記識別可能範囲と前記同一識別結果範囲とが重なる前記撮像条件設定規程を探索する撮像条件設定規程生成工程と、
    探索された前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、
    をコンピュータに実行させるためのプログラム。
  13. 対象物の位置および姿勢を識別するための画像撮像する撮像装置のコンピュータに実行させるためのプログラムであって、
    複数の撮像条件で撮像された複数の前記画像を用いて前記対象物の位置および姿勢を識別する対象物識別工程と、
    前記対象物の位置および姿勢を識別可能な複数の前記撮像条件の範囲である識別可能範囲を生成する識別可能範囲生成工程と、
    対象物の位置および姿勢が同一であると識別される複数の前記撮像条件の範囲である同一識別結果範囲を生成する同一識別結果範囲生成工程と、
    前記撮像条件を変更するための撮像条件設定規程を、前記識別可能範囲と前記同一識別結果範囲とを用いて生成し、前記識別可能範囲と前記同一識別結果範囲との重なりが最大となる前記撮像条件設定規程を探索する撮像条件設定規程生成工程と、
    探索された前記撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、
    前記撮像条件設定工程において変更された前記撮像条件について前記対象物の位置および姿勢を識別可能な新たな識別可能範囲を生成する識別可能範囲生成工程と、
    前記撮像条件設定工程において設定された前記撮像条件について前記対象物の位置および姿勢が同一であると識別される範囲である新たな同一識別結果範囲を生成する同一識別結果範囲生成工程と、
    前記撮像条件を変更するための新たな撮像条件設定規程を前記新たな識別可能範囲と前記新たな同一識別結果範囲とを用いて生成し、前記新たな識別可能範囲と前記新たな同一識別結果範囲とが重なる前記新たな撮像条件設定規程を探索する撮像条件設定規程生成工程と、
    探索された前記新たな撮像条件設定規程を用いて前記撮像条件を変更する撮像条件設定工程と、
    をコンピュータに実行させるためのプログラム。
JP2011023118A 2011-02-04 2011-02-04 撮像装置、撮像条件設定方法、プログラム Active JP5868005B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011023118A JP5868005B2 (ja) 2011-02-04 2011-02-04 撮像装置、撮像条件設定方法、プログラム
US13/983,295 US9398208B2 (en) 2011-02-04 2012-01-31 Imaging apparatus and imaging condition setting method and program
PCT/JP2012/000599 WO2012105228A2 (en) 2011-02-04 2012-01-31 Imaging apparatus and imaging condition setting method and program
US15/183,509 US9942465B2 (en) 2011-02-04 2016-06-15 Imaging apparatus and imaging condition setting method and program
US15/909,854 US10623629B2 (en) 2011-02-04 2018-03-01 Imaging apparatus and imaging condition setting method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011023118A JP5868005B2 (ja) 2011-02-04 2011-02-04 撮像装置、撮像条件設定方法、プログラム

Publications (2)

Publication Number Publication Date
JP2012165135A JP2012165135A (ja) 2012-08-30
JP5868005B2 true JP5868005B2 (ja) 2016-02-24

Family

ID=45688936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011023118A Active JP5868005B2 (ja) 2011-02-04 2011-02-04 撮像装置、撮像条件設定方法、プログラム

Country Status (3)

Country Link
US (3) US9398208B2 (ja)
JP (1) JP5868005B2 (ja)
WO (1) WO2012105228A2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5868005B2 (ja) * 2011-02-04 2016-02-24 キヤノン株式会社 撮像装置、撮像条件設定方法、プログラム
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2016139957A (ja) * 2015-01-28 2016-08-04 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
EP4024847A4 (en) * 2020-10-23 2022-09-28 NEC Corporation INDIVIDUAL IDENTIFICATION DEVICE

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728404B1 (en) * 1991-09-12 2004-04-27 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
US5694625A (en) * 1994-09-07 1997-12-02 Nikon Corporation Camera provided with an automatic focus adjusting apparatus
US7574045B2 (en) * 2001-07-27 2009-08-11 Matrox Electronic Systems Ltd. Model-based recognition of objects using a calibrated image system
US6747643B2 (en) * 2002-06-03 2004-06-08 Omnigon Technologies Ltd. Method of detecting, interpreting, recognizing, identifying and comparing n-dimensional shapes, partial shapes, embedded shapes and shape collages using multidimensional attractor tokens
JP3834297B2 (ja) * 2003-05-12 2006-10-18 ファナック株式会社 画像処理装置
JP4917331B2 (ja) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP2008296330A (ja) * 2007-05-31 2008-12-11 Fanuc Ltd ロボットシミュレーション装置
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
JP5361664B2 (ja) * 2009-10-30 2013-12-04 キヤノン株式会社 画像処理装置、画像処理方法
JP5868005B2 (ja) * 2011-02-04 2016-02-24 キヤノン株式会社 撮像装置、撮像条件設定方法、プログラム
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
EP4140414A1 (en) * 2012-03-07 2023-03-01 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
US9701258B2 (en) * 2013-07-09 2017-07-11 Magna Electronics Inc. Vehicle vision system
KR101503213B1 (ko) * 2014-04-04 2015-03-17 경주대학교 산학협력단 영상 이미지의 지리정보 및 패턴인식 기술을 이용한 시정거리 측정 장치 및 그 측정 방법

Also Published As

Publication number Publication date
WO2012105228A2 (en) 2012-08-09
US10623629B2 (en) 2020-04-14
US20160295106A1 (en) 2016-10-06
US9942465B2 (en) 2018-04-10
US20130307976A1 (en) 2013-11-21
US9398208B2 (en) 2016-07-19
US20180191951A1 (en) 2018-07-05
JP2012165135A (ja) 2012-08-30
WO2012105228A3 (en) 2012-11-08

Similar Documents

Publication Publication Date Title
EP3314570B1 (en) Real-time, model-based object detection and pose estimation
RU2700246C1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
US20140018957A1 (en) Robot system, robot, robot control device, robot control method, and robot control program
JP2018055675A (ja) 3d画像データにおける3dポーズの改良されたスコアリング及び偽ポイント除去のためのシステム及び方法
Khalfaoui et al. An efficient method for fully automatic 3D digitization of unknown objects
Zhang et al. 3-D model-based multi-camera deployment: A recursive convex optimization approach
JP4709668B2 (ja) 3次元物体認識システム
JP5092711B2 (ja) 物体認識装置およびロボット装置
JP2009128075A (ja) 物体認識方法
US10623629B2 (en) Imaging apparatus and imaging condition setting method and program
Blank et al. 6DoF pose-estimation pipeline for texture-less industrial components in bin picking applications
JP7200610B2 (ja) 位置検出プログラム、位置検出方法及び位置検出装置
CN115461199A (zh) 用于自主机器人操作的面向任务的3d重构
Oyekan et al. Utilising low cost RGB-D cameras to track the real time progress of a manual assembly sequence
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JP7372076B2 (ja) 画像処理システム
JP2012220271A (ja) 姿勢認識装置、姿勢認識方法、プログラム及び記録媒体
Caporali et al. Deformable linear objects 3D shape estimation and tracking from multiple 2D views
JP5462662B2 (ja) 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム
JP2013137591A (ja) 最近傍点探索装置およびその方法、プログラム、3次元位置・姿勢認識装置およびその方法
JP7003455B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
Korbach et al. Next-Best-View Estimation based on Deep Reinforcement Learning for Active Object Classification
Cretu et al. Harnessing Vision and Touch for Compliant Robotic Interaction with Soft or Rigid Objects
JP6085160B2 (ja) 物体認識システム
CN118212294B (zh) 基于三维视觉引导的自动化方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160105

R151 Written notification of patent or utility model registration

Ref document number: 5868005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151