JP7044062B2 - 対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム - Google Patents

対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム Download PDF

Info

Publication number
JP7044062B2
JP7044062B2 JP2018526367A JP2018526367A JP7044062B2 JP 7044062 B2 JP7044062 B2 JP 7044062B2 JP 2018526367 A JP2018526367 A JP 2018526367A JP 2018526367 A JP2018526367 A JP 2018526367A JP 7044062 B2 JP7044062 B2 JP 7044062B2
Authority
JP
Japan
Prior art keywords
change
state
captured image
recognition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018526367A
Other languages
English (en)
Other versions
JPWO2018008595A1 (ja
Inventor
壮馬 白石
尚司 谷内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018008595A1 publication Critical patent/JPWO2018008595A1/ja
Application granted granted Critical
Publication of JP7044062B2 publication Critical patent/JP7044062B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本開示は、対象物認識システム、物体制御装置、対象物認識装置、対象物認識方法、物体制御方法および記録媒体に関する。
撮像される動画像に含まれる各撮影画像を認識処理に用いる際、撮影画像と該撮影画像内に含まれる対象物の位置とを対応付ける方法が考えられている。この対応付けの一例として、例えば、特許文献1には、正確な位置と時刻とを算出する車載装置が該時刻をもとに光源部を点滅し、車両を撮影する撮影装置が撮像する撮影画像にタイムスタンプを記録させることにより、車両の位置と撮影画像とを対応付ける方法が記載されている。
特開2010-236891号公報
しかしながら、特許文献1に記載の技術では、光源部の点滅により、撮影画像内での輝度または色の変化が起こる可能性がある。このような場合、例えば、露出を自動的に補正する機能を有するカメラでは、撮影画像全体の明るさや色味が変わってしまう可能性がある。したがって、このような撮影画像を用いて認識処理を行う場合、認識の精度が低下してしまう可能性がある。
また、対象物の位置と撮影画像との対応付けを行う方法として、センサを用いて、該センサの出力をトリガに撮像装置が対象物を撮像する方法が考えられる。しかしながら、このような方法では、センサからの出力を受け取ることが可能な撮像装置が必要となってしまう。また、撮像装置がセンサからの出力を受け取ることができた場合であっても、撮像装置が有するクロックと、センサが有するクロックとにずれが発生し、対象物の位置と撮影画像との対応付けの精度が低下する可能性があるため、認識対象として適した撮影画像を特定できない可能性がある。したがって、このような方法を採用した場合であっても、認識の精度が低下してしまう可能性がある。
認識精度を上げるために、全ての撮影画像に対し認識処理を行うことが考えられる。このような場合、認識処理の処理量が増えてしまうため、認識処理を行う装置に負荷がかかってしまう。また、負荷をかけないためには、高性能な装置を使用する必要があり、導入コストがかかってしまう。
本開示は、上記課題に鑑みてなされたものであり、その目的は、高い認識精度で、認識にかかるコストを削減することが可能な技術を提供することにある。
本開示の一態様に係る対象物認識システムは、認識対象となる移動する対象物を検出する検出手段と、前記対象物の動画像を撮像する撮像手段と、前記撮像手段の撮影範囲内において、状態が変化可能な物体と、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出手段の出力に基づき、前記物体の状態を制御する制御手段と、前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定する特定手段と、前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える。
また、本開示の一態様に係る物体制御装置は、認識対象となる移動する対象物の検出結果を受信する受信手段と、前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体を制御する制御手段であり、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記物体の状態を制御する制御手段と、を備える。
また、本開示の一態様に係る対象物認識装置は、撮像された認識対象となる対象物であり、移動する対象物の動画像の撮影範囲内において、状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定する特定手段と、前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える。
また、本開示の一態様に係る対象物認識システムの対象物認識方法は、検出装置と、撮像装置と、前記撮像装置の撮影範囲内において状態が変化可能な物体と、対象物認識装置と、物体制御装置とを含む対象物認識システムにおける対象物認識方法であって、前記検出装置が認識対象となる移動する対象物を検出し、前記撮像装置が前記対象物の動画像を撮像し、前記物体制御装置が、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出の出力に基づき、前記物体の状態を制御し、前記対象物認識装置が、前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定し、前記特定された撮影画像に含まれる前記対象物を認識する。
また、本開示の一態様に係る物体制御方法は、認識対象となる移動する対象物の検出結果を受信し、前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体を、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する。
また、本開示の一態様に係る対象物認識方法は、撮像された認識対象となる対象物の動画像の撮影範囲内において状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定し、前記特定された撮影画像に含まれる前記対象物を認識する。
なお、上記システム、装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
本開示によれば、高い認識精度で、認識にかかるコストを削減することができる。
第1の実施の形態に係る対象物認識システムの構成の一例を示す図である。 第1の実施の形態に係る対象物認識システムの動作の流れの一例を示すフローチャートである。 第2の実施の形態に係る対象物認識システムの構成の一例を示す図である。 第2の実施の形態に係る対象物認識システムの利用シーンを説明するための図である。 第2の実施の形態に係る対象物認識システムにおける物体制御装置の機能構成の一例を示す機能ブロック図である。 第2の実施の形態に係る対象物認識システムにおける対象物認識装置の機能構成の一例を示す機能ブロック図である。 撮影画像の一例を示す図である。 撮影画像の一例を示す図である。 第2の実施の形態に係る対象物認識システムの検出装置と物体制御装置との動作の一例を示すフローチャートである。 第2の実施の形態に係る対象物認識システムの対象物認識装置の動作の一例を示すフローチャートである。 物体制御装置による制御のタイミングを説明するための図である。 物体制御装置による制御のタイミングを説明するための図である。 特定部が光源の状態変化の検出をスキップする撮影画像を説明するための図である。 撮影画像の一例を示す図である。 撮影画像の一例を示す図である。 撮影画像の一例を示す図である。 撮影画像の一例を示す図である。 撮影画像の一例を示す図である。 各実施の形態を実現可能なコンピュータ(情報処理装置)のハードウェア構成を例示的に説明する図である。
<第1の実施の形態>
本開示の第1の実施の形態について、図面を参照して説明する。図1は、本実施の形態に係る対象物認識システム10の構成の一例を示す図である。図1に示す通り、本実施の形態に係る対象物認識システム10は、検出部11と、撮像部12と、物体13と、制御部14と、特定部15と、認識部16とを備える。
検出部11は、認識対象となる移動する対象物80を検出する。検出部11は、例えば、赤外線センサ等によって実現される。ここで、対象物80は、例えばベルトコンベア等に載置されて移動するものであってもよいし、自発的に移動するものであってもよい。また、認識対象となる対象物80とは、不定形な物体であり、例えば、キノコが挙げられる。キノコは、その形が不定形であるため、同じ個数(例えば、3本)であっても、3つのキノコの外形は異なる。また、認識対象となる対象物80とは、弁当等、内部に複数のアイテムを含むものであってもよい。弁当に含まれる各アイテム、例えば、焼き魚は、弁当ごとにその外形が異なる場合が多い。本実施の形態に係る対象物認識システム10は、このような対象物80を認識するシステムである。検出部11は、対象物80を検出すると、検出したことを示す通知(検出結果)を、制御部14に出力する。
撮像部12は、対象物80の動画像を撮像する。撮像部12は、例えば、Webカメラ、デジタルスチールカメラ、携帯電話端末に内蔵されたカメラ等の動画像を撮影可能な撮像装置によって実現される。
物体13は、撮像部12の撮影範囲90内に設けられている。つまり、撮像部12が撮影した動画像には物体13の撮影画像が含まれる。物体13は、後述する制御部14の制御に基づいて、撮影範囲90内において状態が変化可能な物体である。物体13が、例えば光源の場合、物体13は、消灯または点灯する。ここで、撮影範囲90とは、撮像部12から対象物80までの距離および撮像部12の焦点距離によって定まるものである。
制御部14は、検出部11から検出結果を受け取る。制御部14は、受け取った検出結果(撮像部12の出力)に基づいて、物体13の状態を制御する。このとき、制御部14は、物体13の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、該物体13の状態を制御する。物体13が、例えば光源の場合、制御部14は、光源による光量の変化が一定範囲内に収まるように、撮像部12の出力に基づいて、該光源の状態(消点灯)を制御する。ここで、一定範囲とは、例えば露出を自動的に補正する機能(自動補正機能)を撮像部12が有している場合に該撮像部12がこの自動補正機能が起動しない程度の変化量の範囲である。
特定部15は、撮像部12が撮影した動画像を撮像部12から取得する。撮像部12が動画像を撮影しているため、この動画像には状態が変化する前の物体13を含む撮影画像と、状態が変化した後の物体13を含む撮影画像とが含まれる。特定部15は、このような動画像に含まれる物体13の状態変化を検出する。そして、特定部15は、動画像に含まれる撮影画像のうち、物体13の状態変化を検出した撮影画像を、認識対象の撮影画像として特定する。特定部15は、特定した撮影画像を認識部16に供給する。
認識部16は、特定部15から撮影画像を受け取る。認識部16は、特定部15によって特定された撮影画像に含まれる対象物80を認識する。認識部16は、対象物80が例えばキノコの場合、キノコの個数を認識する。また、認識部16は、対象物80が例えば、弁当の場合、複数のアイテムの夫々を認識する。なお、認識手法は特に限定されるものではなく、どのような手法を用いてもよい。
次に、図2を参照して、本実施の形態に係る対象物認識システム10の動作の流れについて説明する。図2は、本実施の形態に係る対象物認識システム10の動作の一例を示すフローチャートである。図2のフローチャートでは、撮像部12が対象物80の動画像を撮影しているとする。
図2に示す通り、まず、検出部11が認識対象となる移動する対象物80を検出する(ステップS1)。そして、制御部14が物体13の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、検出の出力に基づき、物体13の状態を制御する(ステップS2)。
その後、特定部15が、動画像に含まれる物体13の状態変化を検出して、認識対象とする撮影画像を特定する(ステップS3)。そして、認識部16が、特定された撮影画像に含まれる対象物80を認識する(ステップS4)。
以上のように、本実施の形態に係る対象物認識システム10によれば、特定部15が、動画像に含まれる物体13の状態変化を検出して、認識対象とする撮影画像を特定する。物体13の状態は、制御部14によって、物体13の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、検出の出力に基づいて制御されている。これにより、例えば、撮像部12が撮像した撮影画像の光量または色合いの変化が一定範囲内に収まるため、撮像部12は撮影画像間において、明るさや色合いのバランスを保った動画像を撮像することができる。
また、制御部14が対象物80の検出の出力に基づいて物体13を制御するため、特定部15が物体の状態変化を検出する撮影画像は、対象物80の検出の出力に関連する撮影画像となる。これにより、特定部15は、例えば、対象物80が撮影画像内において、最適な場所に位置する撮影画像を、認識対象として特定することができる。認識部16は、このように特定された撮影画像を用いて認識処理を行うため、本実施の形態に係る対象物認識システム10は、高い認識精度を有することができる。
また、認識部16は、特定部15によって特定された撮影画像を用いて認識処理を行うため、全ての撮影画像を用いて認識処理を行う場合に比べ、認識処理の処理量を削減することができる。したがって、本実施の形態に係る対象物認識システム10によれば、高性能な装置を用いなくても、好適に認識処理を行うことができるため、導入コストを低減することができる。
また、撮像部12は、検出部11からの出力を受け取る機能を有していなくてもよく、動画像を撮影する機能を有していればよい。これにより、本実施の形態に係る対象物認識システム10は、一般的なWebカメラ等の撮像装置を撮像部12として採用することができるため、更に導入コストを低減することができる。
<第2の実施の形態>
次に、上述した第1の実施の形態を基本とする、本開示の第2の実施の形態について、図面を参照して説明する。まず、図3に本実施の形態に係る対象物認識システム100の構成の一例を示す。図3に示す通り、本実施の形態に係る対象物認識システム100は、検出装置110と、撮像装置120と、光源(130-1、130-2)と、物体制御装置140と、対象物認識装置150とを含む。なお、本実施の形態では、光源は2つであるとして説明を行うが、光源は3以上であってもよい。本実施の形態では、光源(130-1、130-2)の夫々を区別しない場合、または、総称する場合には、これらを光源130と呼ぶ。なお、説明の便宜上、前述した第1の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
検出装置110と物体制御装置140とは、通信可能に接続している。また、物体制御装置140と光源130とは、通信可能に接続している。また、対象物認識装置150と撮像装置120とは、通信可能に接続している。各装置間の接続形態は、特に限定されるものではなく、夫々異なる通信方式を採用して接続してもよいし、同じ通信方式を採用して接続していてもよい。
図4は、本実施の形態に係る対象物認識システム100の利用シーンを説明するための図である。例えば、対象物80がベルトコンベア上を移動するような場合において、検出装置110が移動してくる対象物80を検出する。光源130は、撮像装置120が撮影する動画像に光源130の撮影画像が含まれる位置に設けられている。検出装置110がベルトコンベア上を移動する対象物80を検出すると、物体制御装置140が光源130の状態を制御する。撮像装置120は、対象物80を認識する際に用いる動画像を撮像する。撮像装置120が撮像する動画像には、状態が変化する前の光源130を含む撮影画像と、状態が変化した後の光源130を含む撮影画像とが含まれる。対象物認識システム100は、このような動画像を用いて対象物80の認識を行う場合に利用されるシステムである。
図3に戻り、対象物認識システム100の各装置について説明する。検出装置110は、認識対象となる対象物80を検出する。検出装置110は、第1の実施の形態における検出部11の機能を含む。検出装置110は、例えば、赤外線を発光する発光ダイオードと、該赤外線の反射光を受光する受光素子を含む赤外線センサによって実現される。なお、検出装置110は、赤外線センサに限定されず、例えば、超音波やレーザーを用いるセンサであってもよい。検出装置110は、例えば、図4に示すように、ベルトコンベア上を流れる対象物80を撮像装置120が撮影する前に、対象物80を検出可能な位置に設けられている。検出装置110は、ベルトコンベア上を移動する対象物80を検出すると、検出したことを示す通知(検出結果またはトリガ信号とも呼ぶ)を物体制御装置140に送信(出力)する。なお、検出装置110が検出装置110と対象物80との距離を計測する機能を有している場合、上記検出結果には、検出装置110と対象物80との距離を表す距離情報が含まれていてもよい。また、検出装置110が検出結果を出力するタイミングは、対象物80を検出した直後であってもよいし、所定時間経過した後であってもよい。後者の場合、例えば、対象物80が検出装置110によって検出されてから、撮像装置120が撮像する撮影画像において、該対象物80の認識精度が高くなる位置(例えば、撮影画像の中央部付近)に移動するまでに掛かる時間を、所定時間としてもよい。
撮像装置120は、対象物80の動画像を撮像する。図4に示す例では、撮像装置120は、ベルトコンベアの所定の位置を撮像する。ベルトコンベア上を対象物80が移動すると、撮像装置120はこの対象物80を含む動画像を撮影することができる。撮像装置120は、第1の実施の形態における撮像部12の機能を有する。撮像装置120は、例えば、Webカメラ等によって実現される。
光源130は、撮像装置120の撮影範囲90内に設けられている。これにより、撮像装置120が撮影する動画像には、光源130の撮影画像が含まれる。光源130は、第1の実施の形態における物体13に相当する。光源130は、後述する物体制御装置140の制御に基づいて、撮影範囲90内において状態が変化可能な物体である。具体的には、光源130は、消灯または点灯する。
物体制御装置140は、第1の実施の形態における制御部14の機能を有する。ここで、物体制御装置140の機能構成について、図5を参照して説明する。図5は、本実施の形態に係る対象物認識システム100における物体制御装置140の機能構成の一例を示す機能ブロック図である。
図5に示す通り、物体制御装置140は、受信部141と、制御部142とを備える。受信部141は、検出装置110が送信した検出結果を受信する。受信部141は、受信した検出結果を制御部142に供給する。
制御部142は、受信部141から供給された検出結果に基づいて、光源130の状態を制御する。このとき、制御部142は、光源130の変化による撮影画像間の光量の変化が一定範囲内に収まるように、該光源130の状態を制御する。
制御部142の制御について、図7および図8を用いてさらに説明する。図7および図8は、撮像装置120が撮影した撮影画像の一例を示す図である。図7は、制御部142が光源130を制御する前の撮影画像の一例を示す。図7では、光源130-1が点灯しており、光源130-2が消灯している。
受信部141が検出結果を受信すると、制御部142は、光源130-1および光源130-2を制御する。検出装置110が対象物80を検出した直後に検出結果を送信した場合、制御部142は、対象物80の移動速度に応じて、検出結果を受信した時間から所定時間後に、光源130を制御する。具体的には、制御部142は、撮像装置120が撮像する撮影画像において、該対象物80の認識精度が高くなる位置(例えば、撮影画像の中央部付近)に移動するタイミングで、光源130を制御することが好ましい。また、検出装置110が対象物80を検出し所定時間経過した後に検出結果を送信した場合、制御部142は、この検出結果を受信したことをトリガに光源130を制御することが好ましい。
図8は、制御部142が光源130を制御した後の撮影画像の一例を示す。図8では、光源130-2が点灯しており、光源130-1が消灯している。図7および図8に示すように、制御部142が光源130-1および光源130-2を制御する前後において、点灯している光源130は、光源130-1および光源130-2の何れか一方となっていることがわかる。つまり、制御部142による制御前の光量と制御後の光量とは、1つの光源130からの光量となり、略変化しない。このように、制御部142は、光源130の消点灯による撮影画像間の光量の変化が一定範囲内に収まるように、該光源130の消点灯を制御する。
これにより、制御部142による制御前の光量と制御後の光量との変化が一定範囲内であるため、例えば、自動的に露出補正を行うような撮像装置120であっても、撮像装置120が過度な補正を行うことを抑制することができる。したがって、撮像装置120が撮像する撮影画像は、輝度のバランスを保った画像となるため、後述する対象物認識装置150はこのような撮影画像を用いて認識処理を行うことができる。
図3に戻り、対象物認識システム100の対象物認識装置150について説明する。対象物認識装置150は、第1の実施の形態における特定部15および認識部16の機能を有する。対象物認識装置150は、撮像装置120が撮像した動画像を撮像装置120から取得する。ここで、対象物認識装置150の機能構成について、図6を参照して説明する。図6は、本実施の形態に係る対象物認識システム100における対象物認識装置150の機能構成の一例を示す機能ブロック図である。
対象物認識装置150は、図6に示す通り、特定部151と、認識部152とを備える。対象物認識装置150は、更に、記憶部153を備えていてもよい。なお、記憶部153は、対象物認識装置150とは別個の装置で実現されてもよい。
特定部151は、第1の実施の形態における特定部15に相当する。特定部151は、撮像装置120から取得した動画像に含まれる光源130の状態変化を検出する。そして、特定部151は、動画像に含まれる撮影画像のうち、光源130の状態変化を検出した撮影画像を、認識対象の撮影画像として特定する。
図7および図8の例の場合、光源130-1が点灯状態から消灯状態に変化し、光源130-2が消灯状態から点灯状態に変化している。特定部151は、この状態変化を検出し、検出した撮影画像(この例の場合、図8の撮影画像)を認識対象の撮影画像として特定する。そして、特定部151は、特定した撮影画像を認識部152に供給する。
記憶部153は、認識部152が撮影画像内の対象物80の認識に用いる認識用データを格納している。記憶部153は、認識部152の内部に設けられていてもよいし、対象物認識装置150とは別個の記憶装置で実現されてもよい。
認識部152は、第1の実施の形態における認識部16に相当する。認識部152は、特定部151から特定された撮影画像を受け取る。認識部152は、記憶部153を参照し、受け取った撮影画像に含まれる対象物80を認識する。
次に、図9を参照して本実施の形態に係る対象物認識システム100の検出装置110と、物体制御装置140との動作について説明する。図9は、本実施の形態に係る対象物認識システム100の検出装置110と物体制御装置140との動作の一例を示すフローチャートである。図9のフローチャートでは、検出装置110の動作を左側に、物体制御装置140の動作を右側に示しており、各動作の間の破線の矢印は情報の流れを表している。なお、図9のフローチャートでは撮像装置120が対象物80の動画像を撮影しているとする。
検出装置110は、認識対象となる移動する対象物80を検出するまで、ステップS91を繰り返し、検出すると(ステップS91にてYES)、検出結果を物体制御装置140に送信する(ステップS92)。
物体制御装置140の受信部141は、検出装置110から送信された検出結果を受信する(ステップS93)。そして、制御部142は、検出結果に基づいて、光源130の状態を制御する(ステップS94)。
物体制御装置140は、検出装置110から検出結果を受信する度に、ステップS93およびステップS94を繰り返す。
次に、図10を参照して、本実施の形態に係る対象物認識システム100の対象物認識装置150の動作について説明する。図10は、本実施の形態に係る対象物認識システム100の対象物認識装置150の動作の一例を示すフローチャートである。図10のフローチャートでは、対象物認識装置150が、撮像装置120が撮影した動画像を取得しているとして説明を行う。
図10に示す通り、特定部151が動画像に含まれる光源130の状態変化を検出し、光源130の状態変化を検出した撮影画像を、認識対象の撮影画像として特定する(ステップS101)。
そして、認識部152が特定された撮影画像に含まれる対象物80を認識する(ステップS102)。
認識部152は、特定部151が認識対象とする撮影画像を特定する度に、ステップS102を行う。
以上のように、本実施の形態に係る対象物認識システム100は、検出装置110が認識対象となる移動する対象物80を検出し、撮像装置120が対象物80の動画像を撮像する。そして、物体制御装置140が、撮像装置120の撮影範囲90内において状態が変化可能な光源130の変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、検出装置110の出力に基づき、光源130の消点灯を制御する。その後、対象物認識装置150が動画像に含まれる光源130の状態変化を検出して、認識対象とする撮影画像を特定し、特定された撮影画像に含まれる対象物80を認識する。
したがって、本実施の形態に係る対象物認識システム100は、上述した第1の実施の形態に係る対象物認識システム10と同様の効果を有する。また、対象物認識システム100は、物体制御装置140によって制御される物体として光源130を備えている。これにより、対象物認識システム100は、簡便な構成で、且つ、低い導入コストで、認識精度が高くなる最適な撮影画像を特定することができる。
なお、光源130は、撮影画像上において、該撮影画像の認識開始位置に含まれるように配置されていることが好ましい。一般的に、撮影画像の認識は、撮影画像の左上から開始される。したがって、光源130は、撮影画像の左上に含まれるように、配置されていることが好ましい。これにより、特定部151は、認識開始位置を確認することで認識対象とする撮影画像を特定することができる。したがって、特定部151は、認識開始位置以外の箇所に光源130が配置されている場合に比べ、撮影画像の特定にかかる処理量を削減することができる。
また、物体制御装置140は、検出結果を受信した後、次の検出結果を受信するまでの間に、光源130を2回制御してもよいし、1回制御してもよい。これについて、図11および図12を参照して説明を行う。
図11および図12は、物体制御装置140による制御のタイミングを説明するための図である。図11および図12では、横軸は時間を表している。そして、(a)の部分に検出装置による対象物80の検出状況を表している。また、(b)の部分に光源130-1の消点灯の状況を表し、(c)の部分に光源130-2の消点灯の状況を表している。また、(d)の部分に時間t1~t8の夫々の時間に撮影された撮影画像Ft1~Ft8を表している。
図11では、光源130-1が点灯状態であり、光源130-2が消灯状態である状態を初期状態とする。そして、物体制御装置140の制御部142は、対象物80が検出された後、光源130-1を消灯させ、光源130-2を点灯させる。そして、制御部142は、所定の時間後、初期状態(光源130-1を点灯させ、光源130-2を消灯させた状態)になるように、光源130の消点灯を制御する。所定の時間とは、光源130-1が消灯状態であり、光源130-2が点灯状態である間に少なくとも1枚の撮影画像が取得される時間であればよい。
これにより、特定部151は、初期状態からの変化を検出することにより、認識対象の撮影画像(図11の場合、Ft2およびFt6)を特定することができる。
図12でも、光源130-1が点灯状態であり、光源130-2が消灯状態である状態を初期状態とする。物体制御装置140の制御部142は、対象物80が検出された後、光源130-1を消灯させ、光源130-2を点灯させる。そして、制御部142は、次に対象物80が検出されるまで、光源130の状態を変化させず、次に対象物80が検出されると、現在の状態の直前の状態(この場合、初期状態)になるように光源130を制御する。即ち、制御部142は、光源130-1を点灯させ、光源130-2を消灯させる。
これにより、特定部151は、撮影画像間において、光源130の状態変化を検出することにより、認識対象の撮影画像(図12の場合、Ft2およびFt6)を特定することができる。
また、制御部142が、特定部151は、認識対象の撮影画像を特定後、該特定した撮影画像から所定枚数の撮影画像に対する物体の状態変化の検出をスキップしてもよい。これについて、図13を参照して説明を行う。図13は、特定部151が物体の状態変化の検出をスキップする撮影画像を説明するための図である。図13では、制御部142が図11に示すような制御を行う場合において、特定部151が物体の状態変化の検出をスキップする場合について説明するが、図12に示すような制御を行う場合であっても適用することができる。
図13では、横軸は時間を表している。そして、(a)の部分に光源130-1の消点灯の状況を表し、(b)の部分に光源130-2の消点灯の状況を表している。また、(c)の部分に時間t11~t18の夫々の時間に撮影された撮影画像Ft11~Ft18を表している。
撮影画像Ft11と撮影画像Ft12とでは、光源130の状態に変化があるため、特定部151は、光源130-1が消灯状態であり、光源130-2が点灯状態の時に撮影された撮影画像Ft12を、認識対象の撮影画像であると特定する。対象物80が図4に示すようにベルトコンベア上を流れる場合、特定部151は光源130の状態変化を検出した撮影画像を認識対象の撮影画像であると特定する。そして、次に光源130の状態が変化するまでの撮影画像には、光源130の状態に変化がないため、特定部151が物体の状態変化の検出をスキップしない場合、特定部151は光源130の状態変化が無いことを検出し、光源130に状態変化が無い画像を、認識対象外の撮影画像と判定する。
このように、対象物80が図4に示すようにベルトコンベア上を流れる場合に、特定部151が認識対象であると特定した撮影画像の後の所定枚数の撮影画像は認識対象外の撮影画像となる。したがって特定部151は、特定した撮影画像から所定枚数の撮影画像、例えば、t12<t<t17の間に撮影された撮影画像Ft13~Ft16に対する物体の状態変化の検出処理をスキップしてもよい。これにより、特定部151が行う検出処理の処理量を低減させることができる。
(変形例)
第2の実施の形態では、第1の実施の形態における物体13が光源であることを例に説明を行ったが、物体13は光源に限定されない。本変形例では、第2の実施の形態における光源130の代わりに、例えば、撮影範囲90において赤または青を表示させることが可能な機構(切換え機構131と呼ぶ)を適用することについて説明する。なお、切換え機構131は、撮像された撮影画像内において、赤または青の色が含まれるように形成されたものであればよく、その形状は特に限定されない。
図14および図15は、撮像装置120が撮影した撮影画像の一例を示す図である。図14は、制御部142が切換え機構131を制御する前の撮影画像の一例を示す。図14では、撮影画像の右上に含まれる切換え機構131-1が赤色を表示しており、撮影画像の左上に含まれる切換え機構131-2が青色を表示しているとする。
図15は、制御部142が切換え機構131を制御した後の撮影画像の一例を示す。図15では、切換え機構131-2が赤色を表示しており、切換え機構131-1が青色を表示しているとする。図14および図15に示すように、制御部142が切換え機構131-1および切換え機構131-2を制御する前後において、一方の切換え機構131が赤色を表示し、他方の切換え機構131が青色を表示している。つまり、制御部142による制御前の色合いと制御後の色合いとは、略変化しない。このように、制御部142は、切換え機構131の状態変化による撮影画像間の色合いの変化が一定範囲内に収まるように、該切換え機構131を制御してもよい。
このように制御部142が制御する物体が、光源以外のものであっても、制御部142による制御前の撮影画像内の色合いと制御後の撮影画像内の色合いとでは、その変化が一定範囲内となる。したがって、例えば、自動的に露出補正を行うような撮像装置120であっても、撮像装置120が過度な補正を行うことを抑制することができる。これにより、上述した第2の実施の形態と同様に、対象物認識装置150は色合いの変化が少ない撮影画像を用いて認識処理を行うことができるため、認識精度を高めることができる。
<第3の実施の形態>
第3の実施の形態について説明する。上述した第2の実施の形態では、2つの光源(130-1、130-2)または2つの切換え機構(131-1、131-2)を用いることについて説明したが、光源または切換え機構は、3つ以上であってもよい。本実施の形態では、3つ以上の光源130を用いる場合の対象物認識システム100について説明する。なお、本実施の形態に係る対象物認識システム100の構成は、図3と同様である。なお、本実施の形態では、検出装置110が出力する検出結果に検出装置110と対象物80との距離を表す距離情報が含まれているとする。
図16から図18は、撮像装置120が撮影した撮影画像の一例を示す図である。図16は、対象物80が検出装置110で検出されていない場合の撮影画像の一例を示す。本実施の形態に係る対象物認識システム100は、4つの光源(130-1~130-4)を備える。図16に示す通り、光源130-1は撮影画像の右上に含まれるように設けられており、光源130-2は撮影画像の左上に含まれるように設けられている。また、光源130-3は撮影画像の左下に含まれるように設けられており、光源130-4は撮影画像の右下に含まれるように設けられている。図16に示す通り、光源130-1および光源130-3が点灯状態であり、光源130-2および光源130-4が消灯状態であるとする。また、図16に示す撮影画像を上下に略等分する破線の線で表される位置を、基準位置とする。
制御部142は、受信部141が検出装置110から受信した検出結果に含まれる距離情報から、対象物80の略中心が基準位置から撮影画像の上側に位置するのか下側に位置するのかを確認する。そして、図示しない記憶部に格納された制御パターンに基づいて、制御部142は、光源(130-1~130-4)を制御する。制御パターンとは、光源130-1~光源130-4の状態変化の組み合わせを表すものであり、撮影画像内の対象物80を表現するものである。例えば、対象物80の略中心が基準位置から撮影画像の下側に位置する場合、上記記憶部には、光源130-2と光源130-4とを点灯させ、光源130-1と光源130-3とを消灯させることを表す情報が制御パターンとして格納される。また、例えば、対象物80の略中心が基準位置から撮影画像の上側に位置する場合、上記記憶部には、光源130-1と光源130-2とを点灯させ、光源130-3と光源130-4とを消灯させることを表す情報が制御パターンとして格納される。
また、対象物認識装置150の記憶部153には、制御パターンに対応する点灯パターンが画像内における対象物80を表す情報に関連付けられて格納されている。記憶部153には、例えば、光源130-2と光源130-4とが点灯しており、光源130-1と光源130-3とが消灯しているという点灯パターンが、対象物80が撮影画像の基準位置より下側に位置することを表す情報に関連付けられて格納されている。また、記憶部153には、例えば、光源130-1と光源130-2とが点灯しており、光源130-3と光源130-4とが消灯しているという点灯パターンが、対象物80が撮影画像の基準位置より上側に位置することを表す情報に関連付けられて格納されている。
制御部142は、距離情報に基づいて、制御パターンを特定し、特定した制御パターンに従って、光源130の状態を制御する。
図17は、制御部142が光源130を制御した後の撮影画像の一例を示す。図17の例では、対象物80の略中心が基準位置より下側に位置しているため、制御部142は、光源130-2と光源130-4とを点灯させ、光源130-1と光源130-3とを消灯させる。
そして、特定部151は、動画像から物体の状態変化を検出して、認識対象とする撮影画像を特定する。具体的には、特定部151は、撮影画像の認識開始位置の変化を確認することにより、該撮影画像が認識対象とする撮影画像か否かを確認する。これにより特定部151は認識対象の撮影画像を特定する。図17に示す撮影画像は、図16に示す撮影画像から光源130-2に変化があるため、認識対象の撮影画像として特定される。
図18は、制御部142が光源130を制御した後の撮影画像の一例を示す。図18の例では、対象物80の略中心が基準位置より上側に位置しているため、制御部142は、光源130-1と光源130-2とを点灯させ、光源130-3と光源130-4とを消灯させる。図18に示す撮影画像は、図16に示す撮影画像から光源130-2に変化があるため、認識対象の撮影画像として特定される。
そして、認識部152は、物体の状態変化の組み合わせを確認する。具体的には、認識部152は記憶部153を参照し、点灯パターンを特定する。そして、特定した点灯パターンに関連付けられた、対象物80の撮影画像における位置を表す情報を取得する。認識部152は、図17に示す例の場合、対象物80が基準位置から下側に位置し、図18に示す例の場合、対象物80が基準位置から上側に位置している。
認識部152は、このようにして特定した点灯パターンに関連付けられた、対象物80の撮影画像における位置を表す情報を取得すると、取得した位置を表す情報に基づいて、認識処理を行う。これにより、認識部152は、対象物80を認識する際、該対象物80の位置の補正処理等に係る処理量を削減することができる。
(ハードウェア構成について)
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図19に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図19は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インタフェース908
・データの入出力を行う入出力インタフェース910
・各構成要素を接続するバス911
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901が読み出す。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
認識対象となる移動する対象物を検出する検出手段と、
前記対象物の動画像を撮像する撮像手段と、
前記撮像手段の撮影範囲内において、状態が変化可能な物体と、
前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出手段の出力に基づき、前記物体の状態を制御する制御手段と、
前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定する特定手段と、
前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える対象物認識システム。
(付記2)
前記物体は、2以上の光源であり、
前記制御手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、付記1に記載の対象物認識システム。
(付記3)
前記物体が、前記撮影画像の認識開始位置になるよう配置されており、
前記特定手段は、前記認識開始位置における前記物体の状態変化を検出する、付記1または2に記載の対象物認識システム。
(付記4)
前記特定手段は、前記撮影画像を特定すると、該特定した撮影画像から所定枚数の撮影画像に対する前記物体の状態変化の検出をスキップする、付記1から3の何れか1つに記載の対象物認識システム。
(付記5)
前記物体の数は、3以上であり、
前記制御手段は、前記3以上の物体の状態変化の組み合わせによって、前記対象物の撮影画像内の位置を表現するように、該3以上の物体の夫々の状態を制御する、付記1から4の何れか1つに記載の対象物認識システム。
(付記6)
認識対象となる移動する対象物の検出結果を受信する受信手段と、
前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体を制御する制御手段であり、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記物体の状態を制御する制御手段と、を備える物体制御装置。
(付記7)
前記物体は、2以上の光源であり、
前記制御手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、付記6に記載の物体制御装置。
(付記8)
撮像された認識対象となる対象物であり、移動する対象物の動画像の撮影範囲内において、状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定する特定手段と、
前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える対象物認識装置。
(付記9)
前記物体は、2以上の光源であり、
前記特定手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように制御された前記2以上の光源の消点灯を検出して、前記撮影画像を特定する、付記8に記載の対象物認識装置。
(付記10)
検出装置と、撮像装置と、前記撮像装置の撮影範囲内において状態が変化可能な物体と、対象物認識装置と、物体制御装置とを含む対象物認識システムにおける対象物認識方法であって、
前記検出装置が認識対象となる移動する対象物を検出し、
前記撮像装置が前記対象物の動画像を撮像し、
前記物体制御装置が、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出の出力に基づき、前記物体の状態を制御し、
前記対象物認識装置が、前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定し、
前記特定された撮影画像に含まれる前記対象物を認識する、対象物認識方法。
(付記11)
前記物体は、2以上の光源であり、
前記物体制御装置は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、付記10に記載の対象物認識方法。
(付記12)
認識対象となる移動する対象物の検出結果を受信し、
前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体を、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する、物体制御方法。
(付記13)
前記物体は、2以上の光源であり、
前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、付記12に記載の物体制御方法。
(付記14)
撮像された認識対象となる対象物の動画像の撮影範囲内において状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定し、
前記特定された撮影画像に含まれる前記対象物を認識する、対象物認識方法。
(付記15)
前記物体は、2以上の光源であり、
前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように制御された前記2以上の光源の消点灯を検出して、前記撮影画像を特定する、付記14に記載の対象物認識方法。
(付記16)
認識対象となる対象物の検出結果を受信する受信処理と、
前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体の状態を、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する制御処理と、をコンピュータに実行させるプログラム。
(付記17)
前記物体は、2以上の光源であり、
前記制御処理は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する処理である、付記16に記載のプログラム。
(付記18)
撮像された認識対象となる対象物の動画像の撮影範囲内において状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定する特定処理と、
前記特定された撮影画像に含まれる前記対象物を認識する認識処理と、をコンピュータに実行させるプログラム。
(付記19)
前記物体は、2以上の光源であり、
前記特定処理は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように制御された前記2以上の光源の消点灯を検出して、前記撮影画像を特定する処理である、付記18に記載のプログラム。
この出願は、2016年7月4日に出願された日本出願特願2016-132658を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10 対象物認識システム
11 検出部
12 撮像部
13 物体
14 制御部
15 特定部
16 認識部
80 対象物
90 撮影範囲
100 対象物認識システム
110 検出装置
120 撮像装置
130 光源
131 切換え機構
140 物体制御装置
141 受信部
142 制御部
150 対象物認識装置
151 特定部
152 認識部
153 記憶部

Claims (10)

  1. 認識対象となる移動する対象物を検出する検出手段と、
    前記対象物の動画像を撮像する撮像手段と、
    前記撮像手段の撮影範囲内において、状態が変化可能な物体と、
    前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出手段の出力に基づき、前記物体の状態を制御する制御手段と、
    前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定する特定手段と、
    前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える対象物認識システム。
  2. 前記物体は、2以上の光源であり、
    前記制御手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、請求項1に記載の対象物認識システム。
  3. 前記物体が、前記撮影画像の認識開始位置になるよう配置されており、
    前記特定手段は、前記認識開始位置における前記物体の状態変化を検出する、請求項1または2に記載の対象物認識システム。
  4. 前記特定手段は、前記撮影画像を特定すると、該特定した撮影画像から所定枚数の撮影画像に対する前記物体の状態変化の検出をスキップする、請求項1から3の何れか1項に記載の対象物認識システム。
  5. 前記物体の数は、3以上であり、
    前記制御手段は、前記3以上の物体の状態変化の組み合わせによって、前記対象物の撮影画像内の位置を表現するように、該3以上の物体の夫々の状態を制御する、請求項1から4の何れか1項に記載の対象物認識システム。
  6. 認識対象となる移動する対象物の検出結果を受信する受信手段と、
    前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体を制御する前記制御手段であり、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記物体の状態を制御する前記制御手段と、を備える物体制御装置を備えた、請求項1から5のいずれか1項に記載の対象物認識システム
  7. 前記物体は、2以上の光源であり、
    前記制御手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、請求項6に記載の対象物認識システム
  8. 撮像された認識対象となる対象物であり、移動する対象物の動画像の撮影範囲内において、状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定する特定手段と、
    前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える対象物認識装置。
  9. 検出装置と、撮像装置と、前記撮像装置の撮影範囲内において状態が変化可能な物体と、対象物認識装置と、物体制御装置とを含む対象物認識システムにおける対象物認識方法であって、
    前記検出装置が認識対象となる移動する対象物を検出し、
    前記撮像装置が前記対象物の動画像を撮像し、
    前記物体制御装置が、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出の出力に基づき、前記物体の状態を制御し、
    前記対象物認識装置が、前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定し、
    前記特定された撮影画像に含まれる前記対象物を認識する、対象物認識方法。
  10. 認識対象となる移動する対象物を検出する検出処理と、
    前記対象物の動画像を撮像する撮像処理と、
    前記対象物の検出結果を受信する受信処理と、
    前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体の状態を、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する制御処理と、
    前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定する特定処理と、
    前記特定された撮影画像に含まれる前記対象物を認識する認識処理と、
    をコンピュータに実行させるプログラム。
JP2018526367A 2016-07-04 2017-07-03 対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム Active JP7044062B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016132658 2016-07-04
JP2016132658 2016-07-04
PCT/JP2017/024360 WO2018008595A1 (ja) 2016-07-04 2017-07-03 対象物認識システム、物体制御装置、対象物認識装置、対象物認識方法、物体制御方法および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018008595A1 JPWO2018008595A1 (ja) 2019-04-25
JP7044062B2 true JP7044062B2 (ja) 2022-03-30

Family

ID=60912205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018526367A Active JP7044062B2 (ja) 2016-07-04 2017-07-03 対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム

Country Status (3)

Country Link
US (1) US11256942B2 (ja)
JP (1) JP7044062B2 (ja)
WO (1) WO2018008595A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020108038A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 制御装置、その制御方法、産業用自動化システム、プログラム、および記憶媒体
DE102019209152A1 (de) * 2019-06-25 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009238454A (ja) 2008-03-26 2009-10-15 Panasonic Electric Works Co Ltd 照明システム
JP2012103074A (ja) 2010-11-09 2012-05-31 Yanmar Co Ltd 遮光装置及び農作物品質測定装置
JP2016105225A (ja) 2014-12-01 2016-06-09 カシオ計算機株式会社 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法、価格情報出力装置および価格情報出力方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5332811B2 (ja) 2009-03-30 2013-11-06 日本電気株式会社 カメラ座標系と世界座標系との位置座標変換方法、車載装置、路側撮影装置及び位置座標変換システム
JP6576059B2 (ja) * 2015-03-10 2019-09-18 キヤノン株式会社 情報処理、情報処理方法、プログラム
CN205175876U (zh) * 2015-12-07 2016-04-20 华侨大学 一种堆叠骨料的粒度粒形在线检测装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009238454A (ja) 2008-03-26 2009-10-15 Panasonic Electric Works Co Ltd 照明システム
JP2012103074A (ja) 2010-11-09 2012-05-31 Yanmar Co Ltd 遮光装置及び農作物品質測定装置
JP2016105225A (ja) 2014-12-01 2016-06-09 カシオ計算機株式会社 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法、価格情報出力装置および価格情報出力方法

Also Published As

Publication number Publication date
WO2018008595A1 (ja) 2018-01-11
US20210232840A1 (en) 2021-07-29
US11256942B2 (en) 2022-02-22
JPWO2018008595A1 (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
KR102604336B1 (ko) 비행시간 센서를 사용하여 노출 추정을 수행하기 위한 방법들 및 장치들
US10154202B2 (en) Apparatus for illuminating a scene and control method thereof
US9081257B2 (en) Imaging apparatus and lighting control method
US9001266B2 (en) Imaging device and light emission amount control method of the same
US10609265B2 (en) Methods and apparatus for synchronizing camera flash and sensor blanking
US10212330B2 (en) Autofocusing a macro object by an imaging device
JP2004206687A (ja) 光学コード読取方法及び装置
JP7044062B2 (ja) 対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム
KR20190050516A (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
JP7103839B2 (ja) 電子機器、制御装置、制御方法及び制御プログラム
WO2016011861A1 (zh) 物体运动轨迹的拍摄方法及拍摄终端
JP6335007B2 (ja) カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の作動方法、及びプログラム
US20190200032A1 (en) Imaging apparatus, imaging method and storage medium
JP6388115B2 (ja) 撮像装置、撮像制御方法及びプログラム
US9706130B2 (en) Camera having HDR during pre-flash
EP3163369B1 (en) Auto-focus control in a camera to prevent oscillation
CN112887593B (zh) 图像获取方法及装置
CN110245618B (zh) 3d识别装置及方法
JP2013026656A (ja) 撮影装置、撮影方法、および撮影プログラム
JP2011114363A (ja) 撮像装置
JP2002260017A (ja) 3次元形状データ生成方法および装置
JP2007166142A (ja) 撮像装置
JP6690140B2 (ja) 撮影装置、撮影方法及びプログラム
CN117998211A (zh) 超延时视频生成方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210908

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220228

R151 Written notification of patent or utility model registration

Ref document number: 7044062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151