JPWO2018020638A1 - 撮像装置、撮像システム及び撮像処理方法 - Google Patents

撮像装置、撮像システム及び撮像処理方法 Download PDF

Info

Publication number
JPWO2018020638A1
JPWO2018020638A1 JP2018530283A JP2018530283A JPWO2018020638A1 JP WO2018020638 A1 JPWO2018020638 A1 JP WO2018020638A1 JP 2018530283 A JP2018530283 A JP 2018530283A JP 2018530283 A JP2018530283 A JP 2018530283A JP WO2018020638 A1 JPWO2018020638 A1 JP WO2018020638A1
Authority
JP
Japan
Prior art keywords
image
resolution
imaging
unit
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018530283A
Other languages
English (en)
Other versions
JP6751144B2 (ja
Inventor
信夫 大石
信夫 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2018020638A1 publication Critical patent/JPWO2018020638A1/ja
Application granted granted Critical
Publication of JP6751144B2 publication Critical patent/JP6751144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Abstract

撮像装置20は、撮像部22とワークW(対象物)とが相対的に移動しながらワークWを撮像する。この撮像装置20は、撮像部22が撮像した第1解像度の画像内にワークWを検出する粗検出部27と、第1解像度で撮像部22に画像を撮像させ、粗検出部27によりワークWが第1解像度の画像内に検出されたときには、ワークWが所定位置に至るタイミングで第1解像度よりも高い第2解像度で撮像部22に画像を撮像させ、制御装置40へ撮像した第2解像度の画像を出力し、その後、第1解像度で撮像部22に画像を撮像させるCPU30と、を備える。

Description

本発明は、撮像装置、撮像システム及び撮像処理方法に関する。
従来、撮像装置としては、例えば、動画の記録が指示された場合に、第1の駆動方法で撮像素子を駆動して得られた画像データを記録し、動画記録中に静止画の撮影が指示された場合に、第1の駆動方法と画角が等しくフレームレートが高い第2の駆動方法で撮像素子を駆動し、焦点調節処理を行うものが提案されている(例えば、特許文献1参照)。この装置では、焦点調節後に第1の駆動方式よりも高解像度の第3の駆動方法で静止画を撮像する。この装置では、静止画撮影用のAF動作をより短時間で完了できるとしている。
特開2008−141236号公報
ところで、このような撮像装置では、移動する対象物を撮影する場合がある。上述した特許文献1に記載された装置では、動画及び静止画の撮像開始は、使用者が入力するものであり、その入力が適切なタイミングに行うことができないときには、対象物の適切な画像が得られないことがあった。このように、撮像装置では、撮像部と対象物とが相対的に移動する場合において、より適切な対象物の画像を得ることが望まれていた。
また、撮像対象物との相対速度が大きい撮像装置では、より高速なフレームレートでの撮像が必要となる。それに対応する為に、高速イメージセンサーとその信号伝送用の高速インターフェース、さらに画像処理、制御を行うための高速なCPU等が必要となり、高速撮像、高速画像処理を行う為のシステムは、専用の高価で大規模なものが必要となる事が多い。
本発明は、このような課題に鑑みなされたものであり、撮像部と対象物とが相対的に移動する場合において、より適切な対象物の画像を得ることができる撮像装置、撮像システム及び撮像処理方法を、量産デバイスで提供する事を主たる目的とする。ここで提供する手法によって、対象物との相対速度が大きい場合に必要な時間分解能(フレームレート)に加えて、その時に得られる画像の解像度、或いは、画像処理結果の精度としての空間分解能の双方を同時に高く保つ事ができる。
本発明は、上述の主目的を達成するために以下の手段を採った。
本明細書で開示する撮像装置は、
撮像部と対象物とが相対的に移動しながら前記撮像部が前記対象物を撮像する撮像装置であって、
前記撮像部が撮像した第1解像度の画像内に前記対象物を検出する検出部と、
前記第1解像度で前記撮像部に画像を撮像させ、前記検出部により前記対象物が前記第1解像度の画像内に検出されたときには、前記対象物が所定位置に至るタイミングで前記第1解像度よりも高い第2解像度で前記撮像部に画像を撮像させ、制御装置へ前記撮像した第2解像度の画像を出力し、その後、前記第1解像度で前記撮像部に画像を撮像させる制御部と、
を備えたものである。
この装置では、第1解像度で撮像部に画像を撮像させ、対象物が第1解像度の画像内に検出されたときには、対象物が所定位置に至るタイミングで第1解像度よりも高い第2解像度で撮像部に画像を撮像させ、制御装置へ撮像した第2解像度の画像を出力する。一般的に、撮像装置において、高解像度の画像を継続して撮像すると必然的にフレームレートが低下するため、画像転送中に対象物が通り過ぎるなど、移動する対象物を適切に検出しにくい場合がある。一方、この装置では、対象物を検出する際には低解像度の画像を撮像し、対象物を検出したあとにはこの対象物をより高解像度の画像で撮像する。このため、この装置では、撮像部と対象物とが相対的に移動する場合において、より適切な対象物の画像を得ることができ、かつ、その高解像度画像を使って、主目的の画像処理を行う行為、高精度な検出が可能となる。
撮像システム10の一例を表す概略説明図。 撮像処理ルーチンの一例を示すフローチャート。 撮像装置20での撮像結果を経時的に表す説明図。 画像サイズや転送時間などの経時的変化の一例を表す説明図。 画像転送の一般例と本実施形態の一例を示す説明図。 対象物判定処理ルーチンの一例を示すフローチャート。
本発明の実施形態を図面を参照しながら以下に説明する。図1は、本発明の一例である撮像システム10の概略説明図である。撮像システム10は、撮像部22に対して相対的に移動する対象物であるワークWを撮像装置20が撮像し、撮像結果に基づいて、ワークWの外観状態を検査する装置として構成されている。撮像システム10は、ワーク検査装置11と、制御装置40とを備えている。ワークWは、撮像する対象物であればどのようなものであってもよいが、例えば、食品、化学品、部品などが挙げられる。部品としては、機械部品、電気部品、電子部品、化学部品などが挙げられ、例えば、ボルト、ナット、ワッシャ、ねじ、釘及びリベットなどのうち1以上の締結部材としてもよい。ここでは、ワークWの具体例としてボトルを用いて説明する。なお、撮像システム10における、左右方向(X軸)、前後方向(Y軸)及び上下方向(Z軸)は、図1に示した通りである。
ワーク検査装置11は、垂直多関節ロボットとして構成された多軸ロボットである。このワーク検査装置11は、撮像ヘッド12、第1アーム13、第2アーム14、基台15、採取部16及び搬送部18を備えている。撮像ヘッド12は、第1アーム13の先端に回動可能に装着されており、その下面にはワークWを撮像する撮像装置20が配設されている。第2アーム14は、一端側に配設された第1アーム13を支持すると共に、他端側に基台15が配設されている。第1アーム13、第2アーム14及び基台15は、図示しないモータによって駆動される。採取部16は、ワークWを挟み込んで採取する部材であり、撮像ヘッド12の下面側に配設されている。この採取部16は、検査結果に応じて、不具合のあるワークWを搬送部18上から除去するのに用いられる。搬送部18は、ワークWを一定速度で搬送するベルトコンベアである。
撮像装置20は、可変焦点レンズ21、撮像部22、出力インタフェース26、粗検出部27、フォーカス評価演算部28、CPU30及び駆動部34を備える。撮像部22は、撮像素子23、撮像処理部25、信号検出部31、同期部32及び読出制御部33を備える。撮像部22は、可変焦点レンズ21を通過した光を受光して画像データを生成するモジュールである。撮像素子23は、光を受光しその光を光電変換して各々の画素に対応する画像信号を生成する。撮像素子23は、例えばCMOSイメージセンサとしてもよい。撮像素子23は、上下左右の4つの画素の信号を加算して1つの画素の信号として読み出すビニング処理や、画素の信号をライン単位で読み飛ばすデシメーション処理を行い、画素を間引くことが可能な構成を有する。この撮像装置20では、デシメーション処理時に、ライン方向に並ぶ画素の信号を読み飛ばすか、画素の加算を行うことにより縦横の解像度を合わせる間引き処理部を備えるものとしてもよい。読出制御部33がその時の読み出しタイミングの制御を行う。図4に一例を示す画像サイズ/フレームレートで撮像素子23の駆動タイミングを読出制御部33が制御する。この撮像素子23は、例えば、2Gbps以上の伝送性能を有するものとしてもよい。撮像処理部25は、撮像素子23から入力した画像信号から画像データを生成する。この撮像処理部25は、間引き処理を行った場合、最も高い解像度(第2解像度)よりも小さい第1解像度の画像を生成する。間引き処理としてビニング処理を行った場合、この第1解像度の画像は、例えば、VGA(640×480画素)サイズの画像としてもよい。また、撮像処理部25は、間引き処理を行わない場合、最も高い第2解像度(例えば1280×960画素など)で画像を生成する。この第2解像度は、第1解像度の4倍以上であるものとしてもよい。
出力インタフェース26は、撮像処理部25で生成した画像データを制御装置40へ出力する。この撮像装置20では、解像度がより低い第1解像度のデータは、撮像装置20内部で利用し、より解像度の高い第2解像度の画像データを制御装置40へ出力する。粗検出部27は、撮像部22が撮像した第1解像度の画像内に対象物であるワークWを検出するものである。粗検出部27は、予め登録された基準画像であるテンプレートとの適合率に応じて画像内にあるワークWを検出する。この粗検出部27は、ワークWが撮像範囲内のどこに存在するのかを監視するため、最高フレームレート(例えば1000fps)においても1フレーム(1ms)以内にサーチを完了させる能力を有している。粗検出部27は、例えば、ワークWの局所領域(セル)の輝度の勾配方向及び勾配強度を含むHOG(Histograms of Oriented Gradients)特徴量を抽出してテンプレートとし、第1解像度の画像(入力画像)の局所領域のHOG特徴量を演算し、テンプレートとの一致度に基づいてワークWが入力画像中にあるかを検出するものとしてもよい。フォーカス評価演算部28は、第1解像度の画像を用いて、可変焦点レンズ21のフォーカス値を演算する。CPU30は、撮像装置20の全体を制御するものである。
信号検出部31は、制御装置40の同期信号発生部43からの同期信号を検出する。同期部32は、信号検出部31で検出された信号に基づいて、読出制御部33へ撮像素子23の読出信号を出力する。読出制御部33は、同期部32からの読出信号に基づき、撮像素子23のフレームレートを制御する。読出制御部33は、最も高い第1フレームレートと、第1フレームレートよりも低い第2フレームレートで撮像素子23から画像信号を出力させる。第1フレームレートは、例えば、800fps以上、より好ましくは、1000fps以上としてもよいし、第2フレームレートは、第1フレームレートの1/4以下のフレームレート(250fps以下)としてもよい。駆動部34は、フォーカス評価演算部28の評価結果に応じて同期部32からの駆動信号により可変焦点レンズ21を駆動する。
この撮像装置20において、CPU30は、第1解像度且つ第1フレームレートで撮像部22に画像を撮像させ、粗検出部27によりワークWが第1解像度の画像内に検出されたときには、ワークWが所定位置に至るタイミングで第1解像度よりも高い第2解像度且つ第1フレームレートより低い第2フレームレートで撮像部22に画像を撮像させる。続いて、CPU30は、制御装置40へ撮像した第2解像度の画像を1フレーム分出力し、その後再び、第1解像度且つ第1フレームレートで撮像部22に画像を撮像させる。
制御装置40は、ワーク検査装置11を制御するコンピュータである。制御装置40は、装置全体を制御するCPU41や、精密検出部42、同期信号発生部43などを備えている。精密検出部42は、撮像装置20で撮像された高解像度の画像を用いて、ワークWに異常がないかを検査するものである。精密検出部42は、ワークWの基準画像とのマッチングにより、ワークWについて傷、へこみ等の外観検査や寸法測定、品種判別等の画像処理を行う。同期信号発生部43は、ワーク検査装置11の可変焦点レンズ21や撮像部22、各アームなどの動作に関する同期信号を出力する。
次に、こうして構成された本実施形態の撮像システム10の動作、まず、撮像装置20でワークWを撮像する処理について説明する。図2は、撮像装置20のCPU30が実行する撮像処理ルーチンの一例を示すフローチャートである。このルーチンは、制御装置40によりワークWの検査処理が開始されたあとCPU30により実行される。このルーチンを開始すると、CPU30は、第1フレームレートで第1解像度の画像を撮像処理部25から出力させる(ステップS100)。このとき、CPU30は、読出制御部33から撮像素子23へ第1フレームレート(例えば、1000fps)の読出信号を出力させ、撮像素子23からの画像信号を撮像処理部25へ入力させる。例えば、撮像素子23は、ビニング処理により4つの画素の信号を加算して1つの画素の信号を出力する。撮像処理部25は、撮像素子23から間引きされた画像信号を入力し、例えば、VGAサイズの低解像度の画像を出力する。
次に、CPU30は、撮像処理部25から入力した第1解像度の画像とワークWの基準画像(テンプレート)との画像マッチング処理を実行する(ステップS110)。粗検出部27は、HOG特徴量を用いて、画像マッチング処理を実行する。撮像装置20は、この画像マッチング処理においてHOG特徴量を用いることによって、画像検出に必要なデータ量を低減することができ、高速で対象物の検出を実現することができる。
次に、CPU30は、画像マッチング処理の適合率に基づいて、対象物であるワークWを画像内に検出したか否かを判定し(ステップS120)、ワークWを画像内に検出しないときには、ステップS100以降の処理を実行する。画像マッチング処理の適合率は、ワークWが画像内にあると判定できる値に経験的に定めるものとすればよい。一方、対象物であるワークWを画像内に検出したときには、撮像部22に対するワークWの相対速度を計測する処理を実行する(ステップS130)。この処理では、例えば、前回と今回のワークWの位置の差を求めることにより、ワークの単位時間あたりの移動量として求めることができる。続いて、CPU30は、第2フレームレートで第2解像度の画像を出力するタイミングを設定する(ステップS140)。このタイミングは、例えば、ワークWが撮像範囲の中央領域に存在するタイミングであるものとしてもよい。CPU30は、ステップS130で求めた相対速度を用いてこのタイミングを設定するものとしてもよい。CPU30は、ワークWの相対移動速度が一定値であることから、画像内にワークWを検出したのち所定時間又は所定フレーム経過後に第2解像度の画像を撮像部22に撮像させるものとしてもよい。ここで、「撮像範囲の中央領域に存在する」とは、例えば、撮像範囲の中心から各辺の長さの10%以内の領域にワークWの中心が存在する場合をいうものとする。次に、CPU30は、設定したタイミングに至ったか否かを判定し(ステップS150)、設定したタイミングに至っていないときには、そのまま待機する。
一方、設定したタイミングに至ったとき、即ちワークWが撮像範囲の中央領域に至ったときには、CPU30は、第2フレームレートで第2解像度の画像を撮像処理部25から出力させる(ステップS160)。このとき、CPU30は、読出制御部33から撮像素子23に第2フレームレートの読出信号を出力させ、撮像素子23から撮像処理部25へ入力させる。撮像処理部25は、例えば、VGAの4倍程度の1280×960画素の高解像度の画像を生成する。また、撮像素子23は、250fps程度のフレームレートで画像信号を出力する。その後、CPU30は、ステップS100以降の処理を継続する。
図3は、撮像装置20での撮像結果を経時的に表す説明図であり、ワークWが検出された低解像度の第1画像51及び高解像度の第2画像52の一例を表す。図4は、画像サイズや転送時間などの経時的変化の一例を表す説明図である。図5は、画像転送を示す説明図であり、図5(a)が本実施形態の画像転送の一例であり、図5(b)が画像転送の一般例である。上述した撮像処理ルーチンのように、この撮像装置20では、撮像範囲にワークWが存在しない通常時には、解像度を低くするが、フレームレートはできる限り高い状態を保ち、ワークWをできるだけ早く確実に検出する(図3,4参照)。ワークWを検出すると、撮像装置20は、例えば、その3フレーム後などに、第2解像度の高画質画像を撮像する。そして、撮像装置20では、撮像範囲の中央領域にワークWが存在する検査時には、解像度を高くするが、フレームレートはできる限り高い状態を保ち、ワークWを高画質で撮像する。撮像装置では、一般的に、画像の解像度が高くなると転送データ量は増大し、フレームレートは低下する(図5(b))。つまり、転送データ量とフレームレートとは相反するものであり、従来の撮像装置では、位置等の検出精度(空間分解能)とフレームレート(時間分解能)との双方を同時に高い状態で画像処理することは困難であった。この撮像装置20においては、平均的なフレームレートを高速に保ちながら、検査処理に必要充分な解像度を得ることで、空間分解能と時間分解能との双方を同時に高度に保つことができる(図5(a))。
次に、制御装置40が実行する対象物判定処理について説明する。図6は、制御装置40のCPU41が実行する対象物判定処理ルーチンの一例を示すフローチャートである。このルーチンは、制御装置40が起動されたあと開始される。このルーチンを開始するとCPU41は、第2解像度の画像を撮像装置20から入力したか否かを判定し(ステップS200)、第2解像度の画像を入力していないときにはそのまま待機する。一方、第2解像度の画像を入力したときには、CPU41は、画像認識処理を実行する(ステップS210)。画像認識処理は、例えば、ワークWの基準画像や基準寸法等を予め登録しておき、この基準画像と、入力した画像とのマッチングを行うものとする。画像認識処理を行ったあと、CPU41は、基準に対してワークWに何らかの形状的な差異があるか否かを判定する(ステップS220)。形状的な差異としては、例えば、キズやへこみなどの外観異常や寸法が公差範囲外になる場合などが挙げられる。そして、ワークWに基準に対する差異がない場合は、図示しない記憶部に異常なしを記憶する一方(ステップS230)、ワークWに基準に対する差異がある場合は、記憶部に異常有りを記憶すると共にそのワークWを搬送部18から排出させる(ステップS240)。ステップS230、S240のあと、CPU41は、ステップS200以降の処理を実行する。このように、制御装置40は、解像度の高い画像を用いてワークWの検査を行うことができる。
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態のワークWが本発明の対象物に相当し、撮像部22が撮像部に相当し、粗検出部27が検出部に相当し、CPU30が制御部に相当し、搬送部18が移動部に相当し、制御装置40が制御装置に相当する。なお、本実施形態では、撮像装置20の動作を説明することにより本発明の撮像処理方法の一例も明らかにしている。
以上説明した本実施形態の撮像装置20は、ワークWを移動しながら、第1解像度で撮像部22に画像を撮像させ、ワークWが第1解像度の画像内に検出されたときには、ワークWが所定位置に至るタイミングで第1解像度よりも高い第2解像度で撮像部22に画像を撮像させる。そして、撮像装置20は、制御装置40へ撮像した第2解像度の画像を出力する。一般的に、撮像装置において、高解像度の画像を継続して撮像すると必然的にフレームレートが低下するため、画像転送中に対象物が通り過ぎるなど、移動する対象物を適切に検出しにくい場合がある。一方、この装置では、ワークWを検出する際には低解像度の画像を撮像し、ワークWを検出したあとにはワークWをより高解像度の画像で撮像する。このため、撮像装置20では、撮像部22とワークWとが相対的に移動する場合において、より適切なワークWの画像を得ることができる。
また、CPU30は、撮像部22の解像度/フレームレートを場面に応じてより適切に制御している。時間分解能が必要な対象物を捜索する場面では高フレームレートに、対象物が見つかり、精密な検査をする為に空間分解能が必要な場面では高解像度に設定する事で、場面に応じて必要な性能を引き出している。
また、CPU30は、撮像部22の撮像範囲の中央領域にワークWがあるときに第2解像度で撮像部22に画像を撮像させる。一般的に撮像範囲の中央領域は画像のひずみなどが少ないため、形状認識や位置、寸法の検出及びキズなどの判定に有利である。更に、CPU30は、ワークWの相対移動速度が一定値である場合において、ワークWを検出したのち所定時間又は所定フレーム経過後に第2解像度の画像を撮像部に撮像させるため、比較的容易にワークWの画像を得ることができる。
一般的に、撮像装置は、例えば、1280×960画素の画像を1000fpsで出力するとした場合は、10Gbpsで転送可能なイメージセンサや出力インタフェースを要する。この場合は、既存の汎用的なものが利用できず、大型且つ高価で電力消費量の大きな撮像装置になる。これに対して、上述した撮像装置20では、ワークWが画像内の所定位置に存在する場合は、高解像度の画像を出力する一方、ワークWが画像内の所定位置に存在しない場合は、1000fpsなど高フレームレートでVGA程度の低解像度の画像を転送する。このため、撮像装置20では、高フレームレート時においては、2.3Gbps程度の転送レートになり、汎用的なインタフェースが利用可能である。また、撮像装置20では、イメージセンサも流通量の多い比較的安価なものを利用することができる。したがって、撮像装置20は、汎用的なものを利用することにより、比較的安価に高速、高解像度のシステムを構成することができる。また、一般的に、ワークWの検査を行う撮像システムでは、撮像及び画像処理のタイミングと、ワークWを搬送するコンベアの速度制御タイミングとを同期させる必要があった。このため、撮像システムにおいては、各種センサーを配置し、これらを監視する必要があり、システムが複雑で制御が難しかった。これに対して、上述した撮像システム10では、撮像、画像処理、ワークWの良否判断などがより高速に行うことができるため、各タイミングの同期をとる必要がなく、各種センサーの配置が不要でシステムを簡素且つ安価なものとすることができる。
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
例えば、上述した実施形態では、撮像範囲の中央領域を所定位置とし、この領域にワークWがあるときに第2解像度で画像を撮像させるものとしたが、例えば、中央領域以外を所定位置としてもよい。この撮像装置でも、撮像部22とワークWとが相対的に移動する場合において、より適切なワークWの画像を得ることができる。
上述した実施形態では、ワークWの相対移動速度が一定値であるものとしたが、特にこれに限定されず、例えばワークWの相対移動速度が変動するものとしてもよい。この装置では、ワークWを複数回に亘って検出し、その移動距離と時間に応じて第2解像度の画像を撮像部22に撮像させるものとしてもよい。この装置においても、撮像部22とワークWとが相対的に移動する場合において、より適切なワークWの画像を得ることができる。
上述した実施形態では、ワーク検査装置11はワークWの検査処理を行うものとしたが、特にこれに限定されず、例えば、ワーク検査装置11は、ワークWの位置把握処理を行うものとしてもよい。位置把握処理とは、ワークWがどこに配置されているかを把握する処理としてもよい。この装置では、より適切なワークWの画像を用いて、ワークWの位置を把握することができる。
上述した実施形態では、撮像装置20は、多関節ロボットの先端に配設されているものとしたが、搬送部18の上部に配設された筐体などに固定されているものとしてもよい。この装置においても、撮像部22とワークWとが相対的に移動する場合において、より適切なワークWの画像を得ることができる。
上述した実施形態では、ワークWが搬送部18により移動するものとしたが、特にこれに限定されず、例えば、ワークWと撮像部22とが共に相対的に移動するものとしてもよいし、ワークWが固定され、撮像部22が移動するものとしてもよい。
上述した実施形態では、第1解像度の画像をVGAサイズの画像としたが、特にこれに限られない。また、第1フレームレートを1000fpsとしたが、特にこれに限定されない。また、第2解像度を第1解像度の4倍としたが、特にこれに限られない。また、第2フレームレートを第1フレームレートの1/4である250fpsとしたが、特にこれに限られない。第1解像度、第2解像度、第1フレームレート及び第2フレームレートは、適宜、適切な値とすればよい。
上述した実施形態では、制御装置40が精密検出部42を備えるものとしたが、例えば、撮像装置20が精密検出部42を備えるものとしてもよい。この装置においても、撮像部22とワークWとが相対的に移動する場合において、より適切なワークWの画像を得ることができる。
上述した実施形態では、ワーク検査装置11と制御装置40とを備えた撮像システム10として説明したが、撮像装置20のみとしてもよいし、撮像処理方法として提供されるものとしてもよい。なお、この撮像処理方法において、上述した撮像装置20の種々の態様を採用してもよいし、また、上述した撮像装置20の各機能を実現するようなステップを追加してもよい。
本発明は、ワークを撮像処理する装置の技術分野に利用可能である。
10 撮像システム、11 ワーク検査装置、12 撮像ヘッド、13 第1アーム、14 第2アーム、15 基台、16 採取部、18 搬送部、20 撮像装置、21 可変焦点レンズ、22 撮像部、23 撮像素子、25 撮像処理部、26 出力インタフェース、27 粗検出部、28 フォーカス評価演算部、30 CPU、31 信号検出部、32 同期部、33 読出制御部、34 駆動部、40 制御装置、41 CPU、42 精密検出部、43 同期信号発生部、51 第1画像、52 第2画像、W ワーク。

Claims (8)

  1. 撮像部と対象物とが相対的に移動しながら前記撮像部が前記対象物を撮像する撮像装置であって、
    前記撮像部が撮像した第1解像度の画像内に前記対象物を検出する検出部と、
    前記第1解像度で前記撮像部に画像を撮像させ、前記検出部により前記対象物が前記第1解像度の画像内に検出されたときには、前記対象物が所定位置に至るタイミングで前記第1解像度よりも高い第2解像度で前記撮像部に画像を撮像させ、制御装置へ前記撮像した第2解像度の画像を出力し、その後、前記第1解像度で前記撮像部に画像を撮像させる制御部と、
    を備えた撮像装置。
  2. 前記制御部は、前記第1解像度の画像の撮像時には第1フレームレートで前記撮像部に画像を撮像させ、前記第2解像度の画像の撮像時には第1フレームレートよりも低い第2フレームレートで前記撮像部に画像を撮像させる、請求項1に記載の撮像装置。
  3. 前記制御部は、前記第2解像度は前記第1解像度の4倍以上の解像度で、前記第2フレームレートは前記第1フレームレートの1/4以下のフレームレートで前記撮像部に画像を撮像させる、請求項2に記載の撮像装置。
  4. 前記制御部は、前記撮像部の撮像範囲の中央領域に前記対象物があるときに前記第2解像度で前記撮像部に画像を撮像させる、請求項1〜3のいずれか1項に記載の撮像装置。
  5. 前記制御部は、前記対象物の相対移動速度が一定値である場合に前記対象物を検出したのち所定時間又は所定フレーム経過後に第2解像度の画像を前記撮像部に撮像させるか、あるいは、前記対象物の相対移動速度が変動する場合に対象物を複数回に亘って検出しその移動距離と時間に応じて第2解像度の画像を前記撮像部に撮像させるか、の少なくとも一方を実行させる、請求項1〜4のいずれか1項に記載の撮像装置。
  6. 前記対象物を撮像する撮像部を備えた請求項1〜5のいずれか1項に記載の撮像装置と、
    前記撮像部及び前記対象物のうち1以上を相対的に移動させる移動部と、
    前記撮像装置から取得した前記第2解像度の画像を解析し所定の処理を行う制御装置と、
    を備えた撮像システム。
  7. 前記所定の処理は、前記対象物の検査処理、及び前記対象物の位置把握処理のうちいずれかである、請求項6に記載の撮像システム。
  8. 撮像部と対象物とが相対的に移動しながら前記撮像部が前記対象物を撮像する撮像処理方法であって、
    (a)前記撮像部が撮像した第1解像度の画像内に前記対象物を検出するステップと、
    (b)前記第1解像度で前記撮像部に画像を撮像させ、前記ステップ(a)により前記対象物が前記第1解像度の画像内に検出されたときには、前記対象物が所定位置に至るタイミングで前記第1解像度よりも高い第2解像度で前記撮像部に画像を撮像させ、制御装置へ前記撮像した第2解像度の画像を出力し、その後、前記第1解像度で前記撮像部に画像を撮像させるステップと、
    を含む撮像処理方法。
JP2018530283A 2016-07-28 2016-07-28 撮像装置、撮像システム及び撮像処理方法 Active JP6751144B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/072144 WO2018020638A1 (ja) 2016-07-28 2016-07-28 撮像装置、撮像システム及び撮像処理方法

Publications (2)

Publication Number Publication Date
JPWO2018020638A1 true JPWO2018020638A1 (ja) 2019-05-09
JP6751144B2 JP6751144B2 (ja) 2020-09-02

Family

ID=61015859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018530283A Active JP6751144B2 (ja) 2016-07-28 2016-07-28 撮像装置、撮像システム及び撮像処理方法

Country Status (2)

Country Link
JP (1) JP6751144B2 (ja)
WO (1) WO2018020638A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019161249A (ja) * 2018-03-07 2019-09-19 Juki株式会社 画像処理装置、実装装置、画像処理方法、プログラム
JP6587300B1 (ja) 2018-11-05 2019-10-09 Necプラットフォームズ株式会社 商品撮像装置、商品撮像方法、及び画像認識posシステム
JP6798718B2 (ja) * 2019-09-03 2020-12-09 Necプラットフォームズ株式会社 商品撮像装置、商品撮像方法、及び画像認識posシステム
CN113014817B (zh) * 2021-03-04 2022-11-29 维沃移动通信有限公司 高清高帧视频的获取方法、装置及电子设备
WO2023189077A1 (ja) * 2022-03-30 2023-10-05 i-PRO株式会社 制御装置及び撮像装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101125A (ja) * 1995-10-07 1997-04-15 Kawasaki Heavy Ind Ltd 物品形状計測方法および装置
JPH1065940A (ja) * 1996-06-13 1998-03-06 Olympus Optical Co Ltd 撮像装置
JP2012168135A (ja) * 2011-02-17 2012-09-06 Mitsutoyo Corp 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
US20140204200A1 (en) * 2013-01-24 2014-07-24 Wipro Limited Methods and systems for speed calibration in spectral imaging systems
JP2015032231A (ja) * 2013-08-06 2015-02-16 キヤノン株式会社 画像抽出方法及び画像抽出装置
JP2015035715A (ja) * 2013-08-08 2015-02-19 キヤノン株式会社 画像撮像方法及び画像撮像装置
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101125A (ja) * 1995-10-07 1997-04-15 Kawasaki Heavy Ind Ltd 物品形状計測方法および装置
JPH1065940A (ja) * 1996-06-13 1998-03-06 Olympus Optical Co Ltd 撮像装置
JP2012168135A (ja) * 2011-02-17 2012-09-06 Mitsutoyo Corp 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
US20140204200A1 (en) * 2013-01-24 2014-07-24 Wipro Limited Methods and systems for speed calibration in spectral imaging systems
JP2015032231A (ja) * 2013-08-06 2015-02-16 キヤノン株式会社 画像抽出方法及び画像抽出装置
JP2015035715A (ja) * 2013-08-08 2015-02-19 キヤノン株式会社 画像撮像方法及び画像撮像装置
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置

Also Published As

Publication number Publication date
WO2018020638A1 (ja) 2018-02-01
JP6751144B2 (ja) 2020-09-02

Similar Documents

Publication Publication Date Title
JP6751144B2 (ja) 撮像装置、撮像システム及び撮像処理方法
US20150042784A1 (en) Image photographing method and image photographing device
JP4821934B1 (ja) 3次元形状計測装置およびロボットシステム
US9453716B2 (en) Method of measurement and apparatus for measurement of tool dimensions
US20140104621A1 (en) Three-dimensional shape measuring apparatus and robot system
JP2015216482A (ja) 撮像制御方法、および撮像装置
CN112858175A (zh) 一种带有集成镜头的视觉检测系统
JP5668227B2 (ja) 画像測定装置
JP2003304561A (ja) ステレオ画像処理装置
KR101343429B1 (ko) 표면 검사장치 및 그의 표면 검사방법
JP2019176424A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、および、撮像装置の制御方法
JP2010019640A (ja) 速度計測装置および速度計測方法
CN115629043B (zh) 锌精矿物料回收取样检测方法及检测系统
JPH08313454A (ja) 画像処理装置
CN1685198A (zh) 捕捉来自摄像机的图像的设备和方法
US20230138331A1 (en) Motion in images used in a visual inspection process
Lei et al. Automated vision inspection system for the size measurement of workpieces
JP6238629B2 (ja) 画像処理方法及び画像処理装置
KR100931859B1 (ko) 웨이퍼 검사용 카메라
KR101763581B1 (ko) 다양한 이미지센서를 지원하는 머신 비전 시스템
JP6503379B2 (ja) 実装関連処理装置、画像処理方法及びそのプログラム
JP2003329543A (ja) レンズの結像位置検出方法
KR101761156B1 (ko) 인터라인 ccd센서를 이용한 머신 비전 시스템
JP2017224779A (ja) 実装関連処理装置
JPS6375507A (ja) くぼみ穴測定方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200813

R150 Certificate of patent or registration of utility model

Ref document number: 6751144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250