JP6132275B2 - サイズ測定装置及びサイズ測定方法 - Google Patents

Description

本発明は、撮像された画像データから被写体のサイズを測定するサイズ測定装置及びサイズ測定方法に関するものである。

物流や生産工程等において、物品のパッケージにバーコード等を印刷した帳票を付し、物品の配送を管理する事例が幅広い分野で知られている。例えば、物品を輸送する際、集荷配送拠点において、物品を包装するパッケージに添付された帳票情報を、バーコードリーダを備えるハンディターミナル等で読み取って物品を識別し、識別情報に基づく当該物品の流通経路の決定や授受の確認等を行うようにした物品の配送管理システムがある。このとき、帳票情報を読み取って各物品を宛先毎に仕分けする他、輸送のための運搬車の容量や台数を決定するために、個々のパッケージのサイズを測定する必要がある。

撮像画像を利用してパッケージのサイズを測定するものとして、物品を包装するパッケージが立方体や直方体であること、また帳票サイズが既知であることを前提として、パッケージ及びこれに貼り付けられた帳票を同時に撮影して、撮影画像において帳票を基準長としてパッケージサイズを測定するサイズ測定装置がある（例えば特許文献１）。

特開２００４−２１９２５５号公報

しかしながら、撮像された画像データに基づいて被写体のサイズを測定する際、被写体のサイズ測定の基準となる特徴点（パッケージの場合は頂点）をどのように特定するのかが問題となる。画像処理のみでエッジ検出等により特徴点の抽出を行う場合では画像データ全体に処理を実行するため処理の負荷が大きいばかりでなく、ユーザが測定したい対象を効率良く抽出できるとは限らない。

ユーザが特徴点の指定を行う場合、撮像した画像データを表示デバイスに表示させ、ユーザが入力デバイスを介して特徴点を指示する方法も考えられるが、表示デバイスや入力デバイスのハードウェア的な制限により特徴点となる座標をユーザが正確に指示することは困難である。

また、特許文献１では、パッケージの頂点をユーザによりレーザ光で指定することが開示されているが、パッケージの頂点もレーザ光も理想的には点であるべきものであり、例えば現場で、段ボール箱の頂点にユーザがレーザ光を正確に照射するのは簡単なことではない。

本発明は、ユーザによる簡易な指定に基づき、立方体や直方体形状のパッケージの外形サイズを精度よく測定することが可能なサイズ測定装置及びサイズ測定方法を提供することを目的とする。

本発明のサイズ測定装置は、撮像された画像から被写体のサイズを測定するサイズ測定装置であって、被写体を撮像する撮像部と、前記撮像部で撮像された画像データを表示する表示部と、ユーザからの指示を入力する入力部と、前記表示部の表示された画像データに対して前記入力部から位置が指定されると、当該指定位置を含む周辺領域を設定する領域設定部と、前記領域設定部で設定された前記周辺領域において、測定対象の座標となる特徴点を決定する特徴点決定部と、を有するように構成したものである。

本発明によれば、表示された画像に対してユーザが位置を指定すると、その指定された位置を含む周辺領域を設定することにより、測定対象の座標となる特徴点を決定する処理を、頂点の探索を画像全体に対してではなく、所定の周辺領域内に対して行えばよく、処理負荷を低減し得る。

本発明の実施形態に係るサイズ測定装置の使用状態を説明する説明図 本発明の実施形態に係るサイズ測定装置の構成を示すブロック構成図 （ａ）はサイズ測定端末のカメラ部分の上面図、（ｂ）はカメラ部分の正面図 サイズ測定装置の制御要領を示すフロー図 タッチペンによる指定位置及び対応する周辺領域を示す模式図 （ａ）はステレオ視による左右のカメラと被写体Ｐとの関係を示す説明図、（ｂ）はカメラと被写体Ｐとの距離Ｚｐを取得（測距）する原理を説明する説明図 カメラと被写体Ｐとの距離Ｚｐを取得（測距）する原理を説明する斜視図 （ａ）は図５の各周辺領域におけるエッジ検出を示す左画像を示す図であり、（ｂ）は右画像を示す図 （ａ）は図４のフローにおける例外処理の分岐フローを示す図、（ｂ）は同分岐フローの他の例を示す図 （ａ）は一部の周辺領域でエッジが検出されなかった場合を説明する図、（ｂ）は図９（ａ）ＳＴ１２を説明する図、（ｃ）は同ＳＴ１３・１４を説明する図 （ａ）は図９（ｂ）のＳＴ１７を説明する図、（ｂ）は同ＳＴ１８を説明する図 （ａ）は図９（ｂ）のＳＴ１９を説明する図、（ｂ）は同ＳＴ２０を説明する図

前記課題を解決するためになされた第１の発明は、撮像された画像から被写体のサイズを測定するサイズ測定装置であって、被写体を撮像する撮像部と、前記撮像部で撮像された画像データを表示する表示部と、ユーザからの指示を入力する入力部と、前記表示部の表示された画像データに対して前記入力部から位置が指定されると、当該指定位置を含む周辺領域を設定する領域設定部と、前記領域設定部で設定された周辺領域において、測定対象の座標となる特徴点を決定する特徴点決定部と、を有する構成とする。

これによると、表示された画像に対してユーザが位置を指定すると、その指定された位置を含む周辺領域を設定することにより、測定対象の座標となる特徴点を決定する処理を、頂点の探索を画像全体に対してではなく、所定の周辺領域内に対して行えばよく、処理負荷を低減し得る。

また、第２の発明は、前記第１の発明において、少なくとも二つの前記周辺領域において特徴点が決定された場合、当該二つの特徴点間の距離を前記撮像された画像データに基づいて算出する測定部を有する構成とする。これによると、二つの特徴点間の距離を算出し、それに基づいてパッケージのサイズを求めることができる。

また、第３の発明は、前記第１の発明において、前記領域設定部で設定された前記周辺領域は前記表示部に表示される構成とする。これによると、ユーザが指示したパッケージの頂点の周辺領域が表示部により表示されるため、ユーザは指定した位置を容易に確認することができる。

また、第４の発明は、前記第１の発明において、前記領域設定部で設定される前記周辺領域は円形である構成とする。また、第５の発明は、前記第１の発明において、前記領域設定部で設定される前記周辺領域は矩形である構成とする。これらによると、円形や矩形により周辺領域が設定されるので、例えば各周辺領域間を結ぶ辺領域の設定を容易に行うことができる。

また、第６の発明は、前記第１の発明において、前記撮像部は、被写体を異なる位置から同時に撮影するために所定の間隔で並べて配置された第１のカメラと第２のカメラを有し、前記測定部は前記第１及び第２のカメラにおける視差情報に基づいて演算処理を行い前記特徴点間の距離を算出する構成とする。これによると、ステレオ視により、簡易な構成を採用しつつ頂点の位置をより一層正確に求めることができる。

また、第７の発明は、前記第１の発明において、前記入力部と前記表示部はタッチパネルにより構成される。これによると、ユーザが例えばタッチペンで位置を指定することにより、ユーザによる指示操作を容易に行うことができるとともに、各指定点（目押し点）を検出しかつ各指定点を所定の大きさで外囲する各領域をそれぞれ容易に設定することができる。

また、第８の発明は、前記第１の発明において、前記撮像部は被写体として直方体のパッケージを撮像し、前記表示部の表示された画像に対して前記入力部から前記パッケージの３辺が集まる頂点と当該頂点に集まる３辺の該頂点とは相反する側の各端点との４点が測定対象位置として指定した場合、前記領域設定部は前記４点の指定位置に対してそれぞれ前記周辺領域を設定し、前記特徴点決定部は各前記周辺領域において特徴点を決定する構成とする。

これによると、表示部の画面に表示されたパッケージを構成する３辺が集まる頂点と、この頂点に集まる３辺の頂点とは相反する側の各端点との４点をユーザが例えばタッチペンで指定することにより、各指定点（目押し点）を検出しかつ各指定点を所定の大きさで外囲する各周辺領域をそれぞれ設定する。そして、各周辺領域内でパッケージの３辺が集まる点を各頂点の位置として求めることにより、パッケージの各頂点を容易に求めることができる。

また、第９の発明は、前記第８の発明において、前記４つの特徴点が決定された場合、前記４つの特徴点の位置に基づいて前記パッケージの辺の長さを算出する測定部を有する構成とする。これによると、各頂点間の長さを３辺の長さとして求めることができ、パッケージの外形サイズを精度よく求めることができる。

また、第１０の発明は、前記第８の発明において、前記４点の指定位置に対して設定された４つの前記周辺領域のいずれかで特徴点が検出されなかった場合には、前記領域設定部は、前記４つの周辺領域の位置関係に基づき、ユーザが指定しなかった位置を包含する他の周辺領域を推定し、前記特徴点決定部は前記推定された周辺領域において特徴点を求める構成とする。

これによると、ユーザ指定による４つの周辺領域内のいずれかで特徴点が検出されなかった場合には、ユーザが指定しなかった位置を包含する他の周辺領域を推定して、その周辺領域において特徴点（頂点）を検出する。被測定物であるパッケージが略直方体であるという知識を利用することで、ユーザが指定しなかった位置（頂点）の周辺領域を推定でき、例えば、照明条件が悪い状況下で撮影したような場合であっても正確にパッケージサイズを測定することが可能となる。

また、第１１の発明は、前記第８の発明において、前記４つの周辺領域のいずれかで特徴点が検出されなかった場合には、前記特徴点決定部は、前記特徴点が検出されなかった周辺領域と、これに隣接する少なくとも二つの他の周辺領域との間の空間において、少なくとも二つの辺を抽出し、抽出された前記二つの辺の交点又は最近接点を、前記特徴点が検出されなかった周辺領域に対応する特徴点とみなす構成とする。

これによると、ユーザ指定による４つの周辺領域内のいずれかで特徴点が検出されなかった場合には、ユーザ指定による４つの周辺領域を結ぶ空間において辺を抽出することにより、抽出された辺の交点又は最近接点を特徴点（頂点）位置とみなすことができる。辺は線分で構成され、一般に点よりも検出確度が高いため、例えば照明条件が悪い状況下で撮影したような場合であっても正確にパッケージサイズを測定することが可能となる。

また、第１２の発明は、撮像された画像から被写体のサイズを測定するサイズ測定方法であって、被写体を撮像するステップと、前記撮像された画像データを表示するステップと、前記表示された画像データに対してユーザより位置が指定されると、当該指定位置を含む周辺領域を設定するステップと、前記周辺領域において、測定対象の座標となる特徴点を決定するステップと、を有する構成とする。

これによると、表示された画像に対してユーザが位置を指定したら、その指定された位置を含む周辺領域を設定し、測定対象の座標となる特徴点を決定するというステップで処理することから、例えばパッケージの頂点となる特徴点の決定を、頂点の探索を画像全体に対してではなく、ユーザにより指定された位置を含む周辺領域内に対して行うため、処理負荷を低減し得る。

以下、本発明の実施形態について図面を参照しながら説明する。

図１は、本発明の実施形態に係るサイズ測定装置１の使用状態を説明する説明図である。本実施の形態では、測定対象となる被写体として、製品の梱包等に用いる六面体、即ち略直方体や略立方体形状を有するパッケージ（例えば、段ボール箱など）Ｏｂを例とし、その外形寸法、つまりパッケージＯｂを構成する３辺（Ｗ：Ｗｉｄｔｈ，Ｌ：Ｌｅｎｇｔｈ，Ｈ：Ｈｉｇｈｔ）の寸法を非接触で測定する。しかしながら被写体はパッケージに限定されるものではない。

本実施のサイズ測定装置１は、サイズ測定端末１２と制御装置１３とにより構成されている。サイズ測定端末１２は、例えばハンディターミナルといった例えば物流現場における入荷、入庫、在庫、出庫、出荷といった物流過程において物品の管理を行う機器に組み込まれて、それらの利用に供される。図１に示すように、ユーザはサイズ測定装置１を用いてサイズ測定の対象となるパッケージＯｂのサイズを測定する。より具体的には、サイズ測定端末１２によってパッケージＯｂを撮像し、当該撮像データに基づいて制御装置１３によりパッケージＯｂの辺の長さが算出される。サイズ測定装置１は、サイズ測定端末１２と制御装置１３とを一体的に構成した端末装置の形態であってもよいし、サイズ測定端末１２と制御装置１３と通信回線で接続したシステムとして構成された形態であってもよい。その通信回線はローカルネットワークではなくインターネット等の広域ネットワークで接続されたものであってもよい。更に、サイズ測定装置１によって得られたサイズ情報は図示しない管理センター等に設置されたサーバ等のデータベースに蓄積し活用することが考えられる。その場合、個々の輸送料金の決定や、複数のパッケージを最適に組み合わせて輸送に必要なトラックの種類や台数の決定に利用され、運送業務における資源の有効活用を図ることができる。また、サイズ測定端末１２は、ハンディターミナルのような専用端末に限定されるものではなく、タブレットやスマートフォン等の端末に専用のアプリケーションをインストールして実現することも可能である。また、制御装置１３は、パーソナルコンピュータや専用のセットトップボックスといった形態で実現可能である。更に、測定したサイズ情報に基づいて作成した帳票を出力する機能を備えることも可能である。

図２は、サイズ測定装置１のブロック構成図である。図２に示すように、本実施の形態に係るサイズ測定装置１は、サイズ測定装置端末１２と制御装置１３により構成される。サイズ測定端末１２は、パッケージＯｂ全体を異なる角度から撮影する左カメラ（第１のカメラ）４Ｌ及び右カメラ（第２のカメラ）４Ｒ（なお、左右を区別しないときは、単にカメラ４と呼称する）、例えば液晶ディスプレイで構成される表示部７、表示部７に重ねて設けられた指定点検出手段としてのタッチパネル７ａ、撮影時のシャッタ動作等、スイッチや押下ボタンで構成されユーザの指示を入力する入力部１０を備える。カメラ４は本願発明の撮像部、表示部７は本願発明の表示部、入力部１０は本願発明の入力部をそれぞれ構成する。また、表示部７、入力部１３は制御装置１３側に設けられる構成であってもよい。制御装置１３は、カメラ４で撮影された左右の画像データを一時的に格納するメモリ５、メモリ５に格納された画像データを処理してパッケージＯｂの３辺の長さを算出する画像処理部６、画像処理部６で視差演算に用いられ測定結果のベースとなった画像データを記録しておく不揮発性メモリ８、サイズ測定装置１の動作全体を制御する全体制御部９で構成されている。ここで画像処理部６は図示しない高速ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、メモリ等で構成されており、後に詳細に説明するようにパッケージサイズを測定する主体として位置づけられる。画像処理部６は本願発明の領域設定部、特徴点決定部、測定部を構成する。

全体制御部９は、図示しないＣＰＵ、プログラムを格納したＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、作業メモリ（Work Memory）を有している。全体制御部９は、所定のＲＴＯＳ（Real-time operating system）によって管理されたタスクを単位として、画像処理部６を含むサイズ測定装置１の全体の管理を行っている。

なお、上述の「異なる角度から撮影する」とは、被写体に対して二つのカメラの光軸が輻輳角を形成する場合に限らず、二つのカメラの光軸を平行にすると共に被写体と二つのカメラの位置が三角形を形成している場合も含まれる。即ち、「異なる角度から撮影する」は「異なる位置（視点）から撮影する」と言い換えてもよい。以降、二つのカメラの光軸を平行にした構成例について説明する。

図３は、本発明の実施形態に係るサイズ測定端末１２のカメラ４の構成を示す図である。図３（ａ）は、カメラ４部分の上面図を、図３（ｂ）は同正面図を示している。なお、図３（ａ）・（ｂ）に示す座標系は図１に対応し、ｘは基線長Ｂの方向（例えば、ラスタ方向）を、ｙは撮像素子２０の撮像面において基線長Ｂ方向と直交する方向を、ｚはカメラ４から被写体に向かう方向、即ち撮影した画像の奥行き方向を示す。

カメラ４において、図３（ａ）の符号２０は例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子（二次元イメージセンサー）であり、符号２１は撮像素子２０の撮像面に光像を結像するレンズ、即ち結像光学系である（焦点距離はｆｃ）。上述したように、本実施形態のサイズ測定装置１は、左カメラ４Ｌと右カメラ４Ｒの二つのカメラを有しており、各カメラ４は同一の撮像素子２０と同一の結像光学系２１を備えている。そして、左カメラ４Ｌの光軸をＣＡｘＬ、右カメラ４Ｒの光軸をＣＡｘＲとするとき、これらの光軸間の距離（基線長Ｂ）は、例えば５０ｍｍに設定されている。なお、撮像素子２０としては、単板式のカラーセンサーやカラーフィルタを除去したモノクロセンサーのいずれをも用いることができるが、バーコードリーダ機能や、パッケージサイズ測定等、解像度を必要とするアプリケーションに利用する場合はモノクロセンサーを用いるとよい。

図３（ａ）に示すように、カメラ４を上面から（ｙ方向に）見て、両カメラ４の光軸ＣＡｘＬ及びＣＡｘＲは平行であり、互いに基線長Ｂだけ離間している。また、図３（ｂ）に示すように、カメラ４を正面（ｚ方向）から見た場合、ｙ方向において、両カメラ４の光軸ＣＡｘＬ及びＣＡｘＲは同じ位置に配置されている。

次に、図４のフローに基づいて、本発明の実施形態に係るサイズ測定装置１で動作するサイズ測定実行タスクの処理の概要を説明する。パッケージＯｂの外形サイズ測定のプロセスは、プログラムにより実行されるサイズ測定実行タスクが管理している。サイズ測定実行タスクは、全体制御部９を介して入力部１０をモニターする。

先ずステップＳＴ０で動画撮影を開始する。具体的には、全体制御部９が出力するカメラ制御信号に基づいてカメラ４Ｒ，４Ｌの撮像素子２０が駆動され、例えば３０フレーム／秒といった所定のフレームレート(ユーザ操作に応じて逐次変化するカメラワークに同期して変化する表示画像が、ストレスを感じない程度に更新されるフレームレートであればよい)で、左カメラ４Ｌ、右カメラ４Ｒで撮影された画像データをそれぞれのカメラ４に対応したメモリ５に取り込む。メモリ５に一旦格納された画像データは画像処理部６に転送され、画像処理部６でモザイク処理、ホワイトバランス調整、色補正、γ補正、リサイズ等の公知の画像処理を施される。画像処理部６で処理された画像データは、全体制御部９によって表示部７に転送され、カメラ４によって撮像された画像は表示部７にリアルタイムで表示される。

次にステップＳＴ１では、入力部１０に設けられている撮影ボタンが押されたか否か（静止画像取り込み指示の有無）をチェックする。撮影ボタンが押されていない場合にはステップＳＴ１を繰り返し（ステップＳＴ１でＮｏ）、押されたことが検出されたら、全体制御部９は表示部７に表示する画像の更新を停止してステップＳＴ２に進む。ステップＳＴ２では、撮影された画像に対する前処理を行う。前処理としては、後に行うエッジ検出を精度よく行うための補助的な処理が実行され、例えば、画像全体に対してコントラスト調整やノイズ除去等が行われるが、これらの処理は、後に詳細に説明するようにユーザが指定した頂点近傍の領域や頂点間の領域（周辺領域や辺領域）に限定して行ってもよい。

なお、二つのカメラ４で撮像される範囲は左撮像範囲２００Ｌ（以降、左画像と呼称する）と右撮像範囲２００Ｒ（以降、右画像と呼称する）とで異なっており（図１参照）、メモリ５に取り込まれた画像にはサイズ測定端末１２と被写体としてのパッケージＯｂとの間の距離に応じて視差が発生している。

更に前処理では、静止画像取り込み指示があった時点でメモリ５に取り込まれていた画像データ（左カメラ４Ｌと右カメラ４Ｒで撮影された左右の画像データ。上述のように視差を有する）を不揮発性メモリ８に転送して記憶する。

さて、この時点でサイズ測定装置１の表示部には、左カメラ４Ｌと右カメラ４Ｒで撮影された２枚の画像のうちいずれか一方の静止画像が表示されており、ユーザはパッケージＯｂの全体が撮影された画像に対して、サイズ測定対象を指定する。

ステップＳＴ３では、図５の黒丸（ＴＰ０・ＴＰ１・ＴＰ３・ＴＰ５）に示されるように、タッチパネル７ａに対してタッチペン（図１の符号１４）によりパッケージＯｂのサイズ測定の基準となる４頂点（Ｐ０・Ｐ１・Ｐ３・Ｐ５）が指定されたか否かを判別する。なお、本実施形態ではタッチパネル７ａに対する座標入力手段をタッチペン１４としているが、座標を指定可能な物品であればよく、指であってもよい。また、トラックボールやマウスのような他のポインティングデバイスを代用してもよい。

４頂点の全てが指定された場合にはステップＳＴ４に進み、４頂点が指定されるまではステップＳＴ３を繰り返す。なお、４頂点を指定する際に表示部７に表示する画像は、左右の画像（２００Ｌ・２００Ｒ）のいずれでもよいが、本実施形態では左画像（２００Ｌ）として説明する。

この４頂点とは、例えば画面上に表示されているパッケージＯｂの３面（面ｘ１ｙ１・面ｙ１ｚ１・面ｚ１ｘ１）により形成される頂点Ｐ０と、これら３面のうち２面により形成される辺ｘ１・辺ｙ１・辺ｚ１の頂点Ｐ０とは相反する他端となる各頂点Ｐ１・Ｐ３・Ｐ５である（頂点Ｐ０，Ｐ１，Ｐ３，Ｐ５の組を指定パターンＰＡ０と呼称する）。上述のように、ユーザ（操作者）は画面上の各頂点に対して手に持ったタッチペン１４によりタッチパネル７ａをタッチするが、各頂点は理想的には点であるのに対し、タッチパネル７ａの解像度は有限で、かつタッチペン１４の先端も所定の大きさを有するため、頂点Ｐ０・Ｐ１・Ｐ３・Ｐ５を正確に指定することは難しい。通常は、図５の黒丸で示される目測によるタッチ（以降「目押し」と呼称する）では、点ＴＰ０・ＴＰ１・ＴＰ３・ＴＰ５のように画面上の各頂点Ｐ０・Ｐ１・Ｐ３・Ｐ５から外れてしまう。

なお、パッケージサイズの測定に際して、ユーザは４つの頂点を指定するが、指定する頂点の組み合わせは、上述したＰ０（パッケージＯｂの３面により形成される頂点）と、これに集合する各辺についてＰ０と相反する他端に限られない。

例えば、図５において頂点Ｐ１・Ｐ２・Ｐ０・Ｐ６の組（組パターンＰＡ１と呼称する）を指定してもよく、頂点Ｐ３・Ｐ２・Ｐ０・Ｐ４の組（組パターンＰＡ３と呼称する）を指定してもよく、頂点Ｐ５・Ｐ６・Ｐ０・Ｐ４の組（組パターンＰＡ５と呼称する）を指定してもよい。組パターンＰＡ１では頂点Ｐ１が共通頂点であり、頂点Ｐ１に線分Ｐ１−Ｐ２，線分Ｐ１−Ｐ０，線分Ｐ１−Ｐ６が集合する。組パターンＰＡ３では頂点Ｐ３が共通頂点であり、頂点Ｐ３に線分Ｐ３−Ｐ２，線分Ｐ３−Ｐ０，線分Ｐ３−Ｐ４が集合する。組パターンＰＡ５では頂点Ｐ５が共通頂点であり、頂点Ｐ５に線分Ｐ５−Ｐ６，線分Ｐ５−Ｐ０，線分Ｐ５−Ｐ４が集合する。つまり、ユーザはパッケージＯｂを撮影した画像に対して、３つの辺が集合する任意の共通頂点と、この共通頂点に集合する各辺について共通頂点と相反する他端を指定すればよい。表現を変えれば、画面上に表示されているパッケージＯｂに対してＷ，Ｌ，Ｈ（Ｗｉｄｔｈ，Ｌｅｎｇｔｈ，Ｈｉｇｈｔ）に対応した辺を一つずつ含むような４頂点を選択すればよい。

なお以降は、簡単のために、上述した指定パターンＰＡ０に基づいて頂点が指定された場合について説明する。

なお、ここでは、４頂点が全て指定されるまでは、次のステップに移らない例について説明したが、ＳＴ３，ＳＴ４，ＳＴ５の処理を１点に対して順次処理し、この処理を４回繰り返す手続きをとっても構わない。

次のステップＳＴ４では、ステップＳＴ３における各目押し点ＴＰ０・ＴＰ１・ＴＰ３・ＴＰ５（測定対象位置）に対応する領域Ａ０・Ａ１・Ａ３・Ａ５の設定を行う。これらはタッチペン１４等により指定される目押し点の近傍に存在する頂点Ｐ０・Ｐ１・Ｐ３・Ｐ５を包含する領域（以降、周辺領域と呼称する）であり、各周辺領域Ａ０・Ａ１・Ａ３・Ａ５は、図５に実線で示されるように、目押し点（ＴＰ０・ＴＰ１・ＴＰ３・ＴＰ５）を中心とする所定の半径の円環であってよい。円環の大きさは、表示部７の画面上で、例えばユーザによるパッケージ頂点に対する目押しを行った場合の誤差範囲を考慮して決めておく。もちろん周辺領域の範囲を、矩形で表示しても構わない。

ここで、各周辺領域を示す円環や矩形を、個々の目押し点（ＴＰ０・ＴＰ１・ＴＰ３・ＴＰ５のいずれか）が指定される毎に、表示部７に表示するようにしてもよい。このようにするとユーザは表示された円環等がパッケージＯｂの頂点（Ｐ０・Ｐ１・Ｐ３・Ｐ５のいずれか）を外囲しているか否かを直ちに確認でき、便宜である。また、フロー図には図示していないが、ステップＳＴ３，ステップＳＴ４に関連して、表示された円環等が指定すべき頂点を外囲していないとユーザが認めた場合、ユーザが当該周辺領域をタッチペン１４で再度タッチすると指定（目押し）が解除されるように構成してもよい。この場合は、指定解除と共に円環等の表示は消去される。更に、円環等の表示（目押し点の指定）と円環の消去（指定の解除）を、タッチパネル７ａへのタッチに応じて交互にトグルするようにしてもよい。これにより各頂点を指定したものの、実際は周辺領域が頂点を外囲しないような事態を簡易に回避することができ、ユーザの使い勝手が向上する。

このようにして、周辺領域で外囲される４頂点の指定が完了するとステップＳＴ３，ＳＴ４の処理が終了する。

次のステップＳＴ５では、左画像（２００Ｌ）に対して各周辺領域Ａ０・Ａ１・Ａ３・Ａ５内でエッジの検出を行ってエッジ画像を得る。エッジの検出方法としては、例えば特許第４３３８４０５号公報に開示されているように、１次差分オペレータを用い、３＊３のフィルタで、エッジの水平方向成分と垂直方向成分とを検出し、これらの処理結果を合算してエッジ画像を生成し、フィルタ処理後のエッジ画像を２値化して、２値化を行った後にエッジを追跡（トレース）することで行うことができる。また、このエッジの追跡によるエッジの終端の判定は、上記公報に開示されているように、エッジの連続性が途切れた位置から次のエッジが検出されるまでの画素数が所定値以上、又は次のエッジの連続画素数が所定値未満の場合に、途切れた位置を終端として決定することができる。また、エッジの終端の判定に関しては、このような一般的条件に加えて、トレース範囲が周辺領域内であることを付加条件として用いてもよい。この付加条件の存在によってトレースを確実に停止することができる。ここで、周辺領域を矩形とすることで、この条件適否を高速に判断することができる（表示は円環を利用しつつ、トレース終了条件の判断には矩形を用いるようにしてもよい）。このようにして、例えば図８に示されるように、各周辺領域Ａ０・Ａ１・Ａ３・Ａ５内に各頂点に集まる３辺となる各エッジ（図の太線）Ｅを検出し、エッジ画像を取得することができる。エッジ検出を実行する範囲は周辺領域内に限定されており、高速処理が可能となる。

ここでは３辺からなるエッジについて説明したが、撮影時のカメラワークや指定頂点によっては、３辺の全てが写っていないこともあり（例えば、上述した組パターンＰＡ１のような場合）、２辺からなるエッジを利用する場合もある。(図示せず)

次のステップＳＴ６では、ステップＳＴ５において実行されたエッジ検出により、全ての各周辺領域Ａ０・Ａ１・Ａ３・Ａ５内にそれぞれ有効なエッジが検出されたか否かを判別する。領域内に１点に集中する３本のエッジが検出されることによりパッケージＯｂの頂点を確実に求めることができるが、２本のエッジが１点に集中する場合でもその交点を頂点とすることができる。全ての周辺領域Ａ０・Ａ１・Ａ３・Ａ５内にそれぞれ頂点を求めるのに有効なエッジが検出された場合にはステップＳＴ７に進み、有効なエッジが検出されない周辺領域が一つでもある場合には後記するステップＳＴ１２（又は分岐の他の例であるステップＳＴ１７）に進む。

なお、有効なエッジ検出が行われたか否かは、例えば、エッジトレースに際してエッジと判断された部分と他の部分のコントラスト差を検出し、１画素単位のトレースにおいてコントラスト差の絶対値を累積して評価関数とすればよい。一般的にコントラスト差が大きいほど、エッジは検出され易いから、評価関数の値が所定の閾値より大きければ、有効なエッジ検出がされたものと推定することができる。

ステップＳＴ７では、各周辺領域Ａ０・Ａ１・Ａ３・Ａ５内に検出された各エッジの交点座標を求める。上記したように、各エッジの交点は、パッケージＯｂにおいて３辺が集まる頂点となる。

また、目押し点（図５に示す、ＴＰ０・ＴＰ１・ＴＰ３・ＴＰ５）同士を結ぶ形状は、パッケージＯｂの配置状態に対応して変化するから、この特徴に基づき頂点座標を計算することができる。以降、図８（ａ）を用いて説明する。例えば撮影された画像において、共通頂点Ｐ０に集合する３辺の形状パターン（辺同士が交わる角度等を意味する）は、周辺領域Ａ０周辺のパターンと略一致（相似）すると考えられる。また、頂点Ｐ０に接続する辺ｚ１を、周辺領域Ａ０を越えて延伸し、かつ実際の辺ｚ１を消去した形状パターンは、頂点Ｐ３周辺のパターンと略一致（相似）すると考えられる。頂点Ｐ１，Ｐ５周辺のパターンについても同様である。つまり、共通頂点Ｐ０に集合する辺の形状から、各頂点に接続する辺の形状が推測できることになる。よって、４つの目押し点の位置関係に基づき、４つの頂点近傍のパターンを作成しておき、エッジトレースによって生成したエッジ画像と辺のマッチングをとることで、特徴点となる各頂点Ｐ０・Ｐ１・Ｐ３・Ｐ５の座標（例えば、左画像における２次元座標。具体的には、各頂点を撮影する撮像素子のｘｙ座標）を特定することができる。

次のステップＳＴ８では、図８（ａ）に示されるように左画像（２００Ｌ）における各周辺領域Ａ０・Ａ１・Ａ３・Ａ５に対応して、図８（ｂ）に示されるように右画像（２００Ｒ）上での各周辺領域Ａ０Ｒ・Ａ１Ｒ・Ａ３Ｒ・Ａ５Ｒを設定する。そして、これらの周辺領域から頂点Ｐ０Ｒ・Ｐ１Ｒ・Ｐ３Ｒ・Ｐ５Ｒの座標を求める。

以降、この過程について詳細に説明する。

一般にステレオカメラでは、例えば製造過程において、左右のカメラ４Ｌ，４Ｒ間で図１に示すｙ軸，ｚ軸のシフト方向及び、ｘ軸，ｙ軸，ｚ軸の回転方向についてのキャリブレーション及びこの結果に基づく調整が行われており、被写体を撮像したときの視差はｘ軸方向のみに生じると考えてよい。これに従えば、左右のカメラ４Ｌ，４Ｒで撮影されたパッケージＯｂは、相互に図１のｘ軸方向（左右方向）にシフトして撮影され、左画像と右画像の原点（例えば撮影領域の左上の点）を揃えると、左画像における被写体に対して右画像の被写体は、ｘ軸左側（図１の座標系の矢印方向をプラス方向とするとマイナスの方向）にずれて撮影される。

また、後に詳細に説明するように、左右カメラ４Ｌ，４Ｒ間の基線長Ｂ、各カメラに搭載された撮像素子の画素ピッチやサイズ、光学系の焦点距離ｆ等は測定系としてみたときに既知の固定値であり、パッケージサイズが測定される現場において被写体までの距離が例えば１〜２ｍ程度という現実的な制約があれば、ステレオカメラで撮影された左右の画像における被写体のずれ量（画素数）を推定することができる。

これによって、左画像に対してユーザが目押しした点（ＴＰ０・ＴＰ１・ＴＰ３・ＴＰ５）が、右画像においてどの範囲に対応するかが推定される。このようにして右画像における各目押し点が決定し、これに基づいて各周辺領域（Ａ０Ｒ・Ａ１Ｒ・Ａ３Ｒ・Ａ５Ｒ）が定められ、上述してきた左画像に対するプロセスと同様に、各周辺領域でエッジが検出され、最終的に右画像における２次元座標としての頂点座標（Ｐ０Ｒ・Ｐ１Ｒ・Ｐ３Ｒ・Ｐ５Ｒ）が求められる。

さて、これまでの説明によって、左画像の各頂点Ｐ０・Ｐ１・Ｐ３・Ｐ５は、この順序で右画像の各頂点Ｐ０Ｒ・Ｐ１Ｒ・Ｐ３Ｒ・Ｐ５Ｒと対応していることは明白である。何故なら、本実施形態によれば、例えば左画像の頂点Ｐ０に対する目押し点ＴＰ０を中心として周辺領域Ａ０が定められ、使用シーンに基づくカメラ４とパッケージＯｂの離間距離から右画像において対応する頂点Ｐ０Ｒを外囲する周辺領域Ａ０Ｒが定められ、左右それぞれの周辺領域に対して独立して頂点Ｐ０及び頂点Ｐ０Ｒの座標（２次元座標）が求められるからである（頂点Ｐ１と頂点ＰＲ１、頂点Ｐ３と頂点Ｐ３Ｒ、頂点Ｐ５と頂点Ｐ５Ｒについても同様）。

上記のように、左右画像それぞれの頂点座標が求まった場合は、ステレオマッチング処理と呼ばれる対応点探索処理は不要となる。視差精度が求められる場合は、ステレオマッチング処理を行い、より高精度な視差を求めることも可能となる。

図６は、本発明の実施形態に係るサイズ測定装置１に関して、ステレオ視によってカメラ４と被写体の任意の点（注目点Ｐ）との距離Ｚｐを取得（測距）する原理を説明する説明図であり、図６（ａ）はカメラ４と被写体との位置関係を示し、図６（ｂ）は補助線としてエピポーラ線ＥＬを追加したものである。また、図７は、本発明の実施形態に係るサイズ測定装置１に関して、二次元的に示した測距原理を三次元空間に拡張して説明する説明図である。

以下、図６（ａ）、図６（ｂ）を用いて三次元測距の原理と、注目点Ｐの空間座標（Ｘｐ，Ｙｐ，Ｚｐ）を求める過程を説明する。なお、図６（ａ）、図６（ｂ）で用いる座標系は図１、図３等で用いたものと同じである。

図６（ａ）において左カメラ４Ｌ、右カメラ４Ｒの撮像範囲には注目点Ｐが含まれているが、注目点Ｐは左カメラ４Ｌの光軸ＣＡｘＬ、右カメラ４Ｒの光軸ＣＡｘＲから図のｘ方向右側にずれており、各光軸と対応する各撮像素子２０の各交点２０ｃを基準とすると、注目点Ｐは各撮像素子２０の撮像面上で、左カメラ４ＬではｘＬだけ、図のｘ方向左側に右カメラ４ＲではｘＲだけ、シフトして撮影される。

図６（ｂ）に示すように、右カメラ４Ｒの結像光学系２１の中心点を通る補助線として線ＥＬを追加する。ここで線ＥＬとは、左カメラ４Ｌの結像光学系２１と注目点Ｐを結ぶ直線ＢＬを右カメラ４Ｒに射影したものであり、直線ＢＬと線ＥＬは互いに平行である。このように作図すると、右カメラ４Ｒ側に形成される三角形Ｏαβと三角形Ｏυζは相似となる。右カメラ４Ｒで撮像した画像を基準画像、左カメラ４Ｌで撮像した画像を参照画像とすると、基準画像中の点ｘＲ（ｘ方向において光軸ＣＡｘＲからのずれ量）は参照画像ではｘＬ（同，光軸ＣＡｘＬからのずれ量）に移動しているから、ｘ軸方向の移動量｜ｘＬ−ｘＲ｜を基準画像における視差δｘと定義し、δｘ＝｜ｘＬ−ｘＲ｜と表す。ここで、レンズの焦点距離をｆ、両カメラ４の光軸間の距離（基線長）をＢとするとき、距離（奥行き）Ｚｐは、
Ｚｐ＝ｆ×（Ｂ／δｘ） ・・・（式１）
で計算される。

図６（ａ）、図６（ｂ）では左カメラ４Ｌと右カメラ４Ｒを上面（ｙ軸方向）から見て、三次元測距の原理をｘ軸方向（基線長Ｂの方向）に発生する視差に基づいて説明を行ったが、図７に示すように、実際の撮像素子２０は三次元空間内に位置し、注目点Ｐは撮像素子２１の撮像面（ｘ'ｙ'平面）に配置された画素に投影される。このｘ'ｙ'平面は撮像素子２０の撮像面であるから、図６（ｂ）等から理解されるように、上述のｘｙｚ座標系と本質的に同じである。そして、注目点Ｐは、左カメラ４Ｌの撮像素子２０においては座標（ｘＬ，ｙＬ）に、右カメラ４Ｒの撮像素子２０においては座標（ｘＲ，ｙＲ）に投影され、カメラ４が出力する画像に基づいて具体的な座標値が取得される。

そして、（式１）に基づいて距離Ｚｐが求められれば、注目点Ｐの座標値Ｙｐ，Ｚｐは、基準画像（例えば右カメラ４Ｒによって撮像された画像）で観測された注目点Ｐの座標（ｘＲ，ｙＲ）を用いて（式２）のようにして求められる。
（Ｘｐ，Ｙｐ，Ｚｐ)
＝((Ｚｐ／ｆ)ｘＲ，(Ｚｐ／ｆ)ｙＲ，（Ｂ×ｆ）／δｘ)
＝（Ｂ／δｘ）（ｘＲ，ｙＲ，ｆ） …（式２）

上述したようにサイズ測定装置１は二つのカメラ４を有しているが、サイズ測定装置１における左カメラ４Ｌと右カメラ４Ｒの位置は設計上一意に決定されている。即ち、左カメラ４Ｌと右カメラ４Ｒとの光軸間の距離（基線長Ｂ）は設計上の固定値である。そして、左右のカメラ４に搭載される結像光学系２１が有する焦点距離ｆも固有の値である。従って左カメラ４Ｌと右カメラ４Ｒとがそれぞれ撮影した画像、即ち左右の撮像素子２０の出力から同一の特徴点を検出できれば、左右の特徴点の座標値の差が視差δｘとなる。このようにして、基線長Ｂ、焦点距離ｆ、視差δｘが得られることにより、カメラ４（基準とするカメラ）から注目点Ｐまでの距離Ｚｐを計算することができる。

さて、上述したように、本実施形態ではサイズ測定装置１が実際に使用される際のカメラ４と被写体（パッケージＯｂ）の距離を想定して、左画像（２００Ｌ）における周辺領域Ａ０・Ａ１・Ａ３・Ａ５を、右画像（２００Ｒ）の周辺領域Ａ０Ｒ・Ａ１Ｒ・Ａ３Ｒ・Ａ５Ｒに対応させているが、以下に、左画像と右画像の周辺領域の対応関係について定量的に説明する。

本実施形態で使用するカメラ４Ｌ，４Ｒにおいて基線長Ｂ及び焦点距離ｆは固定値であるため、撮影範囲となるＺｐの変化量が決まれば、視差δｘの範囲（変化量）が分かる。これにより、左画像を基準とした場合の上記各周辺領域Ａ０・Ａ１・Ａ３・Ａ５に対応する右画像上での各周辺領域Ａ０Ｒ・Ａ１Ｒ・Ａ３Ｒ・Ａ５Ｒ内に各頂点Ｐ０・Ｐ１・Ｐ３・Ｐ５が位置することが推定され、各頂点を探索する範囲（周辺領域）を絞ることができ、例えばその後のエッジ検出処理の負荷を低減し得る。

本実施形態においては、具体的には、例えば基線長Ｂが７５ｍｍ、焦点距離ｆが６ｍｍとし、また撮像素子２０の画素ピッチが０．００３ｍｍのカメラ４の場合に、距離Ｚｐ＝１ｍとすると、上記式３から、視差δｘは０．４５ｍｍとなり、距離Ｚｐ＝２ｍとすると、視差δｘは０．２２５ｍｍとなる。画素ピッチは０．００３ｍｍなので、視差δｘの範囲は、７５画素＜δｘ＜１５０画素となり、この範囲に基づいてステレオマッチングの探索範囲を狭い範囲に決定することができる。より具体的には、左画像で目押しをした際に表示される周辺領域を示す円環のサイズ（直径）を、撮像素子の画素換算で１５０画素とし、右画像の周辺領域として、左画像の目押し点からｘ軸左方向（図１の座標系の矢印方向をプラス方向とするとマイナスの方向）に（７５＋１５０）／２＝１１２画素だけシフトして周辺領域の中心座標を大まかに設定する。このようにすることで、左画像を用いて目押し点を設定した場合でも、右画像で視差を考慮した周辺領域を設定することができる。これによってユーザは、左右いずれかの画像に対して目押し点を設定するだけで、パッケージサイズを測定することができる。

次のステップＳＴ９では、左右の画像における各頂点座標に基づいて、視差を求める。上述のようにｘ軸シフト方向を除き、カメラ４Ｌ，４Ｒは出荷時のキャリブレーション結果に基づく調整がなされているから、これら対応する頂点Ｐ０−頂点Ｐ０Ｒ、頂点Ｐ１−頂点Ｐ１Ｒ、頂点Ｐ３−頂点Ｐ３Ｒ、頂点Ｐ５−頂点Ｐ５Ｒ（これら各頂点の組の左側は左画像に由来し、右側は右画像に由来する）のｘ座標の差分は、直ちに各頂点に対する視差δｘを表す。

ただし、このようにエッジ画像から求めた頂点座標に基づいて、直接的に視差δｘを計算すると、エッジ検出が実質的な２値化であることから計算結果は撮像素子の１画素単位の離散的な値となる。撮像素子の画素数が十分に多く更に視差そのものが大きければ（例えば、カメラと被写体間の距離が短いような場合）影響は小さいが、そうでない場合は、例えば、左画像と右画像において対応する周辺領域内の画像（もちろん中間調の画像である）を用いてブロックマッチング処理を実行することで、サブピクセル単位で視差δｘを算出できる。

ステップＳＴ１０では、ステップＳＴ９で求めた各頂点Ｐ０・Ｐ１・Ｐ３・Ｐ５のそれぞれの視差から、各頂点の３次元座標を算出する。なお、距離Ｚｐは、上記式１により求めることができる。このようにして、各頂点Ｐ０・Ｐ１・Ｐ３・Ｐ５の３次元座標を求めることにより、共通頂点Ｐ０に集まる３辺の各長さ（Ｐ０〜Ｐ１、Ｐ０〜Ｐ３、Ｐ０〜Ｐ５）を算出することができ、それによりパッケージＯｂのサイズを求めることができる。

次に、上記した図４のステップＳＴ６で４つの周辺領域Ａ０・Ａ１・Ａ３・Ａ５のいずれかで有効なエッジが検出されなかった場合、即ち例外処理の分岐フローを、図９（ａ）を参照して以下に説明する。なお、エッジの有効性については、既に説明したように、エッジ部とその周辺領域のコントラスト差等を尺度として判定することができる。

以降、例として図１０（ａ）に示されるように一部の周辺領域でエッジが検出されなかった場合、具体的には周辺領域Ａ１・Ａ３ではエッジが検出されたが、周辺領域Ａ０・Ａ５ではエッジが検出されなかった場合について説明する。

上述したように、目押し点に基づいて生成された周辺領域は４つ存在するが、この周辺領域が、パッケージを構成する３辺の共通頂点の一つと、この共通頂点と相対する当該３辺の他端を含むとの前提があれば、各周辺領域の位置関係に基づき、実際には目押しされていない頂点（ここでは頂点Ｐ２・Ｐ４・Ｐ６）に対応した周辺領域（同Ａ２・Ａ４・Ａ６）の位置を推定することができる。これは、被測定物であるパッケージが略直方体だからである。

具体的には、図９（ａ）のステップＳＴ１２では、図１０（ｂ）に示されるように、周辺領域Ａ０・Ａ１・Ａ３・Ａ５の大きさ（直径）に合わせた太さ（幅）で形成される辺により、周辺領域Ａ０を共通頂点として集まるＹ字状の３辺（Ａ０〜Ａ１・Ａ０〜Ａ３・Ａ０〜Ａ５）に基づいて形成した直方体の疑似箱形ＢＸを、エッジＥが検出された周辺領域Ａ１・Ａ３に角を合わせるように画面上にセットする。このとき、検出されたエッジＥをガイドにして疑似箱形ＢＸの各辺を合わせる微調整を行うことができる。このように疑似箱形ＢＸを重ねることで、目押しされていない頂点に対応した周辺領域Ａ２・Ａ４・Ａ６の位置が定まる。

次のステップＳＴ１３では、タッチペン１４の指定に基づく４周辺領域Ａ０・Ａ１・Ａ３・Ａ５以外の３頂点に対応する各周辺領域Ａ２・Ａ４・Ａ６内でエッジ検出を行う。直方体形のパッケージＯｂに対して、任意の頂点（カメラ４に対向する頂点）及びその頂点に接続する３辺を撮影した場合には、図５に示されるように７つの頂点Ｐ０〜Ｐ６が存在し、ユーザがタッチペン１４により位置指定した以外の３頂点Ｐ２・Ｐ４・Ｐ６も撮影されるため、疑似箱形ＢＸの各周辺領域Ａ２・Ａ４・Ａ６内に各頂点Ｐ２・Ｐ４・Ｐ６が位置し得る。従って、各頂点Ｐ２・Ｐ４・Ｐ６を求めるための各辺（エッジ）の検出に対して、限られた狭い範囲となる各周辺領域Ａ２・Ａ４・Ａ６内の画像処理（エッジ処理等）で済むため、画面全体に対してエッジ処理を行う必要がなく、画像処理の負荷を低減することができる。

次のステップＳＴ１４では、ステップＳＴ１３で例えば図１０（ｃ）に示されるように二つの周辺領域Ａ２・Ａ４内でエッジＥが検出された場合に、それら周辺領域Ａ２・Ａ４内で検出されたエッジＥを有効なものとして採用する。

次のステップＳＴ１５では、パッケージＯｂのサイズを求めるのに必要な３辺（辺ｘ１・辺ｙ１・辺ｚ１）を決定する各頂点が全て検出されたか否かを判別する。図示例の場合、頂点Ｐ２・Ｐ３間が辺ｘ１に相当し、頂点Ｐ３・Ｐ４間が辺ｙ１に相当し、頂点Ｐ１・Ｐ２間が辺ｚ１に相当し、パッケージＯｂのサイズを求めるのに必要な辺ｘ１・ｙ１・ｚ１を抽出可能な全ての頂点Ｐ１〜Ｐ４が求められたことになる。この場合にはステップＳＴ８に進む（ステップＳＴ１５でＹｅｓ）。

ステップＳＴ８以降では図４を用いて説明した処理を行ってパッケージＯｂのサイズを測定する。ステップＳＴ１５で必要な全ての頂点が求められなかったと判断された場合（ステップＳＴ１５でＮｏ）には、パッケージＯｂのサイズを測定することができないため、ステップＳＴ１６に進み、そこで例えば表示部７にエラーメッセージを表示させて、本フローを終了する。

以上、述べてきたように、図９（ａ）のフローに示す例外処理では、画像処理部６（図２参照）は、４つの周辺領域（本実施形態ではＡ０・Ａ１・Ａ３・Ａ５）のいずれかで頂点位置が検出されなかった場合には、４つの周辺領域の位置関係から、ユーザが指定しなかった頂点位置を包含する他の周辺領域（本実施形態ではＡ２・Ａ４・Ａ６）を推定し、この推定した周辺領域において頂点位置を求める。

次に、上記した図４のステップＳＴ６で４つの周辺領域Ａ０・Ａ１・Ａ３・Ａ５のいずれかで有効なエッジが検出されなかった場合の、分岐フローの他の例を、図９（ｂ）を参照して説明する。

図９（ｂ）におけるステップＳＴ１７では、タッチペン１４の指定位置に基づく４つの周辺領域Ａ０・Ａ１・Ａ３・Ａ５を大きな頂点として、図１１（ａ）に示されるように、各周辺領域Ａ０・Ａ１・Ａ３・Ａ５の大きさ（円形とした場合の直径）を線の幅として、共通頂点を包含する周辺領域Ａ０から各Ａ１・Ａ３・Ａ５間を結ぶ各空間Ｘ１・Ｙ１・Ｚ１（以降、辺領域と呼称する）を設定する。周辺領域は面積を有するから、この周辺領域間を接続した空間である辺領域も面積を有する。周辺領域に頂点が含まれる前提において、辺領域内に２頂点を接続する辺が包含される蓋然性はきわめて高い。そして、各辺領域Ｘ１・Ｙ１・Ｚ１内でエッジ検出を行って頂点間の辺（即ち、線分の式）を抽出する。

この場合、周辺領域Ａ０（Ａ１・Ａ３・Ａ５）における頂点の検出は点に対してであるのに対して、辺領域Ｘ１（Ｙ１・Ｚ１）における辺の検出は線に対してである。理論上は点である頂点の検出精度は局所条件に大きく依存するが、理論上は線である辺に対しては、撮影条件の悪い部分があっても、有効と判断されるエッジ部分を連結することで全体が推定できるため、エッジ検出の確率が高まり、例えば照明条件が不十分な環境下にあっても、未検出によるエラー頻度を低減できる。

次のステップＳＴ１８では、上記ステップＳＴ１２と同様に周辺領域（例えばＡ０）の大きさに合わせた太さの辺により形成した直方体の疑似箱形ＢＸを、図１１（ｂ）に示すように各辺領域Ｘ１・Ｙ１・Ｚ１内に検出された各エッジＥｘ１・Ｅｙ１・Ｅｚ１に合わせて画面上にセットする（図１２（ａ））。

なお、頂点間を接続する辺を効率良く抽出するためには、辺領域を設定して、この辺領域内のみを探索するという概念は必須である。一方、サイズ計測に必要な頂点４つのうち共通頂点以外の１頂点のみが検出されなかったような場合は、理論上は当該頂点に接続する２辺のみを抽出すればよいことから、ステップＳＴ１８（疑似箱形ＢＸの位置合わせ）及び次に述べるステップＳＴ１９（疑似箱形ＢＸ内のエッジ検出）の処理は省略してもよい。同様の理由で、上述した図９（ａ）のステップＳＴ１２を省略してもよい。

また、このようにエッジを検出する最終目的は、エッジで構成される線分を少なくとも二つ抽出して、これら二つの線分の交点（或いは最近接点）からパッケージＯｂの頂点座標を求めることであるから、辺領域を間に持つ周辺領域（互いに隣接する周辺領域）は最低限３つ必要ということになる。

次のステップＳＴ１９では、ステップＳＴ１８で、例えば図１２（ａ）に示されるように疑似箱形ＢＸの各辺に対応する各辺領域内でエッジ検出を行う。この場合も限られた狭い範囲に対する画像処理（エッジ処理等）で済むため、エッジ検出処理の負荷を低減し得る。

次のステップＳＴ２０では、疑似箱形ＢＸの辺領域内でエッジ検出により抽出された線分を延長して、各延長線の交点を各頂点とする（なお、以降の説明では、当該線分又は延長線を一律にエッジと呼称することがある）。そして、当該交点は、図４のフローにおいて頂点位置が検出されなかった周辺領域における頂点位置とみなされる。即ち、図９（ｂ）に示すフローでは、目押し点（点情報）を外囲する周辺領域（面情報）を得て、更に各周辺領域を結ぶ辺領域から辺（線情報、空間における直線の式）を抽出し、２直線の交点をもって頂点座標（点情報）を計算する。

例えば図１２（ａ）に示されるようにエッジＥｘ２・Ｅｘ３・Ｅｙ２・Ｅｙ３・Ｅｚ２・Ｅｚ３が検出された場合には、図１２（ｂ）の二点鎖線で示されるように、各エッジＥｘ２・Ｅｘ３・Ｅｙ２・Ｅｙ３・Ｅｚ２・Ｅｚ３を疑似箱形ＢＸの辺領域内で延長し、各エッジＥｘ２・Ｅｘ３・Ｅｙ２・Ｅｙ３・Ｅｚ２・Ｅｚ３及び各延長線による各交点を各頂点Ｐ１〜Ｐ６とする。そして、ステップＳＴ１５に進む。

この場合、各エッジＥｘ２・Ｅｘ３・Ｅｙ２・Ｅｙ３・Ｅｚ２・Ｅｚ３において、撮影条件の悪さにより捩れのように検出された場合には、各エッジ及び各延長線による交点が見出されない。そのような場合には、対応する周辺領域内で辺同士の距離が最短となる各辺間の中間位置の座標（最近接点）を頂点座標としてよい。

ステップＳＴ１５では、上記したように、ステップＳＴ２０において頂点とされた各点により、パッケージＯｂのサイズ測定に必要な３辺（辺ｘ１・辺ｙ１・辺ｚ１）を決定するために必要な各頂点が全て求められたか否かを判別する。

図示例の場合、疑似箱形ＢＸの中央部分のＹ字状の３辺以外である外形部分の６辺に対応する各エッジＥｘ２・Ｅｘ３・Ｅｙ２・Ｅｙ３・Ｅｚ２・Ｅｚ３が全て検出された場合であり、ステップＳＴ１９では６箇所の頂点（Ｐ１〜Ｐ６に対応）が求められている。この場合には、頂点Ｐ２・Ｐ３、Ｐ５・Ｐ６間がそれぞれ辺ｘ１に相当し、頂点Ｐ３・Ｐ４、Ｐ１・Ｐ６間がそれぞれ辺ｙ１に相当し、頂点Ｐ１・Ｐ２、Ｐ４・Ｐ５間がそれぞれ辺ｚ１に相当する。なお、必ずしも６頂点Ｐ１〜Ｐ６の全てが求められる必要はなく、パッケージＯｂのサイズ測定に必要な３辺（辺ｘ１・辺ｙ１・辺ｚ１）を決定するために必要な４頂点が求められればよく、上記と同様に頂点Ｐ１〜Ｐ４が求められた場合でもよい。

ステップＳＴ１５で必要な４頂点が求められたと判定された場合にはステップＳＴ８に進み、ステップＳＴ８以降では、図４を用いて説明した処理を行ってパッケージＯｂのサイズ測定を行う。

このように本発明によれば、画面全体やパッケージＯｂの全体に対してエッジ処理を行うことなく、タッチペン１４による指定位置に対応させて領域を設定し、指定位置周辺の狭い領域内でエッジ検出・ブロックマッチング処理を実行すればよいため、画像処理負荷を大幅に低減できる。それにより、サイズ測定処理の高速化も可能となる。また、タッチペン１４の操作である所謂目押しによる誤差範囲を考慮して周辺領域の大きさを設定しておくことにより、照明などの影響により領域内にエッジが検出されない場合でも、周辺領域を大きな頂点とみなして辺領域を設定或いは疑似箱形ＢＸを合わせることにより、各辺のエッジを検出可能となり、エッジ検出ができない状態をできるだけ回避し得る。また、タッチペン１４による指定位置をそのままパッケージＯｂの頂点として用いるのではなく、領域を指定しかつ領域内で検出されたエッジにより確実に頂点を求めて、辺の長さを算出することから、目押しによる不確実性を排除してパッケージサイズを高精度に測定することができる。

また、頂点座標を求める際に全ての辺を参照する必要はなく、例えば辺の抽出過程において最も信頼度が高いものから順に用いればよい。ここで信頼度は、例えば辺に対して連続してエッジ検出が行われた長さに基づいて計算することができる。例えば上記図１２（ａ）のエッジＥｘ３のように辺が途切れて検出された場合には、連続して検出されたエッジＥｘ２の方が信頼度が高いと考えられる。他に、辺として検出されたエッジの周囲のコントラスト情報に基づいて信頼度を計算してもよい。サイズ測定のためのｘｙｚ軸方向の辺において、それぞれ互いに平行する各辺の信頼度を比較し、信頼度の高い辺を採用する。例えば上記図１２（ａ）のように、ｘ軸方向の各エッジＥｘ１〜Ｅｘ３の中でエッジＥｘ２の信頼度が最も高かったら、そのエッジＥｘ２をｘ軸方向の辺ｘ１として、頂点座標の検出に用いる。他のｙ軸・ｚ軸も同様である。これは、サイズ測定対象が直方体の箱状のパッケージＯｂであるという特殊な対象であることを利用するものである。即ち、パッケージＯｂの任意の一つの辺には平行な３つの辺が存在し（例えば、Ｅｘ１〜Ｅｘ３）、パッケージＯｂは直方体なので、サイズ測定では、平行な３辺のいずれの辺を用いて各頂点座標を求めてもよく、上記信頼度の最も高い辺を採用することができる。もっとも、ある辺の信頼度が高くても、この辺と交差する他の辺の信頼度が低いと頂点座標の精度は低下するから、実際の処理では、複数の平行な辺に対して信頼度のランクを付与し、頂点座標を求める際にランクの高い辺から優先的に使用するとよい。なお、パッケージの形状は、厳密には遠い部分ほど小さく見えるが、パッケージＯｂの大きさに対する撮影距離・画角の設定により、近似的に平行な辺同士によるものとして取り扱うことができる。

以上、述べてきたように、図９（ｂ）のフローに示す例外処理では、画像処理部６（図２参照）は、４つの周辺領域（本実施形態ではＡ０・Ａ１・Ａ３・Ａ５）のいずれかで頂点位置が検出されなかった場合には、頂点位置が検出されなかった周辺領域（例えばＡ０）と、これに隣接する少なくとも二つの他の周辺領域（例えばＡ１，Ａ３）との間の空間（例えば、Ａ０−Ａ１間の辺領域Ｘ１とＡ０−Ａ３間の辺領域Ｚ１）において、少なくとも二つの辺（例えば、Ａ０−Ａ１間の辺Ｅｘ１とＡ０−Ａ３間の辺Ｅｚ１）を抽出し、抽出された二つの辺の交点又は最近接点を、頂点位置が検出されなかった周辺領域（Ａ０）における頂点位置とみなし、この頂点位置に基づいて、パッケージの辺の長さを算出する。

以上、上記実施形態における三次元測距に関しては、所謂ステレオ法を例にして詳細に説明したが、目押し点の近傍に設定した周辺領域に限って頂点を探索するという観点で、本発明はステレオ法に限らず、他の測距方法と組み合わせることが可能である。このような測距方法としては、例えば、被測定対象と一緒に予めサイズが既知の基準物を撮影し、基準物のサイズから被測定対象のサイズを推定する方法（基準ラベル法）、投影光学系で発生させた正弦波状の格子パターンの位相を変えて被写体に投影し、これを１台のカメラで複数回撮影することで測定点の輝度変化から位相値を求める方法（正弦波パターン投影法）、正弦波パターン投影法を改良し、被測定対象に互いに位相をずらした正弦波縞パターン光投影し、モアレを含む画像から合成された位相値を求める方法（干渉縞投影撮像）、線状のレーザ光によって被測定対象を複数回走査／撮像し、基線長、走査角度、光入射角度で一意に定まる三角形に基づき、測定点までの距離を求める方法（光切断法）、被測定対象に照射したレーザパルスの発光タイミングから反射光を検出するまでの時間を計測し、光速Ｃに基づいて被測定対象までの距離を求める方法（ＴＯＦ）等が知られている。

例えば、撮像空間をメッシュ状に分割した各交点について上述の各方法を用いて三次元測距を行い、一方で測距と略同一タイミングで取得した画像に対してパッケージの頂点座標を指定することで、メッシュ交点座標を用いた補間を行って各頂点座標を計算することができる。もっとも、ステレオ法と基準ラベル法以外の測距方法では、頂点座標の指定と実際の測距が異なるタイミングで行われるため、測定精度の観点ではステレオ法や基準ラベル法を用いるのが望ましい。ここに汎用性の観点を加えると、基準ラベルが不要なステレオ法を用いるのが更に望ましい。

以上、本発明を、その好適実施形態について説明したが、当業者であれば容易に理解できるように、本発明はこのような実施形態により限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。また、被写体をパッケージとして、４つの特徴点を求める例を示したが、ユーザが被写体の任意の二点間の距離を測る場合にも適用できるのは言うまでもない。また、上記実施形態に示した構成要素は必ずしも全てが必須なものではなく、本発明の趣旨を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係るサイズ測定装置は、簡易な構成でパッケージサイズを高精度に測定することが可能であることから、運送業等の物流管理で用いるハンディターミナル等に好適に適用することができる。

１ サイズ測定装置
４ カメラ
６ 画像処理部
７ 表示部
７ａ タッチパネル
９ 全体制御部
１０ 入力部
１２ サイズ測定端末
１３ 制御装置
２０ 撮像素子
２１ 結像光学系
Ｏｂ パッケージ

Claims (11)

1. 撮像された画像から被写体のサイズを測定するサイズ測定装置であって、
   被写体を撮像する撮像部と、
   前記撮像部で撮像された画像データを表示する表示部と、
   ユーザからの指示を入力する入力部と、
   前記表示部の表示された画像データに対して前記入力部から位置が指定されると、当該指定位置を含む周辺領域を設定する領域設定部と、
   前記領域設定部で設定された前記周辺領域において、測定対象の座標となる特徴点を決定する特徴点決定部と、を有し、
   前記撮像部は被写体として直方体のパッケージを撮像し、前記表示部の表示された画像に対して前記入力部から前記パッケージの３辺が集まる頂点と当該頂点に集まる３辺の該頂点とは相反する側の各端点との４点が測定対象位置として指定された場合、前記領域設定部は前記４点の指定位置に対してそれぞれ前記周辺領域を設定し、前記特徴点決定部は各前記周辺領域において特徴点を決定し、
   前記４点の指定位置に対して設定された４つの前記周辺領域のいずれかで特徴点が検出されなかった場合には、前記領域設定部は、前記４つの周辺領域の位置関係に基づき、ユーザが指定しなかった位置を包含する他の周辺領域を推定し、前記特徴点決定部は前記推定された周辺領域において特徴点を求めることを特徴とするサイズ測定装置。
2. 撮像された画像から被写体のサイズを測定するサイズ測定装置であって、
   被写体を撮像する撮像部と、
   前記撮像部で撮像された画像データを表示する表示部と、
   ユーザからの指示を入力する入力部と、
   前記表示部の表示された画像データに対して前記入力部から位置が指定されると、当該指定位置を含む周辺領域を設定する領域設定部と、
   前記領域設定部で設定された前記周辺領域において、測定対象の座標となる特徴点を決定する特徴点決定部と、を有し、
   前記撮像部は被写体として直方体のパッケージを撮像し、前記表示部の表示された画像に対して前記入力部から前記パッケージの３辺が集まる頂点と当該頂点に集まる３辺の該頂点とは相反する側の各端点との４点が測定対象位置として指定された場合、前記領域設定部は前記４点の指定位置に対してそれぞれ前記周辺領域を設定し、前記特徴点決定部は各前記周辺領域において特徴点を決定し、
   前記４つの周辺領域のいずれかで特徴点が検出されなかった場合には、前記特徴点決定部は、前記特徴点が検出されなかった周辺領域と、これに隣接する少なくとも二つの他の周辺領域との間の空間において、少なくとも二つの辺を抽出し、抽出された前記二つの辺の交点又は最近接点を、前記特徴点が検出されなかった周辺領域に対応する特徴点とみなすことを特徴とするサイズ測定装置。
3. 少なくとも二つの前記周辺領域において特徴点が決定された場合、当該二つの特徴点間の距離を前記撮像された画像データに基づいて算出する測定部を有する請求項１または請求項２に記載のサイズ測定装置。
4. 前記領域設定部で設定された前記周辺領域は前記表示部に表示される請求項１または請求項２に記載のサイズ測定装置。
5. 前記領域設定部で設定される前記周辺領域は円形である請求項１または請求項２に記載のサイズ測定装置。
6. 前記領域設定部で設定される前記周辺領域は矩形である請求項１または請求項２に記載のサイズ測定装置。
7. 前記撮像部は、被写体を異なる位置から同時に撮影するために所定の間隔で並べて配置された第１のカメラと第２のカメラを有し、前記測定部は前記第１及び第２のカメラにおける視差情報に基づいて演算処理を行い前記特徴点間の距離を算出する請求項３に記載のサイズ測定装置。
8. 前記入力部と前記表示部はタッチパネルにより構成される請求項１または請求項２に記載のサイズ測定装置。
9. 前記４つの特徴点が決定された場合、前記４つの特徴点の位置に基づいて前記パッケージの辺の長さを算出する測定部を有する請求項１または請求項２に記載のサイズ測定装置。
10. 撮像された画像から被写体のサイズを測定するサイズ測定方法であって、
    被写体を撮像するステップと、
    前記撮像された画像データを表示するステップと、
    前記表示された画像データに対してユーザより位置が指定されると、当該指定位置を含む周辺領域を設定するステップと、
    前記周辺領域において、測定対象の座標となる特徴点を決定するステップと、を有し、
    前記撮像するステップでは被写体として直方体のパッケージを撮像し、前記表示するステップで表示された画像に対してユーザから前記パッケージの３辺が集まる頂点と当該頂点に集まる３辺の該頂点とは相反する側の各端点との４点が測定対象位置として指定された場合、前記周辺領域を設定するステップでは前記４点の指定位置に対してそれぞれ前記周辺領域を設定し、前記特徴点を決定するステップでは各前記周辺領域において特徴点を決定し、
    前記４点の指定位置に対して設定された４つの前記周辺領域のいずれかで特徴点が検出されなかった場合には、前記周辺領域を設定するステップでは、前記４つの周辺領域の位置関係に基づき、ユーザが指定しなかった位置を包含する他の周辺領域を推定し、前記特徴点を決定するステップでは前記推定された周辺領域において特徴点を求めることを特徴とするサイズ測定方法。
11. 撮像された画像から被写体のサイズを測定するサイズ測定方法であって、
    被写体を撮像するステップと、
    前記撮像された画像データを表示するステップと、
    前記表示された画像データに対してユーザより位置が指定されると、当該指定位置を含む周辺領域を設定するステップと、
    前記周辺領域において、測定対象の座標となる特徴点を決定するステップと、を有し、
    前記撮像するステップでは被写体として直方体のパッケージを撮像し、前記表示するステップで表示された画像に対してユーザから前記パッケージの３辺が集まる頂点と当該頂点に集まる３辺の該頂点とは相反する側の各端点との４点が測定対象位置として指定された場合、前記周辺領域を設定するステップでは前記４点の指定位置に対してそれぞれ前記周辺領域を設定し、前記特徴点を決定するステップでは各前記周辺領域において特徴点を決定し、
    前記４つの周辺領域のいずれかで特徴点が検出されなかった場合には、前記特徴点を決定するステップでは、前記特徴点が検出されなかった周辺領域と、これに隣接する少なくとも二つの他の周辺領域との間の空間において、少なくとも二つの辺を抽出し、抽出された前記二つの辺の交点又は最近接点を、前記特徴点が検出されなかった周辺領域に対応する特徴点とみなすことを特徴とするサイズ測定方法。

Images