JP6325902B2 - 寸法計測方法、カメラ付き電子機器、および、カメラ付き電子機器用プログラム - Google Patents

Description

本発明は、デジタルカメラ、携帯電話、携帯端末等のカメラ付き電子機器、およびこれらカメラ付き電子機器用のアプリケーションプログラムに関するものである。

近年、デジタルカメラやカメラ付き携帯機器等の普及に伴って、様々な被写体を手軽に撮影し記録することが容易になっている。また、いわゆるスマートフォンでは、プログラムをダウンロードすることによって、様々なアプリケーションを実行することが可能になっている。

また、趣味や仕事の場において、被写体を単に撮影し記録するだけでなく、その被写体の寸法についてもその場で知りたい場合がある。例えば釣りの世界では、釣り上げた魚についてその寸法を計測することがあるが、このような場合、つり上げた魚をカメラで撮影するとともにその寸法がその場で分かれば、非常に便利である。

特許文献１では、画像を撮影したその場で、被写体の実寸法を手軽に知ることができるカメラ付き電子機器について開示している。カメラ付き電子機器は、ディスプレイに表示された撮影画像において、マーカー画像のサイズを検出し、被写体画像のサイズを検出する。マーカーの実寸法と、検出したマーカー画像のサイズと、検出した被写体画像のサイズとを基にして、被写体の実寸法を算出し、算出した実寸法をディスプレイに表示する。

国際公開第２０１３／０９９２７１号

特許文献１では、魚などの被写体と一緒に小さなマーカーを並べて、カメラ付き電子機器によって画像を撮像する。このため、撮像する環境や撮影に使用する機種によっては、マーカー画像を正確に認識することが困難な場合ある。例えば、マーカー画像が鮮明でない場合には、マーカー画像のサイズが正確には得られない。また、被写体とマーカーを置く場所が平坦でない場合には、マーカー画像の歪みによって、被写体の寸法が精度良く得られない可能性もある。

本発明は、撮影方法や使用機種に影響されることなく、かつ、簡単に、正確な被写体の実寸法を測定できる、寸法計測方法、カメラ付き電子機器、および、カメラ付き電子機器用プログラムを提供することを目的とする。

本発明の一態様では、カメラおよびディスプレイを少なくとも有する電子機器によって、被写体の寸法計測動作を実行する寸法計測方法は、長さがそれぞれ既知の複数の矩形が並ぶ長尺の帯からなり、隣り合う前記矩形同士は明度が異なっているマーカーを用いるものであり、前記電子機器が、前記ディスプレイに表示された、サイズ計測方向に延びる前記マーカーと共に前記被写体が映った撮影画像において、被写体画像のサイズを検出する第１ステップと、前記電子機器が、前記撮影画像において、画像認識処理によって、前記被写体画像のサイズ計測方向における範囲に対応する、マーカー画像における矩形を特定する第２ステップと、前記電子機器が、前記第１ステップで検出した前記被写体画像のサイズと、前記第２ステップで特定した矩形の全体の画像サイズと、当該矩形の長さの和とを基にして、前記被写体の実寸法を算出し、算出した前記被写体の実寸法を前記ディスプレイに表示する第３ステップとを備えている。そして、前記第２ステップにおいて、前記マーカー画像に認識できない矩形があるとき、認識できた矩形を始点として、前記サイズ計測方向において矩形同士の境界となるエッジを探索し、探索により検出されたエッジから、当該エッジを一辺とする新たな矩形を、仮想的に認識する。

これにより、ユーザは、長尺の帯からなるマーカーとともに被写体を撮影するだけで、撮影画像を表示したディスプレイに被写体の実寸法が表示されるので、被写体の実寸法を容易に知ることができる。さらに、被写体画像の範囲全体にわたってマーカー画像と対比した形で、被写体の実寸法を計測することができるので、誤差が少なくなり、精度の高い寸法計測が可能になる。

上述した態様の寸法計測方法を実行する電子機器、および、上述した態様の寸法計測方法を電子機器に実行させるためのプログラムも、本発明に含まれる。

本発明によると、カメラ付き電子機器によって被写体を撮影したその場で、被写体の実寸法を手軽に知ることができ、かつ、精度の高い寸法計測が可能になる。

実施形態に係る寸法計測用マーカーの外観図 （ａ）〜（ｄ）は図１のマーカーを用いた寸法計測の例 魚画像が歪んで表示された例 （ａ）〜（ｅ）は実施形態に係る画像処理アルゴリズムの説明図 （ａ），（ｂ）は寸法計測用マーカーの他の例 寸法計測用マーカーの他の例

以下、本発明の実施形態について図面を参照して詳細に説明する。

ここでは、釣りの現場において、ユーザが、釣り上げた魚をスマートフォンで撮影する場合を例にとって説明を行う。すなわち、被写体の一例として魚を用いて説明を行うが、本発明はこれに限定されるものではない。また、本発明が適用可能な機器は、スマートフォンに限られるものではなく、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話等、様々なカメラ付き電子機器が想定される。

また、本発明の機能は、カメラ付き電子機器に予め搭載していてもよいし、あるいは、例えばスマートフォンのアプリのように、プログラムをカメラ付き電子機器にダウンロードし、カメラ付き電子機器に含まれたコンピュータに当該プログラムを実行させることによって、本発明の機能を実現することも可能である。

（実施の形態）
図１は本実施形態に係る寸法計測用マーカーの外観を示す図である。本実施形態では、図１に示すような長尺の帯からなるメジャー型のマーカー１０を用いる。マーカー１０は、帯の上に、白色の矩形（以下適宜、白マスという）１１と黒色の矩形（以下適宜、黒マスという）１２とが交互に並んでいる。白マス１１は長さが互いに同一であり、また、黒マス１１も長さが互いに同一である。そして、白マス１１と黒マス１２の長さも同一である。すなわち、図１のマーカー１０では、同一長さのマスが白黒交互に並んでいる。

図１のようなメジャー型マーカー１０を用いて寸法計測を行う動作例について、図２を用いて説明する。

ユーザはまず、釣り上げた魚１をマーカー１０と一緒にスマートフォン２で撮影する（図２（ａ））。このとき、マーカー１０は、魚１の実寸法を計るサイズ計測方向に延びるように置いておく。スマートフォン２は、ディスプレイの一例としてのタッチパネル３を有している。

スマートフォン２は、例えば撮影後に、あるいはユーザの操作を受けて、魚１とマーカー１０が共に映った撮影画像Ｐ１をタッチパネル３に表示する（図２（ｂ））。撮影画像Ｐ１は被写体画像としての魚画像１Ａとマーカー画像１０Ａとを含んでいる。

次に、スマートフォン２は、撮影画像Ｐ１において、魚画像１Ａのサイズを検出する。検出するのは魚画像１Ａの頭の先から尾の先までのサイズである。ここでは、魚画像１Ａの範囲をユーザに特定させて、このユーザの操作を受けてサイズ検出を行う。例えば、スマートフォン２は、タッチパネル３の左の方に計測基準線ａ１を表示し、また計測ラインａ２を表示する。ユーザは、タッチパネル３にタッチして、魚画像１Ａを、頭の先が計測基準線ａ１に一致するように移動させる（図２（ｃ））。その後、計測ラインａ２を動かして、魚画像１Ａの尾の先に合わせる。ユーザの操作が完了すると、スマートフォン２は計測基準線ａ１および計測ラインａ２の位置に基づいて、魚画像１Ａのサイズを検出する（図４（ｄ）におけるＢピクセル）。

そして、スマートフォン２は、画像認識処理によって、魚画像１Ａの範囲に対応する、マーカー画像１０Ａにおける矩形を特定する。図２（ｃ）の例では、計測基準線ａ１と計測ラインａ２との間に、４個の白マス１１と４個の黒マス１２とが特定される。そして、特定した白マス１１および黒マス１２全体の画像サイズを検出する（図４（ｄ）におけるＡピクセル）。

そして、スマートフォン２は、検出した魚画像１Ａのサイズと、マーカー画像１０Ａにおいて特定された白マス１１および黒マス１２全体の画像サイズと、これら白マス１１および黒マス１２の長さの和とを基にして、魚１の実寸法を算出する。算出するのは魚１の頭の先から尾の先までの実寸法である。スマートフォン２は、算出した実寸法ａ３をタッチパネル３に表示する（図２（ｃ））。これにより、ユーザは撮影した魚１の実寸法を知ることができる。

なお、この実寸法の算出は簡単な比率計算によって行うことができる。すなわち図２（ｄ）に示すように、白マス１１および黒マス１２の１個当たりの長さをＸｍｍ、特定された白マス１１および黒マス１２の個数をｎ、特定された白マス１１および黒マス１２全体の画素数をＡピクセル、魚画像１Ａの頭の先から尾の先までのサイズをＢピクセルとすると、魚１の実寸法Ｘｍｍは、
Ｘ＝（ｎ・Ｎ）・Ｂ／Ａ
で求められる。例えば、Ｘ＝３０（ｍｍ）、ｎ＝８、Ａ＝４６２（ピクセル）、Ｂ＝５００（ピクセル）とすると、Ｘ＝２６０（ｍｍ）となる。この算出方法は、魚画像１Ａの範囲におけるマーカー画像１０Ａの矩形の個数（整数）を数えてその長さを求め、一部のみが含まれた矩形の長さについては矩形１個当たりの長さを基準として算出していることに相当する。

このようにメジャー型のマーカー１０を用いて寸法計測を行うことによって、魚画像１Ａの範囲全体にわたってマーカー画像１０Ａと対比した形で、魚の実寸法を計測することができるので、誤差が少なくなり、精度の高い寸法計測が可能になる。

また、例えばスマートフォン２のワイド画面表示のように、撮影画像の一部の領域が引き延ばされて表示される場合がある。例えば図３の例では、画面の両サイドの領域Ｗ１，Ｗ２において画像が引き伸ばされており、これにより、魚画像１Ａが歪んで表示されている。図３では、本来の画像を破線で示している。図３のような場合であっても、魚画像１Ａの歪みと同様にマーカー画像１０Ａも引き延ばされるため、上述のように、魚画像１Ａの範囲に対応する白マス１１や黒マス１２を特定して魚１の実寸法を算出することによって、寸法計測における誤差を抑制することができる。同様に、撮影時の角度やカメラレンズの歪みなどに起因して撮像画像が歪んだ場合であっても、魚画像１Ａと同様にマーカー画像１０Ａも歪むため、寸法計測のための補正が可能になる。

なお、上の例では、ユーザは、魚画像１Ａや計測ラインａ２の移動について、タッチパネル３を操作するものとしたが、これに限られるものではなく、例えば操作ボタンによって操作するようにしてもよい。また、魚画像１Ａの範囲を、画像認識処理技術によって特定するようにしてもよい。

さらに、本実施形態では、マーカー画像１０Ａの一部の矩形が、例えば、撮影環境などの影響によって認識できない場合であっても、画像処理アルゴリズムによって対応することが可能である。これについて、図４を用いて説明する。

図４（ａ）に示すような魚画像１Ａおよびマーカー画像１０Ａが得られたとする。ところが、計測基準線ａ１から計測ラインａ２までの範囲において、マーカー画像１０Ａのうちの一部の矩形が何らかの理由により認識できなかったとする。この場合、図４（ｂ）に示すように、認識できた黒マス１３を始点として、マーカー画像１０Ａが延びる方向、言い換えると魚画像１Ａのサイズを計測する方向において、矩形同士の境界となるエッジを探索する。例えば、マーカー画像１０Ａの幅の範囲内で、かつ、黒マス１３から矩形１個当たりの長さに相当するＮｍｍのあたりの領域ＡＲ１について、集中的にエッジを探索する。エッジを集中的に探索する場合には、例えばエッジ検出の閾値を下げればよい。

図４（ｃ）に示すように、探索の結果、エッジ１４が検出されたとする。すると、図４（ｄ）に示すように、エッジ１４から、エッジ１４を一辺とする新たな黒マス１５を仮想的に認識する。そして、認識した新たな黒マス１５を始点として、上と同様にして、矩形同士の境界となるエッジ１６を新たに探索する。このような処理を繰り返し行うことによって、マーカー画像１０Ａを復元していく。

そして、図４（ｅ）に示すように、マーカー画像１０Ａの復元が完了すると、上述したような算出計算によって魚の実寸法を算出する。

なお、上の説明では、黒マスを順に復元していくものとしたが、これに限るものではなく、白マスを順に復元していってもよいし、黒マスと白マスの両方について、復元していってもかまわない。

＜メジャー型マーカーの他の例＞
上述の実施形態では、白マス１１と黒マス１２の長さは同一であるものとしたが、これに限られるものではない。例えば、図５（ａ）のように、白マス１１と黒マス１２の長さが異なっていてもかまわない。この場合は、魚画像１Ａの範囲において特定された矩形全体の実長を求める際に、白マス１１の長さとその個数の積と、黒マス１２の長さとその個数の積とを加えればよい。また、図５（ｂ）のように、黒マス１２を極端に短くしてもよい。この場合例えば、黒マス１２の長さが無視できる程度に短い場合には、魚画像１Ａの範囲において特定された矩形全体の実長は、白マス１１の長さとその個数の積とすればよい。なお、図５の例において、白マス１１と黒マス１２とが入れ替わってもかまわない。

また、上述の実施形態では、マーカー１０の帯上には、第１矩形としての白マス１１と第２矩形としての黒マス１２とが交互に並んでいるものとしたが、これに限られるものではない。例えば、白色の代わりに薄く明るい色例えば黄色を有する第１矩形と、黒色の代わりに濃く暗い色例えば紺色を有する第２矩形とが、交互に並んでいてもかまわない。すなわち、明度が異なっており、画像認識処理によってその境界が検出できるものであれば、どのような色を用いてもよい。

さらに、２色の矩形が交互に並んでいるものに限られるものではない。例えば、３色以上の矩形が並んでいてもかまわない。すなわち、矩形同士の境界が画像認識処理によって認識できるように、隣り合う矩形同士は明度が異なっていればよい。また、矩形同士は必ずしも同じ長さである必要はなく、長さがそれぞれ既知であればよい。すなわち、各矩形の長さが既知であり、かつ、矩形同士の境界が認識できれば、本実施形態を応用して寸法計測を実現することは可能である。例えば、３種類の異なる長さの矩形が規則的に配置されており、その色はランダムであるようなメジャー型マーカーであっても、本実施形態を応用して寸法を計測することは可能である。

また、図６に示すように、矩形の認識精度を高めるためには、矩形の幅方向における端部に縁をつけるのが好ましい。これにより、背景がどのような色であっても、マーカーを正しく自動認識することが可能になる。図６の例では、白マス１１の幅方向における両端に、黒色の縁１１ａ，１１ｂが付されている。また、黒マス１２の幅方向における両端に、白色の縁１２ａ，１２ｂが付されている。これにより、背景が黒っぽい色の場合であっても、あるいは、白っぽい色の場合であっても、各矩形を精度良く画像認識することが可能である。なお、縁の色はここで示したものに限られるものではなく、縁を付す矩形と明度が異なるものであればよい。また、必ずしも両端に付す必要はなく、いずれか一方の端に付してもよい。また、マーカーの全ての矩形に縁を付す必要は必ずしもなく、その一部にのみ付してもかまわない。

なお、上述の実施形態では魚を被写体の一例としたが、本発明はこれに限られるものではない。例えば、学術調査やマーケティング調査、あるいは事件の捜査等の様々な用途において、様々な被写体を対象にして本発明を利用することができる。また、上述の実施形態では、魚の頭の先から尾の先までの寸法を測定するものとしたが、算出する実寸法はこれに限られるものではなく、被写体に応じて例えば高さ、幅、長さ等を算出することができる。

本発明では、被写体の画像撮影・記録と同時にその寸法を手軽に計測することが可能となるので、例えば、釣果の登録や順位付け等のような趣味の分野や、学術調査、ビジネスの分野等で有用である。

１ 魚（被写体）
１Ａ 魚画像（被写体画像）
２ スマートフォン（カメラ付き電子機器）
３ タッチパネル（ディスプレイ）
１０ マーカー
１０Ａ マーカー画像
１１ 白マス（第１矩形）
１１ａ，１１ｂ 縁
１２ 黒マス（第２矩形）
１２ａ，１２ｂ 縁

Claims (3)

1. カメラおよびディスプレイを少なくとも有する電子機器によって、被写体の寸法計測動作を実行する寸法計測方法であって、
   長さがそれぞれ既知の複数の矩形が並ぶ長尺の帯からなり、隣り合う前記矩形同士は明度が異なっているマーカーを用いるものであり、
   前記電子機器が、前記ディスプレイに表示された、サイズ計測方向に延びる前記マーカーと共に前記被写体が映った撮影画像において、被写体画像のサイズを検出する第１ステップと、
   前記電子機器が、前記撮影画像において、画像認識処理によって、前記被写体画像のサイズ計測方向における範囲に対応する、マーカー画像における矩形を特定する第２ステップと、
   前記電子機器が、前記第１ステップで検出した前記被写体画像のサイズと、前記第２ステップで特定した矩形の全体の画像サイズと、当該矩形の長さの和とを基にして、前記被写体の実寸法を算出し、算出した前記被写体の実寸法を前記ディスプレイに表示する第３ステップとを備え、
   前記第２ステップにおいて、
   前記マーカー画像に認識できない矩形があるとき、認識できた矩形を始点として、前記サイズ計測方向において矩形同士の境界となるエッジを探索し、
   探索により検出されたエッジから、当該エッジを一辺とする新たな矩形を、仮想的に認識する
   ことを特徴とする寸法計測方法。
2. カメラおよびディスプレイを少なくとも有する電子機器であって、
   前記電子機器が、前記ディスプレイに表示された、長さがそれぞれ既知の複数の矩形が並ぶ長尺の帯からなり、隣り合う前記矩形同士は明度が異なっており、サイズ計測方向に延びるマーカーと共に被写体が映った撮影画像において、被写体画像のサイズを検出する第１ステップと、
   前記電子機器が、前記撮影画像において、画像認識処理によって、前記被写体画像のサイズ計測方向における範囲に対応する、マーカー画像における矩形を特定する第２ステップと、
   前記電子機器が、前記第１ステップで検出した前記被写体画像のサイズと、前記第２ステップで特定した矩形の全体の画像サイズと、当該矩形の長さの和とを基にして、前記被写体の実寸法を算出し、算出した前記被写体の実寸法を前記ディスプレイに表示する第３ステップとを実行可能に構成されており、
   前記第２ステップにおいて、前記電子機器が、
   前記マーカー画像に認識できない矩形があるとき、認識できた矩形を始点として、前記サイズ計測方向において矩形同士の境界となるエッジを探索し、
   探索により検出されたエッジから、当該エッジを一辺とする新たな矩形を、仮想的に認識する
   ことを特徴とする電子機器。
3. 請求項１記載の寸法計測方法を、前記電子機器に実行させるためのプログラム。

Images