JP7416231B2 - 設置支援装置、設置支援方法、およびプログラム - Google Patents

設置支援装置、設置支援方法、およびプログラム Download PDF

Info

Publication number
JP7416231B2
JP7416231B2 JP2022524787A JP2022524787A JP7416231B2 JP 7416231 B2 JP7416231 B2 JP 7416231B2 JP 2022524787 A JP2022524787 A JP 2022524787A JP 2022524787 A JP2022524787 A JP 2022524787A JP 7416231 B2 JP7416231 B2 JP 7416231B2
Authority
JP
Japan
Prior art keywords
image
installation support
imaging device
imaging
support device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022524787A
Other languages
English (en)
Other versions
JPWO2021234890A1 (ja
JPWO2021234890A5 (ja
Inventor
克 菊池
壮馬 白石
悠 鍋藤
貴美 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021234890A1 publication Critical patent/JPWO2021234890A1/ja
Publication of JPWO2021234890A5 publication Critical patent/JPWO2021234890A5/ja
Application granted granted Critical
Publication of JP7416231B2 publication Critical patent/JP7416231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、設置支援装置、設置支援方法、およびプログラムに関する。
画像を用いて商品などの物品を特定することは、様々な場所で行われている。店頭に陳列されている商品を特定するシステムの一例が特許文献1に記載されている。このシステムでは、陳列棚を撮影した画像に対して、商品の標本画像をもとに画像認識技術を用いている。商品パッケージの表面が光を反射する場合、店舗内の照明や外光などが、撮影装置との位置関係によって商品の表面に写り込み、本来の画像特徴量が得られないことから認識精度の低下に影響を及ぼす要因となる。
特許文献1には、光の写り込みの課題を解決するために、商品と撮影装置の相対的な位置は変更せずに、商品と照明などの光源との相対的な位置を変更して、商品を複数回撮影し、それぞれの位置で撮影した画像情報を、それぞれ映り込みのない部分を合成して標本画像情報とすることが記載されている。
また、特許文献2には、立体的な対象物の3次元形状を計測する際に問題となる画像中に観測される輝度値の変動領域を抽出することで対象物のオクルージョン領域を判別する画像処理方法が記載されている。特許文献2では、2つのカメラを対象物に向かって異なる方向に傾斜して配置し、2つの照明装置も対象物に向かって異なる方向に傾斜して配置されている。そして、2つの照明装置をオンオフして対象物への照射を変えて、2つカメラで対象物を撮影して得られる複数の画像を用いて輝度値の変動領域を抽出している。
特開2019-160327号公報 特開2011-95131号公報
本発明者は、照明とカメラが一体となったユニットを2つ組み合わせて設置し、2つのカメラで撮影された画像を用いて3次元空間内の物体を特定することを検討した。この場合、2つのユニットの設置位置を合わせる必要があり、その調整作業には手間かかる。
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、照明とカメラが一体となったユニットを2つ組み合わせて設置する際の調整作業を容易にすることにある。
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第一の側面は、設置支援装置に関する。
第一の側面に係る設置支援装置は、
平面視において互いに対向して配置される第1撮像装置および第2撮像装置の、前記第1撮像装置から第1画像を取得する取得手段と、
前記第1画像を処理することにより、前記第2撮像装置の少なくとも一部の、当該第1画像内の位置を検出する検出手段と、
前記第2撮像装置の前記位置が基準を満たしているか否かを判定する判定手段と、
前記判定手段による判定結果を出力させる出力処理手段と、を有する。
第二の側面は、少なくとも1つのコンピュータにより実行される設置支援方法に関する。
第二の側面に係る設置支援方法は、
平面視において互いに対向して配置される第1撮像装置および第2撮像装置の、前記第1撮像装置から第1画像を取得し、
前記第1画像を処理することにより、前記第2撮像装置の少なくとも一部の、当該第1画像内の位置を検出し、
前記第2撮像装置の前記位置が基準を満たしているか否かを判定し、
当該判定結果を出力させる、ことを含む。
なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、設置支援装置上で、その設置支援方法を実施させるコンピュータプログラムコードを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
上記各側面によれば、照明とカメラが一体となったユニットを2つ組み合わせて設置する際の調整作業を容易にすることができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本発明の実施の形態に係る設置支援装置の使用環境を示す図である。 設置支援装置を用いて設置調整される撮像装置を説明するための図である。 撮像装置を構成する撮像ユニットを説明するための図である。 撮像ユニットの設置時の位置のずれを説明するための図である。 実施形態の設置支援装置の機能構成の一例を示すブロック図である。 各実施形態の設置支援装置を実現するコンピュータのハードウェア構成を例示するブロック図である。 実施形態の設置支援装置の動作例を示すフローチャートである。 実施形態の設置支援装置の機能構成の一例を示すブロック図である。 実施形態の設置支援装置の動作の一例を示すフローチャートである。 実施形態の設置支援装置の機能構成の一例を示すブロック図である。 実施形態の設置支援装置の動作の一例を示すフローチャートである。 表示処理部により表示される画面の一例を示す図である。 表示処理部により表示される画面の他の例を示す図である。 実施形態の設置支援装置の動作例を示すフローチャートである。 操作端末に判定結果を出力したときの画面の表示例を示す図である。 操作端末に表示される、2つの撮像ユニットの画像を含む画面の表示例を示す図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと(能動的な取得)、および、自装置に他の装置から出力されるデータまたは情報を入力すること(受動的な取得)の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、および、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信(または、送信、プッシュ通知等)される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
(第1実施形態)
<概要>
図1は、本発明の実施の形態に係る設置支援装置100の使用環境を示す図である。図2は、設置支援装置100を用いて設置調整される撮像装置200を説明するための図である。図3は、撮像装置200を構成する撮像ユニット202を説明するための図である。
物品棚40は、例えば店舗や倉庫に配置されている什器であり、少なくとも一つの棚を有している。棚の上には物品が載置される。
撮像装置200は、物品棚40の棚およびその前方の少なくとも一方を撮影する。図2に示す例において、撮像装置200は物品棚40の棚およびその前方の双方を撮影する。撮像装置200は、物体認識装置(不図示)に接続され、撮像装置200が生成した画像を処理することにより、物品棚40に載置された物品、または物品棚40から取り出された物品を特定する。
一例として、物品棚40が店舗の陳列棚であり、物品が商品である。この例において、物体認識装置は、撮像装置200が生成した画像を処理することにより、陳列棚に載置された商品、または陳列棚から取り出された商品を特定できる。そして、特定された商品を決済処理の対象としてもよい。
撮像装置200は2つの撮像ユニット202を有している。2つの撮像ユニット202は、いずれも照明部222およびカメラ212を有している。一方の少なくともカメラ212を含む撮像ユニット202は第1撮像装置(第1撮像ユニット202aまたはカメラ212aとも呼ぶ)の一例であり、他方の少なくともカメラ212を含む撮像ユニット202は第2撮像装置(第2撮像ユニット202bまたはカメラ212bとも呼ぶ)の一例である。カメラ212は、撮像部筐体210内に収容され、照明部222は照明部筐体220に収容されている。
この2つの撮像ユニット202は、平面視において、互いに対向して配置される。設置支援装置100は、この2つの撮像ユニット202を組み合わせて設置する際に、作業者10による、2つの撮像ユニット202の水平方向、鉛直方向、ねじれ方向、およびこれらの組み合わせなどに対するズレの修正作業、およびカメラ212の撮影方向の調整作業などを支援する。
作業者10は、撮像装置200を設置する現場において操作端末60を使用する。操作端末60は、通信ネットワーク3を介して設置支援装置100に接続される。操作端末60は、例えば、タブレット端末、スマートフォン、ノート型パーソナルコンピュータなどの携帯端末とすることができる。図2の例では、操作端末60は、物品棚40の上部に配置されているが、これに限定されない。操作端末60は作業者10が手に持って操作してもよいし、他の場所に置いて使用されてもよい。
操作端末60は、後述するコンピュータ1000により実現され、入出力装置として、表示部、操作受付部、音声入出力部、振動部などを有してよい。表示部は、例えば、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ、LED(Light Emitting Diode)表示器などである。操作受付部は、タッチパネル、キーボード、操作キー、操作ボタン、スイッチ、ジョグダイヤル、タッチパッドなどである。音声入出力部は、マイクロフォン、およびスピーカである。振動部は、バイブレータである。
設置支援装置100は、さらに画像処理装置70と通信ネットワーク3を介して接続される。ただし、画像処理装置70は、設置支援装置100と直接接続されてもよい。あるいは、画像処理装置70は、設置支援装置100とは別体の装置であってもよいし、設置支援装置100の内部に含まれる装置であってもよいし、これらの組み合わせであってもよい。
また、画像処理装置70は、物体認識装置における画像処理も行ってもよい。言い換えると、物体認識装置における画像処理を行う画像処理手段は、設置支援装置100の画像処理装置70を兼ねてもよい。
照明部222の光放射面は一方向に延在しており、発光部および発光部を覆うカバーとして機能する照明部筐体220を有している。照明部222は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、LED(Light Emitting Diode)などの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がLEDの場合、照明部222が延在する方向(図において上下方向)に、複数のLEDが並んでいる。
そしてカメラ212は、照明部222の一端側に設けられており、照明部222の光が放射される方向を撮像範囲としている。2つの撮像ユニット202の一方は、上側から下方向を撮影し、他方は下側から上方向を撮影するように設置される。
例えば図1および図2の左側の撮像ユニット202において、カメラ212は下方および右斜め下を撮像範囲としている。また、図1および図2の右側の撮像ユニット202において、カメラ212は上方および左斜め上を撮像範囲としている。図1において、カメラ212が下側になるように設置されている右側の撮像ユニット202を第1撮像ユニット202aとも呼ぶ。図1において、カメラ212が上側になるように設置されている左側の撮像ユニット202を第2撮像ユニット202bとも呼ぶ。第1撮像ユニット202aと第2撮像ユニット202bのカメラを区別する場合、それぞれカメラ212aおよびカメラ212bとも呼ぶ。さらに、第1撮像ユニット202aのカメラ212aにより生成される画像を第1画像と呼び、第2撮像ユニット202bのカメラ212bにより生成される画像を第2画像と呼ぶ。
カメラ212は、レンズとCCD(Charge Coupled Device)イメージセンサといった撮像素子を備える。カメラ212は、カメラ本体やレンズの向き、画角、ズーム倍率、焦点合わせ等を調整して設置される。
カメラ212により生成される画像は、リアルタイムに撮影され、設置支援装置100に送信されるのが好ましい。ただし、設置支援装置100に送信される画像は、カメラ212から直接送信されなくてもよく、所定の時間遅延した画像であってもよい。カメラ212で撮像された画像は、一旦他の記憶装置に格納され、設置支援装置100が記憶装置から逐次または所定間隔毎に読み出してもよい。さらに、設置支援装置100に送信される画像は、動画像であるのが好ましいが、所定間隔毎のフレーム画像であってもよいし、静止画であってもよい。
図2に示すように、2つの撮像ユニット202は、物品棚40の前面フレーム(または両側の側壁の前面)42に取り付けられる。この際、第1撮像ユニット202aは、一方の前面フレーム42に、カメラ212が下方に位置する向きに取り付けられ、第2撮像ユニット202bは、第1撮像ユニット202aとは逆側の前面フレーム42に、カメラ212が上方に位置する向きに取り付けられる。このため、棚が延在する方向において、一方のカメラ212、物品棚40、および他方のカメラ212は、この順に並んでいる。また、一方のカメラ212は物品棚40の棚より上に位置し、他方のカメラ212は物品棚40の棚より下に位置している。これにより、2つのカメラ212の間隔は広くなる。
そして第1撮像ユニット202aのカメラ212aは、物品棚40の開口部およびその前方を撮像範囲に含むように、そのカメラ212aの上方および斜め上方を撮像する。一方、第2撮像ユニット202bのカメラ212bは、物品棚40の開口部およびその前方を撮像範囲に含むように、下方および斜め下方を撮像する。このように2つの撮像ユニット202を用いることで、物品棚40の開口部およびその前方の全範囲を含む3次元空間を撮影することができる。このため、物体認識装置は、撮像装置200が生成した画像を処理すると、物品棚40から取り出された物品を特定することができる。
図4は、撮像ユニット202の設置時の位置のずれを説明するための図である。図では、撮像ユニット202内の照明部222のみを図示している。例えば、物品棚40の前面フレーム42の上下方向をY軸方向とし、物品棚40の棚板はXZ面に平行とする。2つの照明部222の中心軸Cは、それぞれY軸に平行に設置される。
撮像ユニット202は、例えば、物品棚40の前面フレーム42にネジ止めされるが、2つの撮像ユニット202を組み合わせて使用することから、2つの撮像ユニット202の相対位置を適切な位置に調整する必要がある。作業現場で、2つの撮像ユニット202を仮止めした後に、適切な位置になるようにずれを修正しながら調整することになる。
しかし、ずれの方向は、2つの撮像ユニット202間の距離Lのずれ、ならびに、各撮像ユニット202の水平方向(X軸および/またはZ軸方向)、垂直方向(Y軸方向)、ねじれ方向(中心軸Cを中心とした回転方向)、およびこれらの組み合わせとなる。さらに、各撮像ユニット202のカメラ212の撮影方向(例えば、光軸O)も設置時に調整するため、2つの撮像ユニット202の設置位置の調整作業には手間がかかっていた。
<機能構成例>
設置支援装置100は、このような撮像装置200の設置時の調整作業を支援する。図5は、本実施形態の設置支援装置100の機能構成の一例を示すブロック図である。設置支援装置100は、取得部102と、検出部104と、判定部106と、出力処理部108と、を有している。
取得部102は、平面視で対向する2つの撮像ユニット202のうち、第1撮像ユニット202aから第1画像を取得する。つまり、取得部102は、カメラ212が下方に位置するように設置された撮像ユニット202から第1画像を取得する。この第1画像には、第1撮像ユニット202aに対向して設置される第2撮像ユニット202bが写り込む。
検出部104は、第1画像を処理することにより、第2撮像ユニット202bの少なくとも一部の、当該第1画像内の位置を検出する。第1撮像ユニット202aにより生成された第1画像は、画像処理装置70により画像解析処理される。具体的には、画像処理装置70は、例えば、パターンマッチング処理などにより、撮像ユニット202の照明部筐体220、照明部222、撮像部筐体210およびカメラ212の画像または画像の特徴量と一致する特徴量を有する領域を第1画像内から抽出する。画像処理装置70は、第1画像内の第2撮像ユニット202bの照明部筐体220、照明部222、撮像部筐体210、およびカメラ212bのレンズのうち、少なくとも一部が含まれる領域を抽出するとともに、当該領域の第1画像内の位置を特定する。
判定部106は、第2撮像ユニット202bの位置が基準を満たしているか否かを判定する。
第2撮像ユニット202bの位置の判定基準は様々考えられ、以下に例示されるが、これらに限定されない。また、以下の複数を組み合わせてよい。
(a1)第2撮像ユニット202bの照明部222およびカメラ212bの少なくとも一部が第1画像内の所定の位置の所定の領域の中に入っている。
(a2)第2撮像ユニット202bの照明部222、カメラ212b、およびカメラ212bのレンズの各部のうち少なくとも一つの第1画像内のサイズがそれぞれに対応する所定の範囲に含まれている。
(a3)第2撮像ユニット202bの照明部222の発光から照射される光の領域が所定値以上である。例えば、光の照射方向が対向する第1撮像ユニット202aに対して正面を向いていない場合、光の領域が狭くなる。よって、光の照射方向が対向する第1撮像ユニット202aに対して正面を向くように、光の領域が所定値以上になることを基準とする。
(a4)第2撮像ユニット202bのカメラ212bのレンズが第1画像内の所定の位置の所定の領域の中に入っている。
上記の所定の領域、所定の範囲、および所定値は、例えば、各領域の実際のサイズ、2つの撮像ユニット202の間の距離、第1撮像ユニット202aのカメラ212aの画角や焦点距離、撮影画像の種類(フォーマット、サイズ、解像度)などの設定条件に基づいて算出される。これら条件は、作業者10により操作端末60の操作画面(不図示)を用いて入力できてよい。あるいは、カメラ212aの画角や焦点距離や画像の種類などの条件は、カメラ212aから取得してもよい。さらに、設置支援装置100は、作業者10により入力されたカメラ212aの画角や焦点距離や画像の種類などの条件に基づいて、カメラ212aの画角や焦点距離を制御する制御部(不図示)をさらに備えてもよい。
本実施形態の例では、第2撮像ユニット202bを先に前面フレーム42に固定し、第1撮像ユニット202aのカメラ212aの第1画像に写る第2撮像ユニット202bを見ながら第1撮像ユニット202aの設置位置を調整して前面フレーム42に固定する。ただし、第1撮像ユニット202aを先に前面フレーム42に固定し、第2撮像ユニット202bのカメラ212bの第2画像に写る第1撮像ユニット202aを見ながら第2撮像ユニット202bの設置位置を調整して前面フレーム42に固定してもよい。
さらに、第2撮像ユニット202bを先に前面フレーム42に固定し、第2撮像ユニット202bのカメラ212bの第2画像に写る第1撮像ユニット202aを見ながら第1撮像ユニット202aの設置位置を調整して前面フレーム42に固定してもよい。あるいは、第1撮像ユニット202aを先に前面フレーム42に固定し、第1撮像ユニット202aのカメラ212aの第1画像に写る第2撮像ユニット202bを見ながら第2撮像ユニット202bの設置位置を調整して前面フレーム42に固定してもよい。
さらに、撮像ユニット202の位置調整方法は、以下のいずれかが考えられる。
(b1)2つの撮像ユニット202を固定し、撮像ユニット202の位置は変えずに、カメラ212の撮影方向、図4の光軸Oなどを調整する。
(b2)2つの撮像ユニット202のうち一方を固定し、他方の撮像ユニット202の位置を変えて調整する。
この例では、検出部104は、さらに、第2撮像ユニット202bのカメラ212bの第2画像を取得し、第2画像を処理することにより、第1撮像ユニット202aの少なくとも一部の、当該第2画像内の位置を検出する。
判定部106は、第1撮像ユニット202aの位置が基準を満たしているか否かを判定する。出力処理部108は、判定部106による判定結果を出力する。
このように、2つの撮像ユニット202のうち、どちらの撮像ユニット202を先に固定し、どちらのカメラ212の画像を用いた判定結果を用いて、どちらの撮像ユニット202の設置位置の調整を行うかは、撮像装置200が設置される什器の種類や形式や什器の設置場所、撮像装置200の取り付け位置や方向、2つの撮像ユニット202の設置間隔、他の什器や機材との距離などに応じて、作業のし易さを考慮して選ぶことができる。
出力処理部108は、判定部106による判定結果を出力させる。
判定結果は、基準を満たしていることを示す情報、および基準を満たしていないことを示す情報の少なくとも一方を含む。
判定結果の出力方法は様々考えられ、以下に例示されるが、これらに限定されない。また、以下の複数を組み合わせてもよい。
(c1)操作端末60のディスプレイ62に表示させる。
例えば、基準を満たした場合は、設置完了を伝えるメッセージ、アイコンなどを表示させ、基準を満たさない場合は、調整が必要なことを伝えるメッセージ、アイコンなどを表示させる。
(c2)操作端末60のスピーカから音声またはアラームを出力させる。
例えば、基準を満たした場合は、設置完了を伝えるメッセージを音声出力、またはチャイムを出力させ、基準を満たさない場合は、調整が必要なことを伝えるメッセージを音声出力、または、アラーム音を出力させる。
(c3)操作端末60のバイブレータを鳴動させる。
例えば、基準を満たした場合は、長目の振動で1回鳴動させ、基準を満たさない場合は、短い振動を繰り返し複数回鳴動させる。
<ハードウェア構成例>
図6は、各実施形態の設置支援装置100を実現するコンピュータ1000のハードウェア構成を例示するブロック図である。設置支援装置100は、例えば、サーバコンピュータ、パーソナルコンピュータである。また、操作端末60および画像処理装置70もコンピュータ1000によって実現される。さらに、設置支援装置100の機能の一部を、操作端末60を実現するコンピュータ1000が実現してもよい。あるいは、上記したように、画像処理装置70は設置支援装置100と同じコンピュータ1000に含まれてもよい。
コンピュータ1000は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は設置支援装置100の各機能(例えば、取得部102、検出部104、判定部106、出力処理部108、後述する制御部110、表示処理部112など)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は設置支援装置100の各データおよび設定、あるいは、撮像装置200から取得した画像も記憶してもよい。
プログラムモジュールは、記録媒体に記録されてもよい。プログラムモジュールを記録する記録媒体は、非一時的な有形のコンピュータ1000が使用可能な媒体を含み、その媒体に、コンピュータ1000(プロセッサ1020)が読み取り可能なプログラムコードが埋め込まれてよい。
入出力インタフェース1050は、コンピュータ1000と各種入出力機器とを接続するためのインタフェースである。入出力インタフェース1050は、ブルートゥース(登録商標)、NFC(Near Field Communication)などの近距離無線通信を行う通信インタフェースとしても機能する。
ネットワークインタフェース1060は、コンピュータ1000を通信ネットワークに接続するためのインタフェースである。この通信ネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060が通信ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
そして、コンピュータ1000は、入出力インタフェース1050またはネットワークインタフェース1060を介して、必要な機器(例えば、操作端末60、撮像ユニット202のカメラ212、照明部222等)に接続する。
図5の設置支援装置100の各構成要素は、図6のコンピュータ1000のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各実施形態の設置支援装置100を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
操作端末60は、所定のアプリケーションを起動し、通信ネットワーク3を介して設置支援装置100と接続する。操作端末60は、アプリケーション上で設置支援装置100から出力される判定結果を受信し、ディスプレイ62に表示させたり、音声出力させたりすることができる。また、操作端末60は、当該アプリケーション上で、各撮像ユニット202のカメラ212により撮影されている画像を撮影ビュー画面としてディスプレイ62に表示させてもよい。
他の例では、操作端末60は、所定のブラウザを起動し、インターネットなどの通信ネットワーク3を介して設置支援装置100が判定結果やカメラ212の撮像画像を出力(例えば、ストリーミング配信)しているウェブページにアクセスすることで、判定結果や撮像画像を操作端末60で閲覧できてもよい。
<動作例>
図7は、本実施形態の設置支援装置100の動作例を示すフローチャートである。
まず、設置支援装置100を動作させる前に、作業者10は、物品棚40の前面フレーム42に第1撮像ユニット202aおよび第2撮像ユニット202bを取り付ける。上記したように、本実施形態では、第2撮像ユニット202bは前面フレーム42に固定され、第1撮像ユニット202aは位置調整可能に前面フレーム42に仮止めされる。
そして、作業者10は、各撮像ユニット202の電源を投入すると、照明部222を点灯するとともに、カメラ212による撮影が開始される。さらに、作業者10は、操作端末60を用いてアプリケーションを起動させる。そして、操作端末60が設置支援装置100に接続すると、図7のフローが開始される。ただし、第2撮像ユニット202bの電源は投入してもしなくてもよい。例えば、後述する第2実施形態で第2撮像ユニット202bの照明部222を用いて作業者10への通知を行う構成では、第2撮像ユニット202bの電源も投入する。さらに、後述する第4実施形態で照明の写り込みを判別する構成でも、第2撮像ユニット202bの電源を投入するのが好ましい。
まず、取得部102は、第1撮像ユニット202aから第1画像を取得する(ステップS101)。このとき、第1画像には、第2撮像ユニット202bが写っている。そして、検出部104は、第1画像を画像処理装置70に送信して画像解析処理させる(ステップS103)。そして、検出部104は、第2撮像ユニット202bの少なくとも一部の、当該第1画像内の位置を検出する(ステップS105)。そして、判定部106は、第2撮像ユニット202bの位置が基準を満たしているか否かを判定する(ステップS107)。そして、出力処理部108は、判定部106による判定結果を出力させる(ステップS109)。
また、本フローは、作業者10が設置作業をしている間、繰り返し実行されてもよいし、繰り返されなくてもよいし、両者の組み合わせでもよい。
一例では、判定処理を繰り返し実行し、初回の判定処理において基準を満たさなかった場合に、設置位置を調整した後の判定処理において基準を満たした場合、出力処理部108は初回の判定結果を更新して出力してもよい。この例では、作業者10は設置位置を調整しながら判定結果を確認することができる。あるいは、本フローは、作業者10による停止操作を受け付けることで、繰り返し実行されていた本フローを停止させてもよい。
他の例では、本フローは、作業者10による開始操作を受け付けることで開始され、開始操作毎に1回実行されてもよい。例えば、作業者10は、初回の判定結果を確認した後、第1撮像ユニット202aの設置位置を調整する。その後、再び開始操作を行うことで、フローを実行させてもよい。
本実施形態によれば、2つの撮像ユニット202のうち第1撮像ユニット202aで撮影された第1画像の、第2撮像ユニット202bの少なくとも一部の位置が基準を満たすか否かを判定した結果を出力するので、判定結果に従って撮像ユニット202の位置を調整できる。例えば、操作端末60のディスプレイ62に判定結果を表示させることができるので、作業者10は判定結果を確認して位置調整を行うことができる。
(第2実施形態)
本実施形態の設置支援装置100は、照明部222の発光状態を制御する構成を有する点以外は上記実施形態と同様である。
<機能構成例>
図8は、本実施形態の設置支援装置100の機能構成の一例を示すブロック図である。
設置支援装置100は、第1実施形態の図5の設置支援装置100と同じ、取得部102と、検出部104と、判定部106と、出力処理部108と、を備えるとともに、さらに、制御部110を備える。ただし、本実施形態の構成は、第1実施形態以外にも、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
制御部110は、判定部106による判定結果に基づいて、照明部222の発光状態を制御する。
判定結果に基づく発光状態の制御方法は様々考えられ、以下に例示されるが、これらに限定されない。また、以下の複数を組み合わせてもよい。また、制御部110は、第1撮像ユニット202aおよび第2撮像ユニット202bのうち少なくとも一方の照明部222の発光状態を制御してよい。
(d1)照明部222の発光量を変える。
例えば、基準を満たす場合、照明部222の発光量を第1所定値以上とし、基準を満たさない場合、照明部222の発光量を第1所定値より小さい第2所定値以下とする。
(d2)照明部222の発光部を複数の領域に分割し、発光位置を変えて出力する。
例えば、基準を満たす場合は、3分割した中央に位置する発光部を発光させ、基準を満たさない場合は、3分割した両端に位置する発光部を発光させる。
(d3)照明部222の発光回数または発光間隔を変える。
例えば、基準を満たす場合は1回発光させ、基準を満たさない場合は、複数回発光させる。あるいは、基準を満たす場合は、比較的長い時間少なくとも1回発光させ、基準を満たさない場合は、短いサイクルで発光を複数回繰り返す。
(d4)照明部222の発光と消灯の間隔を変える。
例えば、基準を満たす場合は、発光と消灯を一定間隔で繰り返し、基準を満たさない場合は、発光と消灯を異なる間隔で繰り返したり、それぞれ設定された間隔で発光と消灯を繰り返しもよい。
(d5)発光制御対象となる照明部222を、2つの撮像ユニット202から選択する。
例えば、基準を満たす場合は、一方の撮像ユニット202の照明部222を発光させ、基準を満たさない場合は、両方消灯する。または、基準を満たす場合は、両方の撮像ユニット202の照明部222を発光させ、基準を満たさない場合は一方または両方を消灯する。あるいは、基準を満たす場合、両方を発光または消灯させ、基準を満たさない場合、両方の撮像ユニット202の照明部222を交互に発光させる。
<動作例>
図9は、本実施形態の設置支援装置100の動作の一例を示すフローチャートである。図9のフローチャートは、図7のフローチャートのステップS101~ステップS107を含むとともに、さらに、図7のステップS109に替えてステップS201を含む。ただし、図7のステップS109も並行して実行されてもよい。
ステップS107の判定結果に応じて、制御部110は、照明部222の発光状態を制御する(ステップS201)。
第1実施形態の図7のフローと同様に、本フローは、作業者10が設置作業をしている間、繰り返し実行されてもよいし、繰り返されなくてもよいし、両者の組み合わせでもよい。
本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、作業者10は、基準を満たしていないことを、照明部222の発光状態を見て判断することができるので、操作端末60の操作が不要である。よって、設置場所から移動したり設置作業の手を止めたりせずに済み、作業をスムーズに行うことができ、作業効率が向上する。
(第3実施形態)
本実施形態の設置支援装置100は、撮像ユニット202の設置位置を示すガイドを撮影ビューに重畳して表示させる構成を有する点以外は上記実施形態と同様である。
<機能構成例>
図10は、本実施形態の設置支援装置100の機能構成の一例を示すブロック図である。
設置支援装置100は、第1実施形態の図5の設置支援装置100と同じ、取得部102と、検出部104と、判定部106と、出力処理部108と、を備えるとともに、さらに、表示処理部112を備える。ただし、本実施形態の構成は、第1実施形態以外にも、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
表示処理部112は、第1画像を表示させつつ、当該表示されている第1画像内に、基準位置を示す画像を重畳表示させる。
基準位置とは、撮像ユニット202、照明部222、およびカメラ212の少なくとも一部を含む領域および領域を示す基準となる位置である。例えば、照明部222を囲む領域、照明部222の長さ方向の中心位置、撮像ユニット202を囲む領域、およびカメラ212のレンズを囲む領域の少なくともいずれか一つである。
基準位置を示す画像は、領域を示す枠線、中心位置を示す線、位置を示す矢印などのマークやマーカであってもよいし、該当領域を色付けしたり、強調させる修飾処理を施したりすることで描画される画像であってよい。
表示処理部112による基準位置を示す画像を重畳表示させるタイミングは、以下に例示されるがこれらに限定されない。また、以下の複数を組み合わせてもよい。
(e1)第1画像を取得し、画像処理装置70により画像処理を行うことで基準位置を特定した後
(e2)上記(e1)の後、判定部106により第2撮像ユニット202bの位置が基準を満たしていないと判定された後
(e3)作業者10による基準位置を示す画像の表示要求操作を受け付けたとき
言い換えると、判定結果が基準を満たした場合にも、基準位置を示す画像を表示してもよいし、判定結果が基準を満たした場合には、基準位置を示す画像は表示しなくてもよい。
表示処理部112による基準位置を示す画像を消すタイミングは、以下に例示されるがこれらに限定されない。
(f1)判定部106により第2撮像ユニット202bの位置が基準を満たしていると判定された後
(f2)作業者10による画像を消す操作を受け付けたとき
例えば、表示処理部112は、基準位置を示す画像を表示させたり、画像を消去させたりする操作を受け付ける操作ボタンなどのGUI(Graphical User Interface)を撮影ビュー画面に表示させてもよい。作業者10による操作ボタンの押下を受け付けると、基準位置を示す画像を撮影ビュー画面に表示させたり、撮影ビュー画面から消去させたりしてもよい。
さらに、表示処理部112は、判定部106により第2撮像ユニット202bの位置が基準を満たしていると判定された場合、基準を満たしていることを示すように、表示されていた画像を変更してもよい。
例えば、表示処理部112は、判定部106により第2撮像ユニット202bの位置が基準を満たしていると判定された場合、基準位置を示す画像の色を変えたり、強調させる修飾処理の修飾方法を変更したりしてよい。さらに、上記実施形態と組み合わせ、出力処理部108により、判定部106により第2撮像ユニット202bの位置が基準を満たしたことを示す情報(つまり判定結果)を出力させてもよい。例えば、「撮像ユニット202が基準位置に入りました」などのメッセージを、操作端末60に表示させたり、音声出力させてもよい。
<動作例>
図11は、本実施形態の設置支援装置100の動作の一例を示すフローチャートである。図11のフローチャートは、図7または図9のフローチャートのステップS101~ステップS103を含むとともに、ステップS103の後にステップS301およびステップS303を含む。ただし、図7および図9のうち少なくとも一方のステップS103以降の処理も並行して実行されてもよい。
ステップS103の後、表示処理部112は、ステップS101で取得部102により取得された第1画像を操作端末60のディスプレイ62に表示させる(ステップS301)。さらに、表示処理部112は、第1画像を画像処理することにより、第1画像内の基準位置を特定し、特定された基準位置に、当該基準位置を示す画像を重畳表示させる(ステップS303)。
図12は、表示処理部112により表示される画面300の一例を示す図である。画面300は、基準位置を示すガイド枠302(図中、破線で示される)と、メッセージ表示部304と、を含む。
ガイド枠302は、基準位置となる領域、つまり、撮像ユニット202が第1画像内で収まるべき位置を示している。この図の例では、撮像ユニット202は、ガイド枠302の内側に収まっている。メッセージ表示部304には、例えば、第1画像内で第2撮像ユニット202bが基準位置となるガイド枠302内に入っていることを確認するよう作業者10に促すメッセージが表示される。上記したように、このメッセージは、第1画像内の第2撮像ユニット202bの位置が基準を満たしている場合は表示されなくてもよいし、表示されてもよい。言い換えると、このメッセージは、第1画像内の第2撮像ユニット202bの位置が基準を満たしていない場合にのみ表示されてもよいし、判定結果に関係なく表示されてもよい。
さらに、出力処理部108は、操作端末60のスピーカから、例えば、第1画像内で第2撮像ユニット202bが基準位置となるガイド枠302内に入っていることを確認するよう作業者10に促すメッセージを音声処理させてもよい。
作業者10は、画面300を見ながら、第1画像内の第2撮像ユニット202bが基準位置(ガイド枠302)に収まるように、いずれか一方の撮像ユニット202の位置を調整することができる。
図13は、表示処理部112により表示される画面310の他の例を示す図である。画面310は、図12の画面300と同じガイド枠302を含むとともに、さらに、ガイド線312と、メッセージ表示部314と、を含む。ただし、図13において、ガイド枠302は含まなくてもよい。
ガイド線312は、第1画像内の第2撮像ユニット202bまたは照明部222の長手方向の中心線が一致すべき基準位置を示している。メッセージ表示部314には、例えば、第1画像内で第2撮像ユニット202bの中心が基準位置となるガイド線312と一致していることを確認するよう作業者10に促すメッセージが表示される。
さらに、出力処理部108は、操作端末60のスピーカから、例えば、第1画像内で第2撮像ユニット202bの中心が基準位置となるガイド線312と一致していることを確認するよう作業者10に促すメッセージを音声処理させてもよい。
作業者10は、画面300を見ながら、第1画像内の第2撮像ユニット202bの中心が基準位置(ガイド線312)と一致するように、いずれか一方の撮像ユニット202の位置を調整することができる。
図12および図13のいずれの画面を表示させるかは、各画面で操作を受け付けて切り替えることができてよい。あるいは、操作端末60に表示される設定画面または操作メニューにおいて選択を受け付けてもよい。
また、本処理と並行して実行されている図7または図9の判定部106によ判定処理において、基準を満たしたと判定された場合、出力処理部108は、判定結果を出力するとともに、表示処理部112は、基準位置を示す画像の第1画像への重畳表示を消してもよい。あるいは、表示処理部112は、第1画像内に表示している基準位置を示す画像の色替え、線種変え、修飾処理の変更などを行って描画し直してもよい。
本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、第1画像内の第2撮像ユニット202bの少なくとも一部の、基準位置をガイドする画像が表示されるので、作業者10は、ガイドに従って撮像ユニット202の位置を調整することができる。
(第4実施形態)
本実施形態の設置支援装置100は、下側から撮影した画像に天井の照明などが写り込んでいることを検出して通知する構成を有する点以外は上記実施形態と同様である。前提として、本実施形態の設置支援装置100は、実際に撮像装置200を使用する環境下(例えば、照明の位置や照度等)における撮像装置200の設置時の調整作業を支援する。以下、第3実施形態の図10の機能ブロック図を用いて説明する。ただし、本実施形態の構成は、第3実施形態以外にも、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
<機能構成例>
判定部106は、下側から撮影した画像は輝度が基準以上の領域を含むか否かを判定する。
出力処理部108は、判定部106による判定結果をさらに出力する。
第1撮像ユニット202aのカメラ212aにより下側から撮影された第1画像に、天井などの照明が写り込むことがある。照明が写り込むと、その部分の画像領域が白飛びすることがあり、物体認識の精度を低下させる要因ともなるため、事前に調整が必要となる。具体的には、例えば、照明の照度や照射方向を変更したり、該当箇所の照明を消灯したり、カメラ212の画角を変更して照明の写り込みを回避したり、カメラ212のレンズにフィルタをかけたり、カメラ212の露出を調整したり(ISO(International Organization for Standardization)感度やフレームレートを設定)する必要がある。
照明の写り込みがあるか否かは、画像が、輝度が基準以上の領域を含むか否かで検出できる。輝度が基準以上の領域とは、画像内の画像のR(Red)、G(Green)、B(Blue)の輝度値がそれぞれ255に達している領域のことである。あるいは、画像内の輝度差が閾値以上ある輝度値が大きい領域であってもよい。
具体的な判定方法は様々考えられ、以下に例示されるがこれらに限定されない。また、以下を複数組み合わせてもよい。以下、照明の写り込みがあると判定する条件を示す。ただし、下記において「画像」とは、少なくとも第1画像のうち、物体認識に影響を及ぼす領域である。つまり、第1画像のうち、物体認識に影響を及ぼさない領域は除外してもよい。
(g1)画像内で照明部222を発光させたときの輝度が基準以上の領域以外に、輝度が基準以上の領域が存在している。
(g2)画像内の輝度差が閾値以上ある輝度値が大きい領域が、画像内で照明部222を発光させたときの輝度が基準以上の領域以外に存在している。
(g3)上記(g1)または(g2)で存在していた領域の画素数が所定値以上である。
上記の判定条件は、設置場所の環境に応じて適宜設定変更可能としてよい。例えば、操作端末60に表示される設定画面(不図示)において作業者10または管理者が設定できてもよい。
出力処理部108は、判定部106による判定結果として、画像に照明部222以外の照明が写り込んでいること示す情報を出力する。例えば、作業者10に画像に隣接照明が写り込んでいることを知らせるメッセージを出力してもよい。
さらに、表示処理部112は、画像に写り込んでいる照明の位置を示す情報を操作端末60のディスプレイ62に表示されている第1画像に重畳表示させてもよい。例えば、第1画像の撮影ビュー画面に照明の位置を示す画像を重畳して描画してもよい。描画される画像は、例えば、照明の位置を指し示す矢印、照明の範囲を囲む枠であってもよいし、照明の位置およびその周辺の少なくとも一方に色を付けや強調させる修飾処理(点滅など)を施すことで描画される画像であってもよい。
<動作例>
図14は、本実施形態の設置支援装置100の動作例を示すフローチャートである。図14のフローチャートは、図7のフローチャートのステップS101~ステップS109を含むとともに、さらに、ステップS401およびステップS403を含む。ただし、図9のフローチャートのステップS201をさらに含んでもよい。
まず、図7のステップS107の後、判定部106は、下側から撮影した第1画像は輝度が基準以上の領域を含むか否かを判定する(ステップS401)。そして、出力処理部108は、ステップS107およびステップS401におる判定部106による判定結果を出力する(ステップS109)。
さらに、表示処理部112は、ステップS101で取得部102により取得された第1画像を操作端末60のディスプレイ62に表示させる(ステップS403)。さらに、表示処理部112は、第1画像を画像処理することにより、第1画像内の基準位置を特定し、特定された基準位置に、当該基準位置を示す画像を重畳表示させる。
図15は、操作端末60に判定結果を出力したときの画面330の表示例を示す図である。画面330は、表示処理部112により操作端末60のディスプレイ62に表示される。画面330は、カメラ212aにより撮影された第1画像が表示される。この表示される画像は、リアルタイムに撮影されている映像の撮影ビューであってもよいし、撮影済みの静止画または動画であってもよい。
また、図15の画面330には、図11のフローチャートのステップS303で表示されるガイド枠302が表示されている。
画面330は、照明の位置を示す矢印などのアイコン332と、メッセージ表示部334と、を含む。この例では、アイコン332は、判定部106による判定の結果、写り込んでいる照明90の位置を指し示す矢印である。この矢印の画像は、第1画像に重畳して描画される。メッセージ表示部334には、照明90が写り込んでいることを知らせるメッセージが表示されている。
さらに、出力処理部108は、操作端末60のスピーカから、照明90が写り込んでいることを知らせるメッセージの音声や報知音を出力させたり、操作端末60のバイブレータを鳴動させたりしてもよい。
第2実施形態の構成と組み合わせた例では、制御部110により、判定結果に応じて、照明部222の発光状態を制御してもよい。
本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、第1画像内に写り込んでいる照明90の領域(輝度が基準以上の領域)があるか否かを判定し、その判定結果が表示される。これにより照明90の写り込みがあることを作業者10は認識できるので、撮像装置200の使用環境における対策を行うことができ、第1画像への照明90の写り込みによる画像解析処理精度の低下を防ぐことができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。例えば、表示処理部112は、2つの撮像ユニット202のカメラ212により撮像された画像の両方を含む画面320を操作端末60のディスプレイ62に表示させてもよい。
図16は、2つの撮像ユニット202のカメラ212により撮像された画像の両方を含む画面320の一例を示す図である。画面320には、第2撮像ユニット202bのカメラ212bが撮影した第2画像の表示部322と、第1撮像ユニット202aのカメラ212aが撮影した第1画像の表示部324とが並んで表示されている。画面320の各表示部には、第3実施形態で表示されるガイド枠302やガイド線312(図16には図示せず)がそれぞれ表示されてもよい。
各画像内には、人物が物体50を物品棚40から取り出している様子が写っている。2つの画像は、各撮像ユニット202から受信した画像を随時表示させてもよいし、各画像のタイムスタンプに基づいて、時間を同期させて表示させてもよい。あるいは、時間は同期せずに、それぞれ時刻情報とともにそれぞれ表示させることができてもよい。映像を、再生、停止、巻き戻し、早送りするための操作ボタン(不図示)を画面320に表示させ、作業者10の操作を受け付けて、操作に従い映像の再生動作を行ってもよい。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 平面視において互いに対向して配置される第1撮像装置および第2撮像装置の、前記第1撮像装置から第1画像を取得する取得手段と、
前記第1画像を処理することにより、前記第2撮像装置の少なくとも一部の、当該第1画像内の位置を検出する検出手段と、
前記第2撮像装置の前記位置が基準を満たしているか否かを判定する判定手段と、
前記判定手段による判定結果を出力させる出力処理手段と、を備える、設置支援装置。
2. 1.に記載の設置支援装置において、
前記判定結果に基づいて、照明装置の発光状態を制御する制御手段をさらに備える、設置支援装置。
3. 1.または2.に記載の設置支援装置において、
前記第1撮像装置および前記第2撮像装置の一方は、上側から下方向を撮影し、他方は下側から上方向を撮影するように設置される、設置支援装置。
4. 3.に記載の設置支援装置において、
前記判定手段は、前記下側から撮影した画像は輝度が基準以上の領域を含むか否かを判定し、
前記出力処理手段は、前記判定手段による判定結果をさらに出力する、設置支援装置。
5. 1.から4.のいずれか一つに記載の設置支援装置において、
前記検出手段は、さらに、前記第2撮像装置の第2画像を取得し、前記第2画像を処理することにより、前記第1撮像装置の少なくとも一部の、当該第2画像内の位置を検出し、
前記判定手段は、前記第1撮像装置の前記位置が基準を満たしているか否かを判定し、
前記出力処理手段は、前記判定手段による判定結果を出力する、設置支援装置。
6. 1.から5.のいずれか一つに記載の設置支援装置において、
前記第1画像を表示させつつ、当該表示されている前記第1画像内に、基準位置を示す画像を重畳表示させる表示処理手段をさらに備える、設置支援装置。
7. 1.から6.のいずれか一つに記載の設置支援装置において、
前記検出手段は、さらに、前記第1撮像装置および前記第2撮像装置の少なくとも一方の少なくとも一部の大きさを検出し、
前記判定手段は、当該大きさが基準を満たすか否かを判定し、
前記出力処理手段は、前記判定手段による判定結果を出力する、設置支援装置。
8. 設置支援装置が、
平面視において互いに対向して配置される第1撮像装置および第2撮像装置の、前記第1撮像装置から第1画像を取得し、
前記第1画像を処理することにより、前記第2撮像装置の少なくとも一部の、当該第1画像内の位置を検出し、
前記第2撮像装置の前記位置が基準を満たしているか否かを判定し、
当該判定結果を出力させる、設置支援方法。
9. 8.に記載の設置支援方法において、
前記設置支援装置が、さらに、
前記判定結果に基づいて、照明装置の発光状態を制御する、設置支援方法。
10. 8.または9.に記載の設置支援方法において、
前記第1撮像装置および前記第2撮像装置の一方は、上側から下方向を撮影し、他方は下側から上方向を撮影するように設置される、設置支援方法。
11. 10.に記載の設置支援方法において、
前記設置支援装置が、さらに、
前記下側から撮影した画像は輝度が基準以上の領域を含むか否かを判定し、
当該判定結果をさらに出力する、設置支援方法。
12. 8.から11.のいずれか一つに記載の設置支援方法において、
前記設置支援装置が、さらに、
前記第2撮像装置の第2画像を取得し、前記第2画像を処理することにより、前記第1撮像装置の少なくとも一部の、当該第2画像内の位置を検出し、
前記第1撮像装置の前記位置が基準を満たしているか否かを判定し、
当該判定結果を出力する、設置支援方法。
13. 8.から12.のいずれか一つに記載の設置支援方法において、
前記設置支援装置が、さらに、
前記第1画像を表示させつつ、当該表示されている前記第1画像内に、基準位置を示す画像を重畳表示させる、設置支援方法。
14. 8.から13.のいずれか一つに記載の設置支援方法において、
前記設置支援装置が、さらに、
前記第1撮像装置および前記第2撮像装置の少なくとも一方の少なくとも一部の大きさを検出し、
当該大きさが基準を満たすか否かを判定し、
当該判定結果を出力する、設置支援方法。
15. コンピュータに、
平面視において互いに対向して配置される第1撮像装置および第2撮像装置の、前記第1撮像装置から第1画像を取得する手順、
前記第1画像を処理することにより、前記第2撮像装置の少なくとも一部の、当該第1画像内の位置を検出する手順、
前記第2撮像装置の前記位置が基準を満たしているか否かを判定する手順、
当該判定結果を出力させる手順、を実行させるためのプログラム。
16. 15.に記載のプログラムにおいて、
前記判定結果に基づいて、照明装置の発光状態を制御する手順をコンピュータにさらに実行させるためのプログラム。
17. 15.または16.に記載のプログラムにおいて、
前記第1撮像装置および前記第2撮像装置の一方は、上側から下方向を撮影し、他方は下側から上方向を撮影するように設置される、プログラム。
18. 17.に記載のプログラムにおいて、
前記下側から撮影した画像は輝度が基準以上の領域を含むか否かを判定する手順、
当該判定結果をさらに出力する手順、をコンピュータにさらに実行させるためのプログラム。
19. 15.から18.のいずれか一つに記載のプログラムにおいて、
さらに、前記第2撮像装置の第2画像を取得し、前記第2画像を処理することにより、前記第1撮像装置の少なくとも一部の、当該第2画像内の位置を検出する手順、
前記第1撮像装置の前記位置が基準を満たしているか否かを判定する手順、
当該判定結果を出力する手順、をコンピュータにさらに実行させるためのプログラム。
20. 15.から19.のいずれか一つに記載のプログラムにおいて、
前記第1画像を表示させつつ、当該表示されている前記第1画像内に、基準位置を示す画像を重畳表示させる手順をコンピュータにさらに実行させるためのプログラム。
21. 15.から20.のいずれか一つに記載のプログラムにおいて、
さらに、前記第1撮像装置および前記第2撮像装置の少なくとも一方の少なくとも一部の大きさを検出する手順、
当該大きさが基準を満たすか否かを判定する手順、
当該判定結果を出力する手順、をコンピュータにさらに実行させるためのプログラム。
3 通信ネットワーク
10 作業者
40 物品棚
42 前面フレーム
60 操作端末
62 ディスプレイ
70 画像処理装置
90 照明
100 設置支援装置
102 取得部
104 検出部
106 判定部
108 出力処理部
110 制御部
112 表示処理部
200 撮像装置
202 撮像ユニット
202a 第1撮像ユニット
202b 第2撮像ユニット
210 撮像部筐体
212、212a、212b カメラ
220 照明部筐体
222 照明部
300 画面
302 ガイド枠
304 メッセージ表示部
310 画面
312 ガイド線
314 メッセージ表示部
330 画面
332 アイコン
334 メッセージ表示部
1000 コンピュータ
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース

Claims (9)

  1. 平面視において互いに対向して配置される第1撮像装置および第2撮像装置の、前記第1撮像装置から第1画像を取得する取得手段と、
    前記第1画像を処理することにより、前記第2撮像装置の少なくとも一部の、当該第1画像内の位置を検出する検出手段と、
    前記第2撮像装置の前記位置が基準を満たしているか否かを判定する判定手段と、
    前記判定手段による判定結果を出力させる出力処理手段と、を備える、設置支援装置。
  2. 請求項1に記載の設置支援装置において、
    前記判定結果に基づいて、照明装置の発光状態を制御する制御手段をさらに備える、設置支援装置。
  3. 請求項1または2に記載の設置支援装置において、
    前記第1撮像装置および前記第2撮像装置の一方は、上側から下方向を撮影し、他方は下側から上方向を撮影するように設置される、設置支援装置。
  4. 請求項3に記載の設置支援装置において、
    前記判定手段は、前記下側から撮影した画像は輝度が基準以上の領域を含むか否かを判定し、
    前記出力処理手段は、前記判定手段による判定結果をさらに出力する、設置支援装置。
  5. 請求項1から4のいずれか一項に記載の設置支援装置において、
    前記検出手段は、さらに、前記第2撮像装置の第2画像を取得し、前記第2画像を処理することにより、前記第1撮像装置の少なくとも一部の、当該第2画像内の位置を検出し、
    前記判定手段は、前記第1撮像装置の前記位置が基準を満たしているか否かを判定し、
    前記出力処理手段は、前記判定手段による判定結果を出力する、設置支援装置。
  6. 請求項1から5のいずれか一項に記載の設置支援装置において、
    前記第1画像を表示させつつ、当該表示されている前記第1画像内に、基準位置を示す画像を重畳表示させる表示処理手段をさらに備える、設置支援装置。
  7. 請求項1から6のいずれか一項に記載の設置支援装置において、
    前記検出手段は、さらに、前記第1撮像装置および前記第2撮像装置の少なくとも一方の少なくとも一部の大きさを検出し、
    前記判定手段は、当該大きさが基準を満たすか否かを判定し、
    前記出力処理手段は、前記判定手段による判定結果を出力する、設置支援装置。
  8. 設置支援装置が、
    平面視において互いに対向して配置される第1撮像装置および第2撮像装置の、前記第1撮像装置から第1画像を取得し、
    前記第1画像を処理することにより、前記第2撮像装置の少なくとも一部の、当該第1画像内の位置を検出し、
    前記第2撮像装置の前記位置が基準を満たしているか否かを判定し、
    当該判定結果を出力させる、設置支援方法。
  9. コンピュータに、
    平面視において互いに対向して配置される第1撮像装置および第2撮像装置の、前記第1撮像装置から第1画像を取得する手順、
    前記第1画像を処理することにより、前記第2撮像装置の少なくとも一部の、当該第1画像内の位置を検出する手順、
    前記第2撮像装置の前記位置が基準を満たしているか否かを判定する手順、
    当該判定結果を出力させる手順、を実行させるためのプログラム。
JP2022524787A 2020-05-21 2020-05-21 設置支援装置、設置支援方法、およびプログラム Active JP7416231B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020054 WO2021234890A1 (ja) 2020-05-21 2020-05-21 設置支援装置、設置支援方法、およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021234890A1 JPWO2021234890A1 (ja) 2021-11-25
JPWO2021234890A5 JPWO2021234890A5 (ja) 2023-02-02
JP7416231B2 true JP7416231B2 (ja) 2024-01-17

Family

ID=78708306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022524787A Active JP7416231B2 (ja) 2020-05-21 2020-05-21 設置支援装置、設置支援方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230188855A1 (ja)
JP (1) JP7416231B2 (ja)
WO (1) WO2021234890A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7319751B1 (ja) * 2023-04-12 2023-08-02 株式会社Knowhere コンピュータ、プログラム、情報処理方法およびモデル生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010728A (ja) 2007-06-28 2009-01-15 Olympus Corp カメラ設置支援装置
JP2016123004A (ja) 2014-12-25 2016-07-07 三菱電機株式会社 撮像装置の設置支援装置、撮像装置の設置支援方法および映像記録再生装置
JP2018157254A (ja) 2017-03-15 2018-10-04 株式会社Nttファシリティーズ 画像管理装置、画像管理方法、及びプログラム
WO2019030235A1 (en) 2017-08-08 2019-02-14 Koninklijke Philips N.V. APPARATUS AND METHOD FOR GENERATING A REPRESENTATION OF A SCENE

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5661373B2 (ja) * 2010-08-20 2015-01-28 キヤノン株式会社 撮影システム、撮像装置及びその制御方法
DE102013206832A1 (de) * 2013-04-16 2014-10-16 Robert Bosch Gmbh Bilddarstellungsvorrichtung, mobiltelefon und verfahren
JP5769032B2 (ja) * 2013-07-29 2015-08-26 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US9445081B1 (en) * 2015-09-25 2016-09-13 Intel Corporation Method and system of 3D image capture with dynamic cameras
CN108463991B (zh) * 2016-01-15 2019-06-11 富士胶片株式会社 摄像系统、透镜装置及透镜装置的工作方法
US10309908B2 (en) * 2017-01-11 2019-06-04 Applied Vision Corporation Light field illumination container inspection system
US10530982B2 (en) * 2017-12-21 2020-01-07 Brian Anthony DAULTON Detachable mini-camera device
WO2019135163A2 (en) * 2018-01-08 2019-07-11 Scandit Ag Mobile device case and techniques for multi-view imaging
WO2021149219A1 (ja) * 2020-01-23 2021-07-29 日本電気株式会社 収容装置
JP2021132352A (ja) * 2020-02-21 2021-09-09 キヤノン株式会社 撮像装置、撮影システム、およびその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010728A (ja) 2007-06-28 2009-01-15 Olympus Corp カメラ設置支援装置
JP2016123004A (ja) 2014-12-25 2016-07-07 三菱電機株式会社 撮像装置の設置支援装置、撮像装置の設置支援方法および映像記録再生装置
JP2018157254A (ja) 2017-03-15 2018-10-04 株式会社Nttファシリティーズ 画像管理装置、画像管理方法、及びプログラム
WO2019030235A1 (en) 2017-08-08 2019-02-14 Koninklijke Philips N.V. APPARATUS AND METHOD FOR GENERATING A REPRESENTATION OF A SCENE

Also Published As

Publication number Publication date
US20230188855A1 (en) 2023-06-15
WO2021234890A1 (ja) 2021-11-25
JPWO2021234890A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
KR102338576B1 (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
KR102560689B1 (ko) Ar 객체를 표시하기 위한 장치 및 방법
JP5769032B2 (ja) 撮像装置、撮像方法及びプログラム
KR101969244B1 (ko) 통신 장치, 통신 장치의 제어 방법, 컴퓨터 판독가능 저장 매체
CN104683722B (zh) 图像显示装置及其的控制方法
KR102034548B1 (ko) 전자 장치 및 이의 제어 방법
CN104658462B (zh) 投影机以及投影机的控制方法
KR102668233B1 (ko) 관심 영역을 통해 움직이는 외부 객체에 대해 프레임 레이트를 제어하여 이미지들을 획득하는 전자 장치 및 그의 동작 방법
JP2006236195A (ja) プレゼンテーション制御装置
JP7416231B2 (ja) 設置支援装置、設置支援方法、およびプログラム
JP2014056450A (ja) 画像処理装置及びプログラム
KR20130105711A (ko) 대화식 디스플레이
JP2011108251A (ja) プレゼンテーション制御装置及びプログラム
CN109151298B (zh) 基于屏幕的云台摄像机控制方法、设备及系统
JPWO2015141185A1 (ja) 撮像制御装置、撮像制御方法およびプログラム
CN105677030B (zh) 一种控制方法及电子设备
KR102223305B1 (ko) 사용자 단말의 후면에 포함된 플래쉬라이트 모듈을 통해 출력되는 조명의 형상을 변경하는 장치 및 방법
JP2015159460A (ja) 投影システム、投影装置、撮影装置、ガイド枠生成方法及びプログラム
JP6115090B2 (ja) 表示制御装置及びプログラム
JP5962720B2 (ja) 光照射装置およびプログラム
JP2018159835A (ja) 投影装置
JP2005249946A (ja) 表示装置の欠陥検査装置
JP2012058353A (ja) 画像表示装置、及びその制御方法
JP2016118816A (ja) 表示システム、表示方法及びプログラム
US20180275774A1 (en) Display control device, display control system, display control method, and storage medium having stored thereon display control program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R151 Written notification of patent or utility model registration

Ref document number: 7416231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151