JP7480882B2 - 情報処理装置、認識支援方法およびコンピュータプログラム - Google Patents
情報処理装置、認識支援方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP7480882B2 JP7480882B2 JP2023049409A JP2023049409A JP7480882B2 JP 7480882 B2 JP7480882 B2 JP 7480882B2 JP 2023049409 A JP2023049409 A JP 2023049409A JP 2023049409 A JP2023049409 A JP 2023049409A JP 7480882 B2 JP7480882 B2 JP 7480882B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- image
- marker
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 65
- 230000010365 information processing Effects 0.000 title claims description 47
- 238000004590 computer program Methods 0.000 title claims description 9
- 239000003550 marker Substances 0.000 claims description 210
- 230000008569 process Effects 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 23
- 230000001149 cognitive effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 66
- 238000003384 imaging method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000007639 printing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
本発明は、画像認識のための支援技術に関する。
画像認識技術により、コンピュータは、人物や顔、商品、動物、車両や障害物、文字や二次元コード等、様々な被写体を画像から認識することができる。このような認識処理の認識精度を高めるために様々な工夫がなされている。例えば、特許文献1には、立体物の認識精度を高めるために、認識対象の立体物に関して算出される視差値の数が増えるように、複数のカメラの露光量を調整する手法が提案されている。また、特許文献2には、顔の個人認識の精度を向上させるために、辞書に登録する特徴パターンを工夫することが記載されている。具体的には、特許文献2に示されている構成では、被写体の顔領域における着目部位の特徴量と着目部位以外の部位の特徴量とを組み合わせた特徴パターンが被写体を識別する特徴パターンとして辞書に登録されている。
高い認識精度を実現する認識エンジンを得るために、上記のように様々な手法が提案されている。しかしながら、高精度な認識エンジンを客先に納入し、作業者が納入先の環境に合うように認識エンジンを調整しても、仕様の認識精度を出せない場合がある。これは、納入先において認識エンジンが画像処理する画像内の認識対象物が、納入前には想定していなかった見え方(映り方)となっているからである。
なお、この明細書では、認識エンジンが画像処理する画像内における認識対象物の見え方(映り方)を認識環境と記す。認識環境は、カメラの設置位置、角度(レンズの向き)、個数や仕様、そのカメラの視野内における照明状況や認識対象物の位置や向き等、様々な要因に影響を受ける。このような認識環境によっては認識エンジンが仕様の精度を出せないことがあり、認識エンジンに対する信頼性を低下させてしまう。
本発明は、認識環境に起因して認識エンジンの精度が悪化するという課題を解決するために考え出された。すなわち、本発明の主な目的は、認識エンジンの認識精度に影響を及す認識環境の情報を取得する技術を提供することにある。
上記目的を達成するために、本発明の情報処理装置は、
認識対象の範囲内に位置している物体を撮影する撮像装置により撮影された画像から、情報取得のために前記認識対象の範囲内に配置されたマーカを検出する検出手段と、
前記認識対象の範囲内に位置している認識対象物が前記撮像装置により撮影された場合に前記撮像装置による撮影画像においての前記認識対象物の映り方を表す情報である認識環境情報を、前記検出されたマーカの画像情報に基づいて取得する環境取得手段と
を備える。
認識対象の範囲内に位置している物体を撮影する撮像装置により撮影された画像から、情報取得のために前記認識対象の範囲内に配置されたマーカを検出する検出手段と、
前記認識対象の範囲内に位置している認識対象物が前記撮像装置により撮影された場合に前記撮像装置による撮影画像においての前記認識対象物の映り方を表す情報である認識環境情報を、前記検出されたマーカの画像情報に基づいて取得する環境取得手段と
を備える。
また、本発明の認識支援方法は、
認識対象の範囲内に位置している物体を撮影する撮像装置により撮影された画像から、情報取得のために前記認識対象の範囲内に配置されたマーカをコンピュータが検出し、
前記認識対象の範囲内に位置している認識対象物が前記撮像装置により撮影された場合に前記撮像装置による撮影画像においての前記認識対象物の映り方を表す情報である認識環境情報を、前記検出されたマーカの画像情報に基づいてコンピュータが取得する。
認識対象の範囲内に位置している物体を撮影する撮像装置により撮影された画像から、情報取得のために前記認識対象の範囲内に配置されたマーカをコンピュータが検出し、
前記認識対象の範囲内に位置している認識対象物が前記撮像装置により撮影された場合に前記撮像装置による撮影画像においての前記認識対象物の映り方を表す情報である認識環境情報を、前記検出されたマーカの画像情報に基づいてコンピュータが取得する。
さらに、本発明のプログラム記憶媒体は、
認識対象の範囲内に位置している物体を撮影する撮像装置により撮影された画像から、情報取得のために前記認識対象の範囲内に配置されたマーカを検出する処理と、
前記認識対象の範囲内に位置している認識対象物が前記撮像装置により撮影された場合に前記撮像装置による撮影画像においての前記認識対象物の映り方を表す情報である認識環境情報を、前記検出されたマーカの画像情報に基づいて取得する処理と
をコンピュータに実行させるコンピュータプログラムが記憶されている。
認識対象の範囲内に位置している物体を撮影する撮像装置により撮影された画像から、情報取得のために前記認識対象の範囲内に配置されたマーカを検出する処理と、
前記認識対象の範囲内に位置している認識対象物が前記撮像装置により撮影された場合に前記撮像装置による撮影画像においての前記認識対象物の映り方を表す情報である認識環境情報を、前記検出されたマーカの画像情報に基づいて取得する処理と
をコンピュータに実行させるコンピュータプログラムが記憶されている。
なお、本発明の前記主な目的は、本発明の情報処理装置に対応する本発明の認識支援方法によっても達成される。また、本発明の前記主な目的は、本発明の情報処理装置、本発明の認識支援方法に対応するコンピュータプログラムおよびそれを記憶するプログラム記憶媒体によっても達成される。
本発明の情報処理装置および認識支援方法は、認識エンジンの認識精度に影響を及ぼす認識環境の情報を取得することができる。このため、例えば、認識エンジンを客先に納入する作業者は、認識エンジンの画像処理に係る調整を、取得した認識環境の情報を利用して行うことが可能となる。また、作業者は、事前に認識環境の情報を取得することで、認識エンジンの画像処理に関わる調整の準備を進めることが可能となる。これにより、本発明の情報処理装置および認識支援方法は、認識エンジンの精度悪化を抑制することができ、認識エンジンに対する信頼性の低下を防止できる。
以下に、本発明に係る実施形態を図面を参照しながら説明する。なお、以下に挙げる各実施形態は例示であり、本発明は以下に説明する各実施形態の構成に限定されない。
<第一実施形態>
---装置構成---
図1は、本発明に係る第一実施形態の情報処理装置のハードウェア構成を概念的に表す図である。情報処理装置(以降、支援装置と略称する)10は、コンピュータであり、図1に表されるように、CPU(Central Processing Unit)1と、メモリ2と、入出力インタフェースI/F(InterFace)3と、通信ユニット4とを備えている。これらは、バスにより相互に接続されている。なお、このハードウェア構成は一例であり、支援装置10のハードウェア構成は図1の構成に限定されない。
---装置構成---
図1は、本発明に係る第一実施形態の情報処理装置のハードウェア構成を概念的に表す図である。情報処理装置(以降、支援装置と略称する)10は、コンピュータであり、図1に表されるように、CPU(Central Processing Unit)1と、メモリ2と、入出力インタフェースI/F(InterFace)3と、通信ユニット4とを備えている。これらは、バスにより相互に接続されている。なお、このハードウェア構成は一例であり、支援装置10のハードウェア構成は図1の構成に限定されない。
CPU1は、演算装置であり、CPU1には、一般的なCPUに加えて、特定用途向け集積回路(ASIC(Application Specific Integrated Circuit))、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等も含まれる。
メモリ2は、コンピュータプログラム(以下、プログラムとも記す)やデータを記憶する記憶装置である。例えば、メモリ2として、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(例えば、ハードディスク装置)などが支援装置10に組み込まれる。
入出力I/F3は、支援装置10の周辺機器である表示装置5、入力装置6等に備えられているユーザインタフェース装置と接続可能であり、支援装置10と周辺機器(表示装置5、入力装置6)との間の情報通信を可能にする機能を備えている。なお、入出力I/F3は、可搬型記憶媒体や、外部の記憶装置にも接続され得る。
表示装置5は、CPU1等により処理された描画データを画面に表示する装置である。表示装置5の具体例を挙げると、例えば、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイなどがある。
入力装置6は、ユーザ操作により入力される情報を受け付ける装置である。入力装置6の具体例を挙げると、例えば、キーボードやマウスがある。
なお、表示装置5および入力装置6は一体化されていてもよい。表示装置5と入力装置6を一体化した装置としては、例えば、タッチパネルがある。
通信ユニット4は、情報通信網(図示せず)を介して、他のコンピュータや他の機器と情報(信号)をやりとりする機能を備えている。
図1に表される支援装置10は、上記のようなハードウェア構成を備えているが、当該支援装置10は、図1に図示されていないハードウェア要素を含んでいてもよい。つまり、支援装置10のハードウェア構成は図1の構成に制限されない。
支援装置10は、情報通信網を介して、あるいは、直接にカメラ7と接続している。カメラ7は、撮像装置であり、撮影した映像(動画)の情報(映像信号)を支援装置10に送信する機能を備えている。第一実施形態では、カメラ7は、予め設定された撮影範囲を撮影することができるように、カメラ7の向き(レンズの向き)や高さ等が調整され設置されている。なお、カメラ7は、静止画を撮影し、その静止画の情報(映像信号)を支援装置10に送信してもよい。また、カメラ7の台数は1台でも複数でもよく、適宜設定される。
---処理構成---
図2は、第一実施形態の支援装置10における制御構成を概念的に表すブロック図である。なお、図2において、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
図2は、第一実施形態の支援装置10における制御構成を概念的に表すブロック図である。なお、図2において、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
支援装置10は、画像取得部11と、検出部12と、格納部13と、環境取得部14と、表示処理部15と、データ生成部16とを有する。画像取得部11と、検出部12と、環境取得部14と、表示処理部15と、データ生成部16とを含む機能部は、例えば、CPU1により実現される。すなわち、CPU1がメモリ2に格納されているプログラムを実行することにより、画像取得部11と、検出部12と、環境取得部14と、表示処理部15と、データ生成部16との各機能が実現される。なお、プログラムは、可搬型記憶媒体(例えば、CD(Compact Disc)やメモリカード)や、情報通信網を介して接続されている他のコンピュータから支援装置10に取り込まれることにより、メモリ2に格納される。
格納部13は、データを格納(記憶)する機能を有し、例えば、RAMやハードディスク装置等の記憶装置により実現される。この格納部13には、画像取得部11と検出部12と環境取得部14によりそれぞれ取得される情報が格納される。また、当該格納部13には、検出部12や環境取得部14等の機能部が処理に使用する各種情報も格納される。
画像取得部11は、カメラ7により撮影された画像を取得する機能を備えている。例えば、画像取得部11は、カメラ7から送信されてくる映像信号を予め設定されたタイミングでもってキャプチャする(取り込み、取り込んだ映像信号を例えば格納部13に保存する)ことにより、画像を逐次取得する。その画像をキャプチャするタイミングは、例えば、予め定められた時間間隔毎である。さらに、画像取得部11は、カメラ7から送信されてくる映像信号を取り込み、当該映像信号を表示装置5に向けて送信する機能をさらに備えている。その映像信号を送信する際に、画像取得部11は、映像信号を表示することを指示する制御信号を表示装置5に送信する。これにより、表示装置5は、その映像信号に基づいて映像(動画あるいは静止画)を表示する。
検出部12は、画像取得部11により取得された画像からマーカを画像処理により検出する機能を備えている。ここで、マーカとは、カメラ7が撮影する撮影範囲内に置かれる物体であり、カメラ7により撮影された画像内においてマーカ以外の背景や被写体と区別可能な図柄や色を有する。例えば、格納部13には、マーカを背景や他の被写体と区別するために利用する図柄や色の識別情報が予め格納される。検出部12は、それら情報を利用して、画像取得部11により取得された画像(カメラ7による撮影画像)からマーカを画像処理により検出する。検出部12がマーカを検出するために行う画像処理には様々な処理が考えられ、ここでは、支援装置10の処理能力や、検出対象のマーカの色や形状等を考慮して、検出部12が実行する画像処理が、適宜設定される。
ここで、図3を用いて、マーカの具体例を説明する。なお、この図3に表されているマーカの図柄は、点線BLにて区画されている1つの正方形の領域を1つの単位とし、当該正方形の領域が着色されることにより形成されたドットが集まって形作られている。以下では、マーカの図柄をドットパターンとも記す。なお、図3に表されている点線BLと一点鎖線DL1,DL2,DL3とは、説明のために便宜上、表記された補助線であり、実際には表記されない場合もある。なお、マーカのドットパターンは、図3の例に限定されない。
図3に表されるマーカMKは、縦13ドット、横9ドットの領域内に形成された図柄(ドットパターン)であり、当該マーカMKであるドットパターンは用紙MBに印刷されている。用紙MBにおけるマーカMKの外側領域は、用紙MBの余白である。
マーカMKは、互いに異なる大きさの四角形状(正方形状)のドットパターンPT1,PT2と、1つのドットから成る複数のドットパターンPT3とを有する。つまり、マーカMKは、複数のドットパターンにより形成された図柄である。
ドットパターンPT1,PT2は、各々の中心点を結ぶ直線DL1に沿って、間隔をあけて配置されている。また、ドットパターンPT1,PT2は、黒色ドットにより形成される四角形状の黒枠パターンと、この黒枠の内側中心部に形成されている黒色の四角パターンと、それら黒枠パターンと黒色四角パターンとの間に形成されている白色ドット群とにより形成されている。
複数のドットパターンPT3は、ここでは、互いに異なる色を持っている。すなわち、マーカMKには、ドットパターンPT3として、緑色ドットPT3(G)と、2つの黒色ドットPT3(K)と、青色ドットPT3(B)と、黄色ドットPT3(Y)と、赤色ドットPT3(R)とが形成されている。これら6つのドットパターンPT3は、3つずつに分かれて2つの配列群を構成している。一方の配列群は、3つのドットパターンPT3(Y),PT3(K),PT3(R)が、直線DL1に平行な直線DL2に、中心位置を合わせて配列している。他方の配列群は、3つのドットパターンPT3(G),PT3(K),PT3(B)が、直線DL1に平行な直線DL3に、中心位置を合わせて配列している。
格納部13には、上記のようなマーカMKの情報が格納されており、検出部12は、その情報を利用して、画像からマーカを検出する。
環境取得部14は、検出部12により検出されたマーカの画像情報に基づいて、認識環境情報を取得する。認識環境情報とは、カメラ7による撮影画像における認識対象物(撮影画像から検出(認識)したい物体)の見え方(映り方)(appearance)を表す情報である。認識環境情報には、例えば、画像内の認識対象物を表す画素数(解像度とも表記される)、ボケ度合、明るさに関する情報、色合情報、認識対象物からカメラ7に向かう方向に対する認識対象物の傾き角度等の情報が含まれる。明るさに関する情報には、明度バランス、コントラスト比、白および黒の輝度等が含まれる。なお、認識環境情報はこれら例に限定されない。
ここで、マーカと認識環境情報との関係について説明する。すなわち、マーカを構成するドットパターンの形状や大きさ等の構成条件は、取得したい認識環境情報に基づいて設定される。例えば、認識環境情報として、画像内における認識対象物を表す画素数(解像度)を取得したい場合には、認識エンジンが認識対象物を認識できる最少画素数の情報に基づき定められる制約条件を満たすドットパターンがマーカとして設定される。その最少画素数の情報とは、例えば、縦と横の各最少画素数の情報である。あるいは、最少画素数の情報は、縦と横との画素数比、および、縦又は横の最少画素数とが組み合された情報であってもよい。このような最少画素数の情報に基づいた制約条件とは、例えば、ドットパターンにおける縦および横のドット数が、縦および横の最少画素数を超えないという条件である。あるいは、制約条件は、ドットパターンにおける縦又は横のドット数が、対応する縦又は横の最少画素数を超えないという条件であってもよい。このような制約条件を満たすように、マーカのドットパターンが設計される。
その理由を具体例を用いて次に説明する。図4は、最少画素数に基づいた制約条件を説明する図である。この具体例では、認識対象物は人の頭部Hである。マーカの大きさはその認識対象物の大きさと同様とする。また、認識エンジンを備える支援装置10が人の頭部Hを認識できる縦の最少画素数が20ピクセルであるとする。このような場合に、支援装置10が、認識エンジンによって、カメラ7による撮影画像からマーカを認識し、さらに、認識環境情報を取得するためには、マーカ(トッドパターン)の縦のドット数Nが20ドットよりも少ないという制約条件を満たす必要がある。
つまり、ここで、図4におけるマーカMK1は、縦のドット数Nが13個のドットであるドットパターンを有するとする。マーカMK2は、縦のドット数Nが35個のドットであるドットパターンを有するとする。このようなマーカMK1,MK2が、カメラ7による撮影画像に20ピクセル以上の画像の大きさで映るとする。この場合に、マーカMK1における縦方向の13個のドットが最小でも20ピクセルの大きさで撮影画像に映るから、マーカMK1は、カメラ7による撮影画像において、1ドットが1ピクセル以上で映し出される。このため、マーカMK1は、支援装置10により認識され得る。一方、マーカMK2における縦方向の35個のドットが20ピクセルの大きさで撮影画像に映るから、マーカMK2は、カメラ7による撮影画像において、1ドットが1ピクセル未満で映し出される。このため、マーカMK2は、支援装置10により認識され難い。したがって、この例では、縦のドット数Nが20個以下という制約条件に基づいて、マーカのドットパターンが設定される。
なお、同種の認識対象物(例えば、人の頭部)であっても、厳密に見れば個体差がある。よって、マーカのサイズを決める際に利用される認識対象物のサイズは、一般的な大きさを用いればよい。
また、マーカのサイズは認識対象物と同様なサイズでなくともよい。図5は、マーカと認識対象物の大きさの別の関係例を表す図である。図5の例では、人間全体(人)MNが認識対象物である。マーカMKのサイズは人の頭部のサイズと同様である。また、認識エンジンが人間全体MNを認識できる縦の最少画素数が42ピクセルであるとし、マーカMKのサイズMK_Sと人間全体MNのサイズMN_Sとの比が1対6に設定されているとする。もし仮に、マーカMKが人間全体MNと同じサイズに設定される場合には、マーカMKのドットパターンは、縦のドット数が42個以下となるように設定される。これに対し、図5のように、マーカMKのサイズMK_Sと、人間全体MNのサイズMN_Sとの比が、1対6である場合には、マーカMKのドットパターンは、縦のドット数が7個(=42/6)以下となるように設定される。
このようなマーカと認識対象物とのサイズ比の情報は、例えば格納部13に予め記憶されていてもよいし、入力画面等に基づいて入力装置6をユーザが操作することにより支援装置10に入力されることによって格納部13に記憶されてもよい。さらに、サイズ比の情報は、可搬型記憶媒体から、あるいは、他のコンピュータ等から通信ユニット4を経由して支援装置10に取得されることによって格納部13に記憶されてもよい。
環境取得部14は、例えば、検出されたマーカの画像領域に含まれる画素数を用いて、カメラ7による撮影画像における認識対象物の画素数を認識環境情報として取得する。
ところで、図4および図5の例では、ドットパターンは、縦のドット数に関する制約条件に基づいて設計されたものであり、横のドット数に関しては考慮されていない。このため、例えば、環境取得部14は、検出されたマーカの画像領域に含まれる縦の画素数に基づいた認識対象物の縦の画素数を認識環境情報として取得する。
図4の例に示されるように、マーカMKのサイズが認識対象物のサイズと同様である場合には、環境取得部14は、検出されたマーカの画像領域に含まれる縦の画素数をそのまま認識対象物の縦の画素数(認識環境情報)として取得する。一方、図5に示されるように、マーカのサイズが認識対象物と異なる場合がある。この場合には、環境取得部14は、マーカと認識対象物とのサイズ比を利用して、検出されたマーカの画像領域に含まれる縦の画素数を、認識対象物のサイズに応じた画素数に変換する。そして、環境取得部14は、変換後の画素数を認識対象物の縦の画素数(認識環境情報)として取得する。
なお、ドットパターンの設計に関する制約条件が、縦のドット数だけでなく、横のドット数も考慮されたものである場合がある。この場合には、例えば、環境取得部14は、マーカの画像領域に含まれる縦と横の各画素数に基づいて、認識対象物の縦と横の各画素数(つまり、認識環境情報)を取得してもよい。また、ドットパターンの設計に関する制約条件が、縦のドット数ではなく、横のドット数が考慮されたものである場合がある。この場合には、例えば、環境取得部14は、マーカの画像領域に含まれる横の画素数に基づいて、認識対象物の横の画素数(つまり、認識環境情報)を取得する。このように、環境取得部14は、ドットパターンの設計に関する制約条件に応じて、認識対象物における縦と横の少なくとも一方の画素数を認識環境情報として取得する。
認識環境情報として、ボケ度合又は明るさに関する情報が取得される場合には、マーカは、白色ドット群および黒色ドット群を含むドットパターンにより形成されることが望ましい。その理由は、白色と黒色とは輝度の差が大きく、環境毎のボケ度合および明るさ情報を顕著に表すからである。そのような場合、環境取得部14は、検出されたマーカに含まれる白色ドットおよび黒色ドットの画像情報に基づいて、カメラ7による撮影画像の認識対象位置におけるボケ度合および明るさに関する情報を認識環境情報として取得する。
例えば、環境取得部14は、画像内における黒色ドットと白色ドットとが隣接している複数の部分からエッジ強度を取得する。このようなエッジ強度の取得には、例えば、SobelフィルタやPrewittフィルタ等が用いられる。環境取得部14は、そのように取得したエッジ強度の平均に基づいて、ボケ度合を算出し、当該ボケ度合を認識環境情報として取得する。なお、環境取得部14は、取得したエッジ強度の全数に対する、閾値を超えたエッジ強度の数の割合をボケ度合いとして算出し、当該算出したボケ度合を認識環境情報として取得してもよい。このようにボケ度合の算出手法には様々な手法が有り、このような手法に限定されない。
環境取得部14は、明るさに関する情報として、明度バランス、コントラスト比、白および黒の平均輝度をマーカの画像に基づいて算出することができる。例えば、環境取得部14は、マーカの画像における白色ドット毎および黒色ドット毎に輝度をそれぞれ算出し、白色の平均輝度および黒色の平均輝度を算出する。
また、環境取得部14は、マーカの画像における白色の平均輝度と黒色の平均輝度との比をコントラスト比として算出することができる。さらに、環境取得部14は、マーカの画像における白色の平均輝度(平均明度)と黒色の平均輝度(平均明度)との和を算出する。ここでの輝度(明度)は、例えば、0~255の数字を利用して表されるとし、輝度最小である黒は、“0”であり、輝度最大である白は、“255”であるとする。この場合には、環境取得部14は、算出された白と黒の平均輝度の和から“255”を差し引いた後の数値を明度バランスとして算出することができる。黒色ドットが黒、白色ドットが白と明確に分かる場合には明度バランスは0あるいはその近傍の数値となり、画像が暗過ぎる、明る過ぎる場合には、その度合いに応じたプラスあるいはマイナスの数値となる。なお、明るさに関する具体的情報やその算出手法については上記の例に限定されるものではない。
環境取得部14は、認識環境情報として、認識対象物からカメラ7に向かう方向に対するパターンの正面方向(パターンが形成(印刷)されている面の法線方向)の傾き角度(以下、認識対象物の角度情報とも記す)を取得する場合がある。この場合には、マーカは、例えば三次元空間における直交座標系にて設定された基準点から当該マーカに向かう方向の情報を取得可能な形状を備える。このような形状を持つマーカ(ドットパターン)の一つは、例えば、図3に表されるドットパターンPT1,PT2である。つまり、ドットパターンPT1,PT2は、四頂点が直角な四角形状である。また、ドットパターンPT1,PT2は、平面上に形成されている。環境取得部14は、例えば、撮影画像内におけるドットパターンPT1(あるいはPT2)の4つの頂点の位置関係と、実際のそれら4つの頂点の位置関係とを用いて、ホモグラフィ変換行列を算出する。そして、環境取得部14は、そのホモグラフィ変換行列と、撮影画像内においてマーカが映し出されている位置情報とを利用して、認識対象物の角度情報を算出する。
認識環境情報として、色合情報が取得される場合には、マーカは、赤色ドット、緑色ドットおよび青色ドットを含むドットパターンにより形成される。図3の例では、マーカは、ドットパターンPT3として、緑色ドットPT3(G)、青色ドットPT3(B)、黄色ドットPT3(Y)、赤色ドットPT3(R)を含んでいる。環境取得部14は、検出されたマーカに含まれる赤色ドット、緑色ドットおよび青色ドットの画像情報に基づいて、撮影画像の認識対象位置における色合情報を認識環境情報として取得する。具体的には、例えば、環境取得部14は、マーカに含まれる赤色ドット、緑色ドットおよび青色ドットの実際のRGB値を取得する。そして、環境取得部14は、その実際のRGB値と、画像内のそのマーカに含まれる各RGB値とのずれ量を当該色合情報とし、当該色合い情報を認識環境情報として取得する。なお、色合情報の算出手法は限定されない。
上記のように、図3に表されるドットパターンを用いることにより、環境取得部14は、撮影画像における認識対象物の画素数、ボケ度合、明るさ情報、認識対象物の角度情報、および、色合情報を認識環境情報として少なくとも取得することができる。なお、環境取得部14は、これら以外の認識環境情報を取得してもよい。
表示処理部15は、表示装置5を制御する機能を備えている。例えば、表示処理部15は、画像取得部11によってカメラ7から取得された画像を表示装置5に送信することによって、表示装置5の画面に撮影画像を表示させる。それと共に、表示処理部15は、環境取得部14により取得された認識環境情報を表示装置5に送信することによって、その撮影画像に認識環境情報を重畳した状態で表示装置5の画面に表示させる。その認識環境情報の表示位置は、例えば、撮影画像におけるマーカの配置位置に基づいて設定される。例えば、認識環境情報は、マーカの画像に少なくとも一部が重なるように表示される。又は、認識環境情報は、マーカの画像と間隔を介した近傍位置に表示される。このように、認識環境情報をマーカの画像に重ねて、あるいは、マーカの画像の近傍に表示させることによって、マーカと認識環境情報との対応関係が視認可能となる。
なお、表示処理部15は、マーカの画像と、表示されている認識環境情報とを結び付ける引き出し線の情報を表示装置5に送信することによって、表示装置5に表示されている撮影画像にその引き出し線をも表示させてもよい。また、表示処理部15は、マーカの画像の近傍に識別番号を表示させ、マーカの画像から離れた画像領域にその識別番号と共に認識環境情報を表示させてもよい。すなわち、ここでは、マーカと当該マーカから取得した認識環境情報とが関連していることを、表示装置5の表示画像から視認可能であれば、認識環境情報の表示位置は限定されない。
表示処理部15は、表示装置5に表示させる認識環境情報を色で表してもよい。例えば、表示処理部15は、表示装置5の画面に、認識環境情報の数値に対応した色のマークを半透明で表示させる。また、カメラ7による撮影画像に複数のマーカが映し出されている場合には、表示処理部15は、各マーカに関連付けられる認識環境情報を色のマークで表示させることにより、認識環境情報を表す画像上のマップ(ヒートマップ)を生成することができる。
図6は、認識環境情報を重畳させた表示画面の一例を示す図である。図6の例では、認識対象物が人の頭部であり、人の頭部と同様のサイズを有するマーカMKが人の頭部と同様の位置に配置されている。認識対象物の画素数(45ピクセル)が認識環境情報REとしてマーカMKの近傍に重畳表示されている。図6の例では、一つの認識環境情報が表示されているが、その複数の認識環境情報が表示されてもよい。
さらに、表示処理部15は、疑似画像を表示装置5に表示させる機能を備えている。疑似画像とは、環境取得部14により取得された認識環境情報に基づいて、認識対象物のモデル画像を画像処理することにより得られる画像である。認識対象物のモデル画像とは、例えば格納部13に予め記憶されている画像であり、例えば、認識対象物の写真画像、認識対象物を表す絵画やCG(Computer Graphics)画像のようなレプリカ画像等である。表示処理部15は、取得した認識環境情報をモデル画像に反映すると、どのように見える(撮影される)画像になるかを明示する画像処理を行うことにより、疑似画像を生成する。その疑似画像には、取得した全ての認識環境情報が反映されてもよいし、一部の認識環境情報が反映されてもよい。表示処理部15がそのような疑似画像を表示装置5に表示させることによって、支援装置10は、認識環境情報を把握し易い状態で作業者(ユーザ)に提示できる。なお、表示処理部15は、撮影画像における認識対象物の大きさとは無関係に、疑似画像を予め定められたサイズで表示させることによって、疑似画像を分かり易く表示することができる。
図7は、疑似画像の具体例を示す図である。図7の例では、認識対象物は人の頭部である。人の頭部を示すCG画像が認識対象物のモデル画像(図7で原画像と表記している)である。表示処理部15は、認識環境情報に基づいて、そのモデル画像を画像処理することにより、疑似画像を生成する。
例えば、表示処理部15は、モデル画像の画像サイズを維持した状態で当該モデル画像の解像度(画素数)を、認識環境情報として取得された認識対象物の解像度(画素数)まで低下させる画像処理をモデル画像に行う。このような画像処理により、図7における画像Aのような疑似画像が生成される。
また、表示処理部15は、モデル画像を、認識環境情報として取得されたボケ度合にする画像処理をモデル画像に行う。このような画像処理により、図7における画像Bのような疑似画像が生成される。また、表示処理部15は、モデル画像(頭部の画像)を、認識環境情報として取得された認識対象物の角度でもって回転させる画像処理をモデル画像に行う。このような画像処理により、図7における画像Cのような疑似画像が生成される。さらに、表示処理部15は、モデル画像のコントラストを、認識環境情報として取得されたコントラスト比に応じて変化させる画像処理をモデル画像に行う。このような画像処理により、図7における画像Dのような疑似画像が生成される。これらのようなモデル画像に施す画像処理については、様々な手法が有り、適宜な手法が採用される。
データ生成部16は、マーカを用紙に印刷する印刷データを生成する機能を備えている。格納部13にはマーカの画像情報が記憶されており、データ生成部16は、そのマーカの画像情報を格納部13から抽出し、この画像情報に基づいて印刷データを生成する。この印刷データは、ワープロソフトウェアやスライド作成ソフトウェア等のようなアプリケーションにマーカの画像を印刷させるデータファイルであってもよい。また、印刷データは、そのようなアプリケーションを利用することなく、独自のデータであってもよい。図4および図5の例に示されるように、マーカを人の頭部に相当するサイズに設定する場合には、データ生成部16は、例えば、マーカを縦向きのA4サイズの用紙に印刷する印刷データを生成する。
---動作例/認識支援方法---
以下、第一実施形態における認識支援方法について、図8および図9を用いて説明する。
以下、第一実施形態における認識支援方法について、図8および図9を用いて説明する。
図8は、マーカの利用例を表す図である。図9は、第一実施形態における支援装置10の動作例を表すフローチャートである。このフローチャートは、支援装置10のCPU1が実行するコンピュータプログラムの処理手順の一例を表している。
支援装置10が以下に述べる動作を実施する前に、図8に表されるように、認識システムに含まれるカメラ7は仕様に基づいた設置場所に設置されている。また、認識対象物の大きさや認識エンジンの認識精度等が考慮されたマーカMKが準備されている。図8の例では、認識対象物が人の頭部であり、マーカMKは人の頭部と同様なサイズを有している。作業者OPは、マーカMKを認識対象物である頭の高さ位置に掲げながら、認識システムが認識対象としている認識対象範囲内の場所に留まる。すなわち、作業者OPは、認識システムの認識対象範囲内における場所による認識環境の違いを調査すべく、マーカMKを掲げながら、認識システムの認識対象範囲内において、移動と停止といった行動を繰り返す。カメラ7は、視野FV内におけるその作業者OPの行動を連続的又は間欠的に撮影する。
支援装置10は、そのカメラ7からの撮影画像を表す映像信号を画像取得部11がキャプチャすることにより、画像(動画又は静止画)を取得する(S81)。なお、カメラ7からの映像信号は、支援装置10に直接に送信されてもよいし、情報通信網や、可搬型記憶媒体等の記憶装置を介して送信されてもよい。
支援装置10の検出部12は、取得された画像からマーカを検出する(S82)。
支援装置10の環境取得部14は、検出されたマーカの画像に基づいて、カメラ7の視野FV内の位置PSにおける認識対象物(人の頭部)の認識環境情報を取得する(S83)。つまり、支援装置10の環境取得部14は、例えば、認識対象物を表す画素数(解像度)、ボケ度合、明るさに関する情報、色合情報、認識対象物の角度等を認識環境情報として取得する。
支援装置10の表示処理部15は、カメラ7の撮影画像に、環境取得部14により取得された認識環境情報を重畳させた画像を表示装置5の画面に表示させる(S84)。その表示させる認識環境情報は、取得された全て又は一部の認識環境情報である。
さらに、支援装置10の表示処理部15は、環境取得部14により取得された認識環境情報を利用してモデル画像を画像処理することにより、認識対象物の見え方を表す疑似画像を生成し、この疑似画像を表示装置5に表示させる(S85)。
図10は、認識環境情報の一表示例を表す図である。図10の例では、認識対象物の画素数(解像度)は、数値および疑似画像により表示されている。明るさに関する情報として、明度のバランスと、コントラスト比と、白黒の輝度(明度)とが表されており、これらは数値およびグラフにより表示されている。
図10の例では、黒色の平均輝度は「77.6」と算出され、白色の平均輝度は「246.2」と算出されている。明度のバランスは、最低値が「-255」となり最高値が「255」となるように、黒色の平均輝度「77.6」と白色の平均輝度「246.2」との和から255を差分することにより算出される。この算出された「68.8」がバランスとして表示装置5の画面に表示されている。また、コントラスト比は、黒色の平均輝度に対する白色の平均輝度の比を求めることにより算出されており、「3.17」と表示されている。ボケ度合は、マーカのドットパターンにおける黒色ドットと白色ドットとが隣接する複数の部分のエッジ強度の平均に基づいて算出する。ここでは、そのエッジ強度の平均を0から1の数値に正規化し、数値「1」がぼけていることを表すように数値「1」から正規化した数値を差分することにより、ボケ度合が算出され、図10の例では、ボケ度合は「0.551」と表示されている。
色合情報は、認識されたマーカにおける赤色、緑色および青色の各色について、マーカの本来のRGB値からのずれ量がそれぞれ算出され、そのずれ量がそれぞれ数値(RGB値)により表示されている。
支援装置10は、上記のようにカメラ7の撮影画像に基づいて、認識環境情報を取得(検出)すると共に、その取得した認識環境情報を表示する。なお、認識環境情報の検出手法は前述した手法に限定されない。また、認識環境情報の表示手法は、図10の例に限定されない。さらに、図9では、複数の処理(工程)S81~S85が順番に表されているが、それら処理のいくつかは並列に実行されてもよいし、順番が異なっていてもよい。例えば、処理S84と処理S85は並列に実行されてもよい。また、処理S84と処理S85は、逆の順番で実行されてもよい。さらに、処理S84と処理S85の一方は省略されてもよい。
---第一実施形態における効果---
上記したように第一実施形態の支援装置10は、カメラ7により撮影された画像からマーカを検出し、この検出したマーカの画像に基づいて、認識システムによる認識対象範囲内における認識環境情報を取得する。認識環境情報は、カメラ7による撮影画像での認識対象物の見え方(appearance)を表す情報であり、認識エンジンの認識精度に影響を及ぼすカメラ7の性能および認識対象範囲内の明るさ等に関わる情報である。
上記したように第一実施形態の支援装置10は、カメラ7により撮影された画像からマーカを検出し、この検出したマーカの画像に基づいて、認識システムによる認識対象範囲内における認識環境情報を取得する。認識環境情報は、カメラ7による撮影画像での認識対象物の見え方(appearance)を表す情報であり、認識エンジンの認識精度に影響を及ぼすカメラ7の性能および認識対象範囲内の明るさ等に関わる情報である。
換言すれば、第一実施形態の支援装置10は、認識エンジンを用いることなく、認識システムによる認識対象範囲内においてマーカを掲げるという簡単な作業により、その認識対象範囲内における認識環境情報を取得できる。また、支援装置10は、認識対象物の解像度や、明るさに関する情報、ボケ度合、色合情報等のように、かなり詳細な認識環境情報を取得することができる。このため、支援装置10は、認識システムを構築する前に、その認識システムの認識エンジンの適切な事前評価を可能にする。さらに、認識環境情報を確認することにより、認識システムを構成するカメラ7の台数や設置位置や向き、また、カメラ7のシャッタースピードや絞りやホワイトバランス等のパラメータを調整することを支援装置10は可能にする。これにより、認識システム構築後の調整作業が軽減し、認識システムをスムーズに納入することができる。
また、マーカのサイズや利用の仕方(掲げ方)は、認識対象物のサイズや高さ位置に基づいて設定される。さらに、マーカを構成するドットパターンの形状や色は、要求される認識環境情報の内容や、認識エンジンが認識対象物を認識できる最少画素数に基づいて設定される。このように、利用するマーカの構成は、汎用的に設定され得るため、支援装置10は、画像認識を利用する様々なシステムにおける認識環境情報の取得に適用可能である。
なお、上記した説明では、認識対象物は人であったが、車両、商品、動物、文字や記号等のように、認識対象物は人に限定されない。また、認識エンジンの認識アルゴリズムや認識手法等も限定されない。
さらに、第一実施形態の支援装置10は、カメラ7による撮影画像から検出したマーカと当該マーカから取得した認識環境情報との関連を視認可能な状態で、カメラ7による撮影画像に認識環境情報を重畳させて画面表示させることができる。これにより、支援装置10は、取得した認識環境情報がカメラ7による撮影画像のどこの位置の情報であるかを容易に作業者に把握させることができる。さらに、表示装置5に表示させるカメラ7の撮影画像がリアルタイムの映像とする場合がある。この場合には、支援装置10は、その映像(画像)に、当該画像から取得した認識環境情報をリアルタイムで表示することによって、マーカと認識環境情報との関連付けを作業者に容易に把握させることができる。
また、支援装置10は、取得した認識対象情報を利用して認識対象物のモデル画像を画像処理することによって疑似画像を生成し、この生成した疑似画像を表示装置5に表示させることができる。これにより、支援装置10は、疑似画像によって、認識対象物の実際の見え方を分かり易く表現できる。つまり、支援装置10は、作業者に、認識環境情報を視覚を通じて感覚的に把握させることができる。
<第二実施形態>
以下に、本発明に係る第二実施形態を説明する。なお、この第二実施形態の説明において、第一実施形態の構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
以下に、本発明に係る第二実施形態を説明する。なお、この第二実施形態の説明において、第一実施形態の構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
この第二実施形態では、支援装置10は、カメラ7による撮影画像から、カメラ7の位置を基準とするマーカの相対的な位置を取得し、この相対的な位置と認識環境情報とを関連付けて表示装置5に表示させる機能を備えている。以下に、その詳細を説明する。
---処理構成---
図11は、第二実施形態の支援装置(情報処理装置)10の制御構成を概念的に表すブロック図である。なお、図11において、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
図11は、第二実施形態の支援装置(情報処理装置)10の制御構成を概念的に表すブロック図である。なお、図11において、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
この第二実施形態の支援装置10は、第一実施形態の構成に加えて、さらに、位置取得部17を備えている。この位置取得部17も、例えばCPU1により実現される。
位置取得部17は、カメラ7の位置を基準とするマーカの相対的な位置を表す位置情報を取得する。つまり、位置取得部17は、検出部12により検出されたマーカの画像情報と、そのマーカの高さ情報およびカメラ7のパラメータに基づいて、そのマーカの相対的な位置情報を算出できる。マーカの高さ情報とは、床面から、掲げられているマーカまでの高さを表す情報である。例えば、床面からマーカの中心点までの高さ(長さ)がマーカの高さ情報である。格納部13には、そのような高さ情報が予め記憶されていてもよいし、入力装置6を用いた例えば作業者(ユーザ)の操作により入力された高さ情報が記憶されていてもよい。カメラ7のパラメータは、カメラ7の位置、姿勢(レンズの向き)等を表す情報である。格納部13には、そのパラメータが予め記憶されていてもよいし、カメラ7から通信により取得されたパラメータが記憶されてもよい。さらに、格納部13には、入力装置6を用いた作業者の操作により入力されたカメラのパラメータが記憶されていてもよい。
位置取得部17は、検出されたマーカの画像に基づいたマーカの中心座標を取得する。そして、位置取得部17は、その中心座標とマーカの高さ情報とカメラのパラメータを利用して、例えば、平面射影変換により、カメラ7の位置を基準とするマーカの相対的な位置を表す三次元座標での位置情報を算出する。あるいは、位置取得部17は、そのように算出された三次元座標における位置情報を、床面と平行な二次元平面に投影し、この二次元平面における位置情報をマーカの相対的な位置情報としてもよい。
また、位置取得部17は、マーカの相対的な位置情報を他の方法により取得することもできる。例えば、位置取得部17は、入力装置6を用いた作業者の入力操作により上記位置情報を取得することもできる。例えば、位置取得部17は、格納部13に格納されている認識環境情報とその認識環境情報が抽出された画像とが関連付けられたリストを表示装置5に表示させる。そして、位置取得部17は、認識環境情報に対応するマーカの相対的な位置情報を入力装置6を利用して作業者に入力させる。この場合には、そのマーカの相対的な位置情報を得るためには、マーカの高さ情報とカメラのパラメータの情報は使用しないので、取得しなくともよい。
格納部13には、そのように取得(算出)されたマーカの相対的な位置情報が、そのマーカの画像により取得された認識環境情報に関連付けられた状態で記憶される。言い換えれば、格納部13には、認識環境情報が、マーカの相対的な位置情報と共に格納する。
表示処理部15は、カメラ7の位置を基準とする二次元あるいは三次元の座標が表示された表示装置5の画面(マップ画面とも記す)に、マーカの位置(カメラ7の位置を基準とするマーカの相対的な位置)をマッピングする。また、表示処理部15は、マーカに関連付けられている認識環境情報を、そのマーカのマッピング位置に関連付けて表示する。つまり、表示処理部15は、カメラ7を基準とした位置によって認識環境情報がどのように異なるかを表示する。なお、表示されるマーカの位置情報と認識環境情報は、それぞれ、取得された全ての情報であってもよいし、その一部であってもよい。
図12は、そのマップ画面の表示例を表す図である。図12の例では、床面と平行な平面における二次元座標のグラフに、マーカの位置が点でプロットされている。そして、マーカの位置を表す点の周辺に、その位置に対応する認識環境情報(この例では、認識対象物の画素数(解像度))が数値で表示されている。さらに、図12の例では、カメラ7の位置CPおよび視野範囲FVが表示されている。なお、図12は一例であり、カメラ7の位置CPと視野範囲FVの何れか一方又は両方は表示されなくてもよい。また、図12の例では、マーカの位置が点で表され、認識環境情報が数値で表されている。これに代えて、認識環境情報の数値に対応する色でもって、その認識環境情報に関連付けられているマーカの位置が着色されているヒートマップ表示により、認識環境情報が表示されてもよい。
---動作例/認識支援方法---
以下に、第二実施形態の支援装置10の動作例を図13を用いて説明する。図13は、第二実施形態における支援装置10の動作例を表すフローチャートである。このフローチャートは、支援装置10のCPU1が実行する処理手順を表している。
以下に、第二実施形態の支援装置10の動作例を図13を用いて説明する。図13は、第二実施形態における支援装置10の動作例を表すフローチャートである。このフローチャートは、支援装置10のCPU1が実行する処理手順を表している。
図13における処理S131,S132,S134,S135、S136は、図9における処理S81,S82,S83,S84,S85と同様の処理であり、その説明は省略する。
処理S133では、支援装置10の位置取得部17は、検出部12により検出されたマーカの画像情報と、そのマーカの高さ情報およびカメラ7のパラメータ(位置やレンズの向き等)に基づいて、マーカの位置情報を取得する。取得されるマーカの位置情報は、カメラ7の位置を基準とするマーカの相対的な位置を表す情報である。
処理S137においては、支援装置10の表示処理部15は、位置取得部17により取得された位置情報と、環境取得部14により取得された認識環境情報との対応関係に基づいて、マップ画面を表示装置5に表示させる。このマップ画面には、三次元座標又は二次元座標が表される。
なお、図13では、複数の処理(工程)が順番に表されているが、第二実施形態で実行される処理およびその処理の実行順序は、図13の例に限定されない。例えば、処理S135,S136,S137は並列に実行されてよいし、他の順番で実行されてもよい。また、処理S135,S136,S137の何れか一つ、又は、2つの処理は省略されてもよい。
---第二実施形態における効果---
上記のように、第二実施形態の支援装置10は、認識環境情報が当該認識環境情報に関連付けられているマーカの位置に表示(マッピング)されたマップ画面を表示できる。
上記のように、第二実施形態の支援装置10は、認識環境情報が当該認識環境情報に関連付けられているマーカの位置に表示(マッピング)されたマップ画面を表示できる。
このため、第二実施形態の支援装置10は、カメラ7に対する認識環境情報の位置関係を把握させ易くすることができ、カメラを基準とした認識可能な範囲を明確に理解させることができる。
---変形例---
なお、支援装置10は、第一又は第二の実施形態の構成に加えて、認識環境情報に時間変化の情報をも付加する構成を備えていてもよい。例えば、作業者がマーカを異なる時間に同一位置で掲げる、若しくは、固定設置する。これにより、異なる時間に撮影された各画像における同一位置のマーカの画像に基づいて、環境取得部14が、各時間(時刻や日時)における認識環境情報をそれぞれ取得する。この場合、格納部13には、マーカの画像の撮影時間が格納されると共に、当該格納部13に格納される認識環境情報には、その基となったマーカの画像の撮影時間が関連付けられる。また、表示処理部15は、認識環境情報を表示装置5に表示させる場合には、その基となったマーカの画像の撮影時間をも表示させてもよい。このように、同一位置での認識環境の時間変化を提示することによって、支援装置10は、日光や日影等のような外光の時間変化に伴う認識環境の経時変化の情報を取得することができる。
なお、支援装置10は、第一又は第二の実施形態の構成に加えて、認識環境情報に時間変化の情報をも付加する構成を備えていてもよい。例えば、作業者がマーカを異なる時間に同一位置で掲げる、若しくは、固定設置する。これにより、異なる時間に撮影された各画像における同一位置のマーカの画像に基づいて、環境取得部14が、各時間(時刻や日時)における認識環境情報をそれぞれ取得する。この場合、格納部13には、マーカの画像の撮影時間が格納されると共に、当該格納部13に格納される認識環境情報には、その基となったマーカの画像の撮影時間が関連付けられる。また、表示処理部15は、認識環境情報を表示装置5に表示させる場合には、その基となったマーカの画像の撮影時間をも表示させてもよい。このように、同一位置での認識環境の時間変化を提示することによって、支援装置10は、日光や日影等のような外光の時間変化に伴う認識環境の経時変化の情報を取得することができる。
<第三実施形態>
以下に、本発明に係る第三実施形態を説明する。
以下に、本発明に係る第三実施形態を説明する。
図14は、第三実施形態における情報処理装置の制御構成を概念的に表すブロック図である。なお、図14において、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
第三実施形態の情報処理装置100は、検出部101と環境取得部102を有する。情報処理装置100は、例えば、第一や第二の実施形態における支援装置10と同様のハードウェア構成(図1参照)を有する。検出部101と環境取得部102は、例えば、CPU1がコンピュータプログラムを実行することにより、実現される。なお、情報処理装置100には、カメラ7、表示装置5および入力装置6が接続されていなくてもよい。
検出部101は、撮像装置(カメラ7)による撮影画像からマーカの画像情報を例えば画像処理により検出する機能を備えている。その撮影画像(動画データ又は静止画データ)は、カメラ7から直接的に情報処理装置100に入力する構成としてもよいし、他の装置や可搬型記憶媒体を介して情報処理装置100に入力する構成としてもよい。
環境取得部102は、検出部101により検出されたマーカの画像情報に基づいて、認識環境情報を取得する機能を備えている。認識環境情報は、マーカの位置に位置する認識対象物を撮像装置により撮影した場合に、認識対象物がどのような状態で撮影されるかを表す情報である。例えば、認識環境情報としては、第一や第二の実施形態で述べたような各種情報である。
図15は、第三実施形態における情報処理装置100の動作例を表すフローチャートである。なお、このフローチャートは、情報処理装置100のCPU1が実行するコンピュータプログラムの処理手順の一例を表している。
例えば、情報処理装置100(検出部101)は、撮像装置による撮影画像からマーカの画像情報を検出する(S151)。そして、情報処理装置100(環境取得部102)は、その検出されたマーカの画像情報に基づいて、認識環境情報を取得する(S152)。
なお、情報処理装置100は、取得した認識環境情報を第一や第二の実施形態と同様の手法で表示装置の画面に表示させることができる。また、情報処理装置100は、取得した認識環境情報を印刷装置に印刷させてもよいし、可搬型記憶媒体等の記憶装置にファイルとして格納してもよい。さらに、情報処理装置100は、その取得した認識環境情報を他のコンピュータに通信により送信してもよい。このように認識環境情報が出力(表示、印刷、表示)される場合に、認識環境情報には、抽出元の画像が関連付けられていてもよいし、さらに、マーカの位置情報をも関連付けられていてもよい。
第三実施形態の情報処理装置100は、第一や第二実施形態と同様の効果を得ることができる。
上記した各実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2014年8月27日に出願された日本出願特願2014-173111を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
撮像装置から取得された画像から、その撮像装置の視野内の或る位置に存在するマーカを検出する検出手段と、
前記検出されたマーカの画像情報に基づいて、前記位置における認識対象物の、前記撮像装置により撮影される画像上での見え方を示す認識環境情報を取得する環境取得手段と、
を備える情報処理装置。
撮像装置から取得された画像から、その撮像装置の視野内の或る位置に存在するマーカを検出する検出手段と、
前記検出されたマーカの画像情報に基づいて、前記位置における認識対象物の、前記撮像装置により撮影される画像上での見え方を示す認識環境情報を取得する環境取得手段と、
を備える情報処理装置。
(付記2)
前記マーカは、認識エンジンが認識対象物を認識できる最少画素数に基づくドット数制約を満たすドットパターンにより形成され、
前記環境取得手段は、前記検出されたマーカの画像領域に含まれる画素数を用いて、前記位置における認識対象物の画素数を前記認識環境情報として取得する、
付記1に記載の情報処理装置。
前記マーカは、認識エンジンが認識対象物を認識できる最少画素数に基づくドット数制約を満たすドットパターンにより形成され、
前記環境取得手段は、前記検出されたマーカの画像領域に含まれる画素数を用いて、前記位置における認識対象物の画素数を前記認識環境情報として取得する、
付記1に記載の情報処理装置。
(付記3)
前記環境取得手段は、
前記マーカのサイズが認識対象物と同じ場合には、前記検出されたマーカの画像領域に含まれる画素数を前記位置における認識対象物の画素数として取得し、
前記マーカのサイズが認識対象物と異なる場合には、前記マーカと認識対象物とのサイズ比で前記検出されたマーカの画像領域に含まれる画素数を変換することで、前記位置における認識対象物の画素数を取得する、
付記2に記載の情報処理装置。
前記環境取得手段は、
前記マーカのサイズが認識対象物と同じ場合には、前記検出されたマーカの画像領域に含まれる画素数を前記位置における認識対象物の画素数として取得し、
前記マーカのサイズが認識対象物と異なる場合には、前記マーカと認識対象物とのサイズ比で前記検出されたマーカの画像領域に含まれる画素数を変換することで、前記位置における認識対象物の画素数を取得する、
付記2に記載の情報処理装置。
(付記4)
前記マーカの前記ドットパターンは、白色ドット群および黒色ドット群を含み、
前記環境取得手段は、前記検出されたマーカに含まれる白色ドットおよび黒色ドットの画像情報に基づいて、前記位置におけるボケ度合および明るさに関する情報を前記認識環境情報として取得する、
付記2又は付記3に記載の情報処理装置。
前記マーカの前記ドットパターンは、白色ドット群および黒色ドット群を含み、
前記環境取得手段は、前記検出されたマーカに含まれる白色ドットおよび黒色ドットの画像情報に基づいて、前記位置におけるボケ度合および明るさに関する情報を前記認識環境情報として取得する、
付記2又は付記3に記載の情報処理装置。
(付記5)
前記マーカの前記ドットパターンは、或る基準点からの相互に直交する3つの方向を一定に取得可能な形状を表し、
前記環境取得手段は、前記検出されたマーカの前記ドットパターンの画像情報に基づいて、前記撮像装置の撮影方向に対する認識対象物の角度を前記認識環境情報として取得する、
付記2乃至付記4の何れか一つに記載の情報処理装置。
前記マーカの前記ドットパターンは、或る基準点からの相互に直交する3つの方向を一定に取得可能な形状を表し、
前記環境取得手段は、前記検出されたマーカの前記ドットパターンの画像情報に基づいて、前記撮像装置の撮影方向に対する認識対象物の角度を前記認識環境情報として取得する、
付記2乃至付記4の何れか一つに記載の情報処理装置。
(付記6)
前記マーカの前記ドットパターンは、赤色ドット、緑色ドットおよび青色ドットを含み、
前記環境取得手段は、前記検出されたマーカに含まれる赤色ドット、緑色ドットおよび青色ドットの画像情報に基づいて、前記位置における色合情報を前記認識環境情報として取得する、
付記2乃至付記5の何れか一つに記載の情報処理装置。
前記マーカの前記ドットパターンは、赤色ドット、緑色ドットおよび青色ドットを含み、
前記環境取得手段は、前記検出されたマーカに含まれる赤色ドット、緑色ドットおよび青色ドットの画像情報に基づいて、前記位置における色合情報を前記認識環境情報として取得する、
付記2乃至付記5の何れか一つに記載の情報処理装置。
(付記7)
前記マーカの前記ドットパターンは、正方形の第一部分ドットパターンと、第一部分ドットパターンよりも小さい正方形の第二部分ドットパターンと、各々一色のドットにより形成される正方形の複数の第三部分ドットパターンとを含み、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、各々の中心点を結ぶ第一直線が各一辺と直交するように、縦方向に並び、
前記複数の第三部分ドットパターンは、前記第二部分ドットパターンを挟んで右側に並ぶ第一グループと、左側に並ぶ第二グループとに分かれており、
第一および第二の各グループにおいて、各第三部分ドットパターンは、各々の中心点を結ぶ直線が前記第一直線と平行となるように縦方向に並び、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、
黒色ドットにより形成される正方形の黒枠、その黒枠の内側に隣接し白色ドットにより形成される正方形の白枠およびその白枠の内側に隣接する正方形の黒色ドット群から形成され、
前記複数の第三部分ドットパターンは、赤色ドット、緑色ドット、青色ドットおよび黄色ドットを少なくとも含む、
付記2乃至付記6の何れか一つに記載の情報処理装置。
前記マーカの前記ドットパターンは、正方形の第一部分ドットパターンと、第一部分ドットパターンよりも小さい正方形の第二部分ドットパターンと、各々一色のドットにより形成される正方形の複数の第三部分ドットパターンとを含み、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、各々の中心点を結ぶ第一直線が各一辺と直交するように、縦方向に並び、
前記複数の第三部分ドットパターンは、前記第二部分ドットパターンを挟んで右側に並ぶ第一グループと、左側に並ぶ第二グループとに分かれており、
第一および第二の各グループにおいて、各第三部分ドットパターンは、各々の中心点を結ぶ直線が前記第一直線と平行となるように縦方向に並び、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、
黒色ドットにより形成される正方形の黒枠、その黒枠の内側に隣接し白色ドットにより形成される正方形の白枠およびその白枠の内側に隣接する正方形の黒色ドット群から形成され、
前記複数の第三部分ドットパターンは、赤色ドット、緑色ドット、青色ドットおよび黄色ドットを少なくとも含む、
付記2乃至付記6の何れか一つに記載の情報処理装置。
(付記8)
前記認識対象物が人間の頭部又は顔である場合に、前記マーカを縦向きのA4用紙に印刷するためのデータを生成するデータ生成手段をさらに備える
付記1乃至付記7の何れか一つに記載の情報処理装置。
前記認識対象物が人間の頭部又は顔である場合に、前記マーカを縦向きのA4用紙に印刷するためのデータを生成するデータ生成手段をさらに備える
付記1乃至付記7の何れか一つに記載の情報処理装置。
(付記9)
前記検出されたマーカとの対応関係を視認可能な状態で、前記撮像装置から取得された画像上に前記認識環境情報を重畳させた表示画面を表示部に表示させる表示処理手段をさらに備える
付記1乃至付記8の何れか一つに記載の情報処理装置。
前記検出されたマーカとの対応関係を視認可能な状態で、前記撮像装置から取得された画像上に前記認識環境情報を重畳させた表示画面を表示部に表示させる表示処理手段をさらに備える
付記1乃至付記8の何れか一つに記載の情報処理装置。
(付記10)
前記撮像装置の位置を基準とする前記マーカの相対位置を示す位置情報を取得する位置取得手段と、
前記撮像装置の視野内の複数位置に関し取得された複数の認識環境情報に基づいて、前記撮像装置の位置を基準とする相対位置関係を表す座標に当該複数の認識環境情報が描画された表示画面を表示部に表示させる表示処理手段とをさらに備える
付記1乃至付記9の何れか一つに記載の情報処理装置。
前記撮像装置の位置を基準とする前記マーカの相対位置を示す位置情報を取得する位置取得手段と、
前記撮像装置の視野内の複数位置に関し取得された複数の認識環境情報に基づいて、前記撮像装置の位置を基準とする相対位置関係を表す座標に当該複数の認識環境情報が描画された表示画面を表示部に表示させる表示処理手段とをさらに備える
付記1乃至付記9の何れか一つに記載の情報処理装置。
(付記11)
前記表示処理手段は、前記撮像装置の位置および視野の少なくとも一方を前記座標に表す、
付記10に記載の情報処理装置。
前記表示処理手段は、前記撮像装置の位置および視野の少なくとも一方を前記座標に表す、
付記10に記載の情報処理装置。
(付記12)
前記位置取得手段は、前記検出されたマーカの画像情報、前記マーカの高さ情報および前記撮像装置のカメラパラメータに基づいて、前記マーカが存在する前記位置に対応する床面と平行な平面上の位置を示す前記位置情報を取得する、
付記10又は付記11に記載の情報処理装置。
前記位置取得手段は、前記検出されたマーカの画像情報、前記マーカの高さ情報および前記撮像装置のカメラパラメータに基づいて、前記マーカが存在する前記位置に対応する床面と平行な平面上の位置を示す前記位置情報を取得する、
付記10又は付記11に記載の情報処理装置。
(付記13)
通常状態の認識対象物を示す原画像に対して、その原画像内の認識対象物が前記取得された認識環境情報により示される見え方となるような画像処理を適用することで得られる疑似画像を表示部に表示させる表示処理手段をさらに備える
付記1乃至付記12の何れか一つに記載の情報処理装置。
通常状態の認識対象物を示す原画像に対して、その原画像内の認識対象物が前記取得された認識環境情報により示される見え方となるような画像処理を適用することで得られる疑似画像を表示部に表示させる表示処理手段をさらに備える
付記1乃至付記12の何れか一つに記載の情報処理装置。
(付記14)
異なる時間に撮影された各画像から前記撮像装置の視野内の同一位置に関し取得された複数の認識環境情報を、各画像の撮影時間と対応付けて、表示部に表示させる表示処理手段をさらに備える
付記1乃至付記12の何れか一つに記載の情報処理装置。
異なる時間に撮影された各画像から前記撮像装置の視野内の同一位置に関し取得された複数の認識環境情報を、各画像の撮影時間と対応付けて、表示部に表示させる表示処理手段をさらに備える
付記1乃至付記12の何れか一つに記載の情報処理装置。
(付記15)
コンピュータにより実行される認識支援方法において、
撮像装置から取得された画像から、その撮像装置の視野内の或る位置に存在するマーカを検出し、
前記検出されたマーカの画像情報に基づいて、前記位置における認識対象物の、前記撮像装置により撮影される画像上での見え方を示す認識環境情報を取得する、
ことを含む認識支援方法。
コンピュータにより実行される認識支援方法において、
撮像装置から取得された画像から、その撮像装置の視野内の或る位置に存在するマーカを検出し、
前記検出されたマーカの画像情報に基づいて、前記位置における認識対象物の、前記撮像装置により撮影される画像上での見え方を示す認識環境情報を取得する、
ことを含む認識支援方法。
(付記16)
前記マーカは、認識エンジンが認識対象物を認識できる最少画素数に基づくドット数制約を満たすドットパターンにより形成され、
前記認識環境情報の取得は、前記検出されたマーカの画像領域に含まれる画素数を用いて、前記位置における認識対象物の画素数を取得することを含む、
付記15に記載の認識支援方法。
前記マーカは、認識エンジンが認識対象物を認識できる最少画素数に基づくドット数制約を満たすドットパターンにより形成され、
前記認識環境情報の取得は、前記検出されたマーカの画像領域に含まれる画素数を用いて、前記位置における認識対象物の画素数を取得することを含む、
付記15に記載の認識支援方法。
(付記17)
前記認識環境情報の取得は、
前記マーカのサイズが認識対象物と同じ場合には、前記検出されたマーカの画像領域に含まれる画素数を前記位置における認識対象物の画素数として取得し、
前記マーカのサイズが認識対象物と異なる場合には、前記マーカと認識対象物とのサイズ比で前記検出されたマーカの画像領域に含まれる画素数を変換することで、前記位置における認識対象物の画素数を取得する、
ことを含む付記16に記載の認識支援方法。
前記認識環境情報の取得は、
前記マーカのサイズが認識対象物と同じ場合には、前記検出されたマーカの画像領域に含まれる画素数を前記位置における認識対象物の画素数として取得し、
前記マーカのサイズが認識対象物と異なる場合には、前記マーカと認識対象物とのサイズ比で前記検出されたマーカの画像領域に含まれる画素数を変換することで、前記位置における認識対象物の画素数を取得する、
ことを含む付記16に記載の認識支援方法。
(付記18)
前記マーカの前記ドットパターンは、白色ドット群および黒色ドット群を含み、
前記認識環境情報の取得は、前記検出されたマーカに含まれる白色ドットおよび黒色ドットの画像情報に基づいて、前記位置におけるボケ度合および明るさに関する情報を取得することを含む、
付記16又は付記17に記載の認識支援方法。
前記マーカの前記ドットパターンは、白色ドット群および黒色ドット群を含み、
前記認識環境情報の取得は、前記検出されたマーカに含まれる白色ドットおよび黒色ドットの画像情報に基づいて、前記位置におけるボケ度合および明るさに関する情報を取得することを含む、
付記16又は付記17に記載の認識支援方法。
(付記19)
前記マーカの前記ドットパターンは、或る基準点からの相互に直交する3つの方向を一定に取得可能な形状を表し、
前記認識環境情報の取得は、前記検出されたマーカの前記ドットパターンの画像情報に基づいて、前記撮像装置の撮影方向に対する認識対象物の角度を取得することを含む、
付記16乃至付記18の何れか一つに記載の認識支援方法。
前記マーカの前記ドットパターンは、或る基準点からの相互に直交する3つの方向を一定に取得可能な形状を表し、
前記認識環境情報の取得は、前記検出されたマーカの前記ドットパターンの画像情報に基づいて、前記撮像装置の撮影方向に対する認識対象物の角度を取得することを含む、
付記16乃至付記18の何れか一つに記載の認識支援方法。
(付記20)
前記マーカの前記ドットパターンは、赤色ドット、緑色ドットおよび青色ドットを含み、
前記認識環境情報の取得は、前記検出されたマーカに含まれる赤色ドット、緑色ドットおよび青色ドットの画像情報に基づいて、前記位置における色合情報を取得することを含む、
付記16乃至付記19の何れか一つに記載の認識支援方法。
前記マーカの前記ドットパターンは、赤色ドット、緑色ドットおよび青色ドットを含み、
前記認識環境情報の取得は、前記検出されたマーカに含まれる赤色ドット、緑色ドットおよび青色ドットの画像情報に基づいて、前記位置における色合情報を取得することを含む、
付記16乃至付記19の何れか一つに記載の認識支援方法。
(付記21)
前記マーカの前記ドットパターンは、正方形の第一部分ドットパターンと、第一部分ドットパターンよりも小さい正方形の第二部分ドットパターンと、各々一色のドットにより形成される正方形の複数の第三部分ドットパターンとを含み、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、各々の中心点を結ぶ第一直線が各一辺と直交するように、縦方向に並び、
前記複数の第三部分ドットパターンは、前記第二部分ドットパターンを挟んで右側に並ぶ第一グループと、左側に並ぶ第二グループとに分かれており、
第一および第二の各グループにおいて、各第三部分ドットパターンは、各々の中心点を結ぶ直線が前記第一直線と平行となるように縦方向に並び、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、
黒色ドットにより形成される正方形の黒枠、その黒枠の内側に隣接し白色ドットにより形成される正方形の白枠およびその白枠の内側に隣接する正方形の黒色ドット群から形成され、
前記複数の第三部分ドットパターンは、赤色ドット、緑色ドット、青色ドットおよび黄色ドットを少なくとも含む、
付記16乃至付記20の何れか一つに記載の認識支援方法。
前記マーカの前記ドットパターンは、正方形の第一部分ドットパターンと、第一部分ドットパターンよりも小さい正方形の第二部分ドットパターンと、各々一色のドットにより形成される正方形の複数の第三部分ドットパターンとを含み、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、各々の中心点を結ぶ第一直線が各一辺と直交するように、縦方向に並び、
前記複数の第三部分ドットパターンは、前記第二部分ドットパターンを挟んで右側に並ぶ第一グループと、左側に並ぶ第二グループとに分かれており、
第一および第二の各グループにおいて、各第三部分ドットパターンは、各々の中心点を結ぶ直線が前記第一直線と平行となるように縦方向に並び、
前記第一部分ドットパターンおよび前記第二部分ドットパターンは、
黒色ドットにより形成される正方形の黒枠、その黒枠の内側に隣接し白色ドットにより形成される正方形の白枠およびその白枠の内側に隣接する正方形の黒色ドット群から形成され、
前記複数の第三部分ドットパターンは、赤色ドット、緑色ドット、青色ドットおよび黄色ドットを少なくとも含む、
付記16乃至付記20の何れか一つに記載の認識支援方法。
(付記22)
前記認識対象物が人間の頭部又は顔である場合に、前記マーカを縦向きのA4用紙に印刷するためのデータを生成する、
ことをさらに含む付記15乃至付記21の何れか一つに記載の認識支援方法。
前記認識対象物が人間の頭部又は顔である場合に、前記マーカを縦向きのA4用紙に印刷するためのデータを生成する、
ことをさらに含む付記15乃至付記21の何れか一つに記載の認識支援方法。
(付記23)
前記検出されたマーカとの対応関係を視認可能な状態で、前記撮像装置から取得された画像上に前記認識環境情報を重畳させた表示画面を表示部に表示させる、
ことをさらに含む付記15乃至付記22の何れか一つに記載の認識支援方法。
前記検出されたマーカとの対応関係を視認可能な状態で、前記撮像装置から取得された画像上に前記認識環境情報を重畳させた表示画面を表示部に表示させる、
ことをさらに含む付記15乃至付記22の何れか一つに記載の認識支援方法。
(付記24)
前記撮像装置の位置を基準とする前記マーカの相対位置を示す位置情報を取得し、
前記撮像装置の視野内の複数位置に関し取得された複数の認識環境情報に基づいて、前記撮像装置の位置を基準とする相対位置関係を表す座標に当該複数の認識環境情報が描画された表示画面を表示部に表示させる、
ことをさらに含む付記15乃至付記22の何れか一つに記載の認識支援方法。
前記撮像装置の位置を基準とする前記マーカの相対位置を示す位置情報を取得し、
前記撮像装置の視野内の複数位置に関し取得された複数の認識環境情報に基づいて、前記撮像装置の位置を基準とする相対位置関係を表す座標に当該複数の認識環境情報が描画された表示画面を表示部に表示させる、
ことをさらに含む付記15乃至付記22の何れか一つに記載の認識支援方法。
(付記25)
前記座標には、前記撮像装置の位置および視野の少なくとも一方がさらに描画される、
付記24に記載の認識支援方法。
前記座標には、前記撮像装置の位置および視野の少なくとも一方がさらに描画される、
付記24に記載の認識支援方法。
(付記26)
前記位置情報の取得は、前記検出されたマーカの画像情報、前記マーカの高さ情報および前記撮像装置のカメラパラメータに基づいて、前記マーカが存在する前記位置に対応する床面と平行な平面上の位置を示す前記位置情報を取得する、
付記24又は付記25に記載の認識支援方法。
前記位置情報の取得は、前記検出されたマーカの画像情報、前記マーカの高さ情報および前記撮像装置のカメラパラメータに基づいて、前記マーカが存在する前記位置に対応する床面と平行な平面上の位置を示す前記位置情報を取得する、
付記24又は付記25に記載の認識支援方法。
(付記27)
通常状態の認識対象物を示す原画像に対して、その原画像内の認識対象物が前記取得された認識環境情報により示される見え方となるような画像処理を適用することで得られる疑似画像を表示部に表示させる、
ことをさらに含む付記15乃至付記26の何れか一つに記載の認識支援方法。
通常状態の認識対象物を示す原画像に対して、その原画像内の認識対象物が前記取得された認識環境情報により示される見え方となるような画像処理を適用することで得られる疑似画像を表示部に表示させる、
ことをさらに含む付記15乃至付記26の何れか一つに記載の認識支援方法。
(付記28)
異なる時間に撮影された各画像から前記撮像装置の視野内の同一位置に関し取得された複数の認識環境情報を、各画像の撮影時間と対応付けて、表示部に表示させる、
ことをさらに含む付記15乃至付記27の何れか一つに記載の認識支援方法。
異なる時間に撮影された各画像から前記撮像装置の視野内の同一位置に関し取得された複数の認識環境情報を、各画像の撮影時間と対応付けて、表示部に表示させる、
ことをさらに含む付記15乃至付記27の何れか一つに記載の認識支援方法。
(付記29)
付記15乃至付記28の何れか一つに記載の認識支援方法をコンピュータに実行させるプログラムを記憶しているプログラム記憶媒体。
付記15乃至付記28の何れか一つに記載の認識支援方法をコンピュータに実行させるプログラムを記憶しているプログラム記憶媒体。
5 表示装置
7 カメラ
10 情報処理装置(支援装置)
11 画像取得部
12,101 検出部
13 格納部
14,102 環境取得部
15 表示処理部
16 データ生成部
17 位置取得部
100 情報処理装置
7 カメラ
10 情報処理装置(支援装置)
11 画像取得部
12,101 検出部
13 格納部
14,102 環境取得部
15 表示処理部
16 データ生成部
17 位置取得部
100 情報処理装置
Claims (9)
- 撮像画像からマーカを検出する検出手段と、
前記マーカが存在する対象エリアにおける前記マーカの画像としての認識精度に基づき変化する第2画像を前記撮像画像に重畳表示するように表示画面を制御する表示制御手段と、
を備える情報処理装置。 - 前記表示制御手段は、異なる時点に撮像された複数の前記撮像画像に基づき、前記異なる時点における前記認識精度を受け付け、受け付けた前記認識精度に基づき前記表示画面を制御する、
請求項1に記載の情報処理装置。 - 前記表示制御手段は、前記異なる時点における前記認識精度に基づき、前記異なる時点ごとに異なる前記第2画像を表示するように前記表示画面を制御する、
請求項2に記載の情報処理装置。 - 情報処理装置が、
撮像画像からマーカを検出し、
前記マーカが存在する対象エリアにおける前記マーカの画像としての認識精度に基づき変化する第2画像を前記撮像画像に重畳表示するように表示画面を制御する、
認識支援方法。 - 前記表示画面の制御は、
異なる時点に撮像された複数の前記撮像画像に基づき、前記異なる時点における前記認識精度を受け付け、受け付けた前記認識精度に基づき前記表示画面を制御することである、
請求項4に記載の認識支援方法。 - 前記表示画面の制御は、
前記異なる時点における前記認識精度に基づき、前記異なる時点ごとに異なる前記第2画像を表示するように前記表示画面を制御することである、
請求項5に記載の認識支援方法。 - コンピュータに、
撮像画像からマーカを検出する処理と、
前記マーカが存在する対象エリアにおける前記マーカの画像としての認識精度に基づき変化する第2画像を前記撮像画像に重畳表示するように表示画面を制御する処理と
を実行させる、コンピュータプログラム。 - 前記表示画面を制御する処理は、
異なる時点に撮像された複数の前記撮像画像に基づき、前記異なる時点における前記認識精度を受け付け、受け付けた前記認識精度に基づき前記表示画面を制御する処理である、
請求項7に記載のコンピュータプログラム。 - 前記表示画面を制御する処理は、
前記異なる時点における前記認識精度に基づき、前記異なる時点ごとに異なる前記第2画像を表示するように前記表示画面を制御する処理である、
請求項8に記載のコンピュータプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014173111 | 2014-08-27 | ||
JP2014173111 | 2014-08-27 | ||
JP2020104450A JP7031697B2 (ja) | 2014-08-27 | 2020-06-17 | 情報処理装置および認識支援方法 |
JP2022021696A JP7255718B2 (ja) | 2014-08-27 | 2022-02-16 | 情報処理装置、認識支援方法およびコンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022021696A Division JP7255718B2 (ja) | 2014-08-27 | 2022-02-16 | 情報処理装置、認識支援方法およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023075366A JP2023075366A (ja) | 2023-05-30 |
JP7480882B2 true JP7480882B2 (ja) | 2024-05-10 |
Family
ID=55399106
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016544943A Active JP6750500B2 (ja) | 2014-08-27 | 2015-08-19 | 情報処理装置および認識支援方法 |
JP2020104450A Active JP7031697B2 (ja) | 2014-08-27 | 2020-06-17 | 情報処理装置および認識支援方法 |
JP2022021696A Active JP7255718B2 (ja) | 2014-08-27 | 2022-02-16 | 情報処理装置、認識支援方法およびコンピュータプログラム |
JP2023049409A Active JP7480882B2 (ja) | 2014-08-27 | 2023-03-27 | 情報処理装置、認識支援方法およびコンピュータプログラム |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016544943A Active JP6750500B2 (ja) | 2014-08-27 | 2015-08-19 | 情報処理装置および認識支援方法 |
JP2020104450A Active JP7031697B2 (ja) | 2014-08-27 | 2020-06-17 | 情報処理装置および認識支援方法 |
JP2022021696A Active JP7255718B2 (ja) | 2014-08-27 | 2022-02-16 | 情報処理装置、認識支援方法およびコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (4) | US10248881B2 (ja) |
JP (4) | JP6750500B2 (ja) |
WO (1) | WO2016031190A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6750500B2 (ja) | 2014-08-27 | 2020-09-02 | 日本電気株式会社 | 情報処理装置および認識支援方法 |
US10750080B2 (en) * | 2015-04-28 | 2020-08-18 | Sony Corporation | Information processing device, information processing method, and program |
US10963063B2 (en) * | 2015-12-18 | 2021-03-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP7191706B2 (ja) * | 2019-01-16 | 2022-12-19 | 住友重機械工業株式会社 | 情報処理装置、プログラム、被画像認識用マーカ |
WO2020194564A1 (ja) * | 2019-03-27 | 2020-10-01 | 日本電気株式会社 | カメラ調整装置、カメラ位置調整方法及びコンピュータ可読媒体 |
JP7452015B2 (ja) * | 2020-01-09 | 2024-03-19 | 富士通株式会社 | 判定プログラム、判定方法、判定装置 |
EP3862962A1 (en) * | 2020-02-10 | 2021-08-11 | Mettler-Toledo (Albstadt) GmbH | Method and appartus for identifying an item selected from a stock of items |
JP2023032857A (ja) * | 2021-08-27 | 2023-03-09 | パナソニックIpマネジメント株式会社 | 画像判定方法、画像判定装置および文字認識方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005182350A (ja) | 2003-12-18 | 2005-07-07 | Olympus Corp | 情報呈示システム、情報呈示装置、及びサーバ |
JP2006261995A (ja) | 2005-03-16 | 2006-09-28 | Ricoh Co Ltd | 画像表示装置、画像表示方法、およびその方法をコンピュータに実行させるプログラム |
JP2007201632A (ja) | 2006-01-24 | 2007-08-09 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2008205774A (ja) | 2007-02-20 | 2008-09-04 | Nec Corp | 撮影操作誘導システム、撮影操作誘導方法および撮影操作誘導プログラム |
JP2010192998A (ja) | 2009-02-16 | 2010-09-02 | Nikon Corp | カメラ |
JP2013134599A (ja) | 2011-12-26 | 2013-07-08 | Toshiba Corp | 位置座標検出装置、位置座標検出方法および電子機器 |
JP2014154113A (ja) | 2013-02-13 | 2014-08-25 | Nihon Univ | 光源推定装置、画像処理システム及び光源推定プログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3411260B2 (ja) * | 2000-08-07 | 2003-05-26 | 東光電気株式会社 | 状態表示器の認識処理装置および認識処理方法 |
JP2004215235A (ja) | 2002-12-18 | 2004-07-29 | Seiko Epson Corp | 出力画像の記憶色調整 |
EP1998282A4 (en) * | 2006-03-20 | 2009-07-08 | Olympus Corp | VIDEO IMAGE PROCESSING DEVICE, ASSESSMENT PROCEDURE AND COMPUTER PROGRAM |
JP2007295946A (ja) | 2006-04-27 | 2007-11-15 | Konica Minolta Holdings Inc | 酒気帯び検知システム及び酒気帯び検知方法 |
KR100974900B1 (ko) * | 2008-11-04 | 2010-08-09 | 한국전자통신연구원 | 동적 임계값을 이용한 마커 인식 장치 및 방법 |
US8594375B1 (en) | 2010-05-20 | 2013-11-26 | Digitalglobe, Inc. | Advanced cloud cover assessment |
JP5778967B2 (ja) * | 2011-04-08 | 2015-09-16 | 任天堂株式会社 | 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム |
JP5725968B2 (ja) | 2011-05-10 | 2015-05-27 | キヤノン株式会社 | 色処理装置およびその方法 |
US8934667B2 (en) * | 2011-06-20 | 2015-01-13 | Sony Corporation | System and method for confidence-based marker adjustment |
JP5821526B2 (ja) * | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5912059B2 (ja) * | 2012-04-06 | 2016-04-27 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
CN103426003B (zh) * | 2012-05-22 | 2016-09-28 | 腾讯科技(深圳)有限公司 | 增强现实交互的实现方法和系统 |
JP6039942B2 (ja) | 2012-07-09 | 2016-12-07 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
JP6065477B2 (ja) * | 2012-09-13 | 2017-01-25 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
JP2014130429A (ja) | 2012-12-28 | 2014-07-10 | Ricoh Co Ltd | 撮像装置及び立体物領域検出用プログラム |
JP6500355B2 (ja) * | 2014-06-20 | 2019-04-17 | 富士通株式会社 | 表示装置、表示プログラム、および表示方法 |
JP6750500B2 (ja) * | 2014-08-27 | 2020-09-02 | 日本電気株式会社 | 情報処理装置および認識支援方法 |
-
2015
- 2015-08-19 JP JP2016544943A patent/JP6750500B2/ja active Active
- 2015-08-19 WO PCT/JP2015/004148 patent/WO2016031190A1/ja active Application Filing
- 2015-08-19 US US15/506,508 patent/US10248881B2/en active Active
-
2019
- 2019-02-22 US US16/283,489 patent/US10824900B2/en active Active
-
2020
- 2020-06-17 JP JP2020104450A patent/JP7031697B2/ja active Active
- 2020-09-25 US US17/033,089 patent/US11580720B2/en active Active
-
2022
- 2022-02-16 JP JP2022021696A patent/JP7255718B2/ja active Active
-
2023
- 2023-01-19 US US18/156,616 patent/US11915516B2/en active Active
- 2023-03-27 JP JP2023049409A patent/JP7480882B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005182350A (ja) | 2003-12-18 | 2005-07-07 | Olympus Corp | 情報呈示システム、情報呈示装置、及びサーバ |
JP2006261995A (ja) | 2005-03-16 | 2006-09-28 | Ricoh Co Ltd | 画像表示装置、画像表示方法、およびその方法をコンピュータに実行させるプログラム |
JP2007201632A (ja) | 2006-01-24 | 2007-08-09 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2008205774A (ja) | 2007-02-20 | 2008-09-04 | Nec Corp | 撮影操作誘導システム、撮影操作誘導方法および撮影操作誘導プログラム |
JP2010192998A (ja) | 2009-02-16 | 2010-09-02 | Nikon Corp | カメラ |
JP2013134599A (ja) | 2011-12-26 | 2013-07-08 | Toshiba Corp | 位置座標検出装置、位置座標検出方法および電子機器 |
JP2014154113A (ja) | 2013-02-13 | 2014-08-25 | Nihon Univ | 光源推定装置、画像処理システム及び光源推定プログラム |
Non-Patent Citations (2)
Title |
---|
Masayuki Kanbara, Naokazu Yokoya,Real-time Estimation of Light Source Environment for Photorealistic Augmented Reality,Proceedings of the 17th International Conference on Pattern Recognition(ICPR'2004),2004年08月26日,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1334407 |
奥村 文洋 外,拡張現実感のための実画像のぼけ推定に基づく画像合成手法,FIT2005 第4回情報科学技術フォーラム,2005年08月22日,pp. 245-248 |
Also Published As
Publication number | Publication date |
---|---|
JP2020161174A (ja) | 2020-10-01 |
US20210012139A1 (en) | 2021-01-14 |
JP7255718B2 (ja) | 2023-04-11 |
JP2023075366A (ja) | 2023-05-30 |
JPWO2016031190A1 (ja) | 2017-06-29 |
US20230186680A1 (en) | 2023-06-15 |
US20170277968A1 (en) | 2017-09-28 |
US11580720B2 (en) | 2023-02-14 |
US11915516B2 (en) | 2024-02-27 |
JP7031697B2 (ja) | 2022-03-08 |
JP6750500B2 (ja) | 2020-09-02 |
WO2016031190A1 (ja) | 2016-03-03 |
JP2022059013A (ja) | 2022-04-12 |
US20190188515A1 (en) | 2019-06-20 |
US10248881B2 (en) | 2019-04-02 |
US10824900B2 (en) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7480882B2 (ja) | 情報処理装置、認識支援方法およびコンピュータプログラム | |
CN106062862B (zh) | 用于沉浸式和交互式多媒体生成的系统和方法 | |
US10002463B2 (en) | Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
JP5266954B2 (ja) | 投写型表示装置および表示方法 | |
JP6645151B2 (ja) | 投影装置、投影方法及び投影用コンピュータプログラム | |
EP3218878B1 (en) | Image to item mapping | |
US20160371855A1 (en) | Image based measurement system | |
US9049397B2 (en) | Image processing device and image processing method | |
EP3474236A1 (en) | Image processing device | |
JP2006285788A (ja) | 複合現実感情報生成装置および方法 | |
EP3651457B1 (en) | Pupillary distance measurement method, wearable eye equipment and storage medium | |
JP2010050540A (ja) | 投写型表示装置および表示方法 | |
CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
CN108989794B (zh) | 基于抬头显示系统的虚像信息测量方法及系统 | |
KR20180123302A (ko) | 볼의 궤적을 시각화하는 방법 및 장치 | |
US10043430B1 (en) | Eyecup-display alignment testing apparatus | |
CN112912936A (zh) | 混合现实系统、程序、移动终端装置和方法 | |
JPWO2005096130A1 (ja) | 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム | |
US20210224591A1 (en) | Methods and systems for training an object detection algorithm | |
CN112073640A (zh) | 全景信息采集位姿获取方法及装置、系统 | |
US11467400B2 (en) | Information display method and information display system | |
JP2016091193A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240408 |