JP4444684B2 - 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体 - Google Patents

対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体 Download PDF

Info

Publication number
JP4444684B2
JP4444684B2 JP2004034476A JP2004034476A JP4444684B2 JP 4444684 B2 JP4444684 B2 JP 4444684B2 JP 2004034476 A JP2004034476 A JP 2004034476A JP 2004034476 A JP2004034476 A JP 2004034476A JP 4444684 B2 JP4444684 B2 JP 4444684B2
Authority
JP
Japan
Prior art keywords
captured image
image
temporary
data cell
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004034476A
Other languages
English (en)
Other versions
JP2005227929A (ja
Inventor
悠一 吉田
健人 宮奥
豪 東野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004034476A priority Critical patent/JP4444684B2/ja
Publication of JP2005227929A publication Critical patent/JP2005227929A/ja
Application granted granted Critical
Publication of JP4444684B2 publication Critical patent/JP4444684B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、対象物を撮像した画像からコードを読み取り、このコードを処理する技術に関する。
２次元コードを用いて、何らかの対象物の画像中の位置、向き、および、対象物上の座標系を推定する技術がこれまでになされており、画像中にある対象物上で適切な情報を重畳表示するシステムが従来技術として開示されている。一般的に２次元コードは、情報を保持するデータセル領域と位置決めマーカと呼ばれる２次元コードの位置を特定したり、データセル領域からの情報の読み取りを確実にするためのコードとから構成される。位置、向き、および、座標系を推定するときの２次元コードの読み取り方法は、(１)撮像された画像中からの位置決めマーカの探索、(２)座標系の推定、(３)データセル領域からのデータを読み取りの３つの手順からなる。
ここで対象物が紙媒体であるシステムにおける具体的な手順を説明する。まず位置決めマーカを画像中で探索し、画像中での位置決めマーカの位置を推定する。次に画面上の点と実際の印刷物上の座標の幾何的関係を算出する。図１６に示すように実際の印刷物が平面であることを利用して、画像中の２次元コードの４隅の点と実際の２次元コードの４隅の点とを対応付け、カメラパラメータ行列を算出する。最後にこのカメラパラメータ行列によって画像中の印刷物に含まれる画素が実際の印刷物上のどの点に対応するかを算出できることを利用し、データ領域を元の平面の形に戻し、データを読み出す(例えば、特許文献１、非特許文献１参照。)。
特開２０００−８２１０７号公報 Ｊｕｎ Ｒｅｋｉｍｏｔｏ ａｎｄ Ｙｕｊｉ Ａｙａｔｓｕｋａ，ＣｙｂｅｒＣｏｄｅ：Ｄｅｓｉｇｎｉｎｇ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ Ｖｉｓｕａｌ Ｔａｇｓ，Ｄｅｓｉｇｎｉｎｇ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔｓ（ＤＡＲＥ２０００）、２０００
上述の従来法において、デジタルカメラ等によって撮像された画像中から２次元コードを探索するステップで、撮影による量子化および２値化処理による領域の満ち欠けによる誤差や探索誤差が生じることがある。この誤差は、当然２次元コードの４隅の点を実際の印刷物上の座標の点と対応付けるステップに影響する。
つまり図１７に示すように画像中の印刷物上に仮想的に設置される座標系は、２次元コードがその原点となり、射影変換行列によってＸ軸７とＹ軸８が算出される。そして、その座標系でのＸ、Ｙ座標は、Ｘ軸とＹ軸を表す基底ベクトルをスカラー倍することによって表現される。このとき、前記の誤差は、原点の位置、Ｘ軸とＹ軸の方向に影響することになる。原点の位置のズレは、最初の画像上でのズレ以上に拡大することはない。しかし、実世界の座標を計算したい点と仮想座標系の原点の距離に比例して、図１８に示すように座標を示すための基底ベクトルであるＸ軸とＹ軸の向きの誤差の影響が大きくなり、画像中では数ピクセルの誤差であってもそれが無視できないものとなってくる。特に画像中の印刷物が写っている領域で細かい点を区別し、ユーザにそれを指定させるプロセスにおいては、この誤差は致命的なものとなる。
この誤差による影響を減らすために、２次元コードを印刷物やテーブルの数ヶ所に添付するという方法もあるが、パンフレット、ポスターといった日常で使用するものに対して、多くの２次元コードを貼り付けることは、２次元コードが印刷物等に占める割合が大きくなりすぎ、現実的ではない。
本発明は、かかる事情に鑑みなされたもので、その目的は上記課題を解決できる対象物へ付与されたコードの処理技術を提供することにある。
そこで上記問題を解決するために、請求項１は位置決めマーカと、対象物の大きさ情報を含むデータセル領域とが付与された対象物の撮影画像の処理方法であって、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物の大きさ情報を抽出するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、を有することを特徴とする。
また、請求項２は、４隅に配置された位置決めマーカと、対象物の大きさ情報を含むデータセル領域とが付与された対象物の撮影画像の処理方法であって、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定するステップと、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物の大きさ情報を抽出するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、を有することを特徴とする。
また、請求項３は、入力された対象物の撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする。
また、請求項４は、入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定するステップと、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有することを特徴とする。
また、請求項５は、対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、画像処理手段からの要求により前記データベースの検索を行う検索手段と、入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物識別情報を検出するステップと、この対象物識別情報を前記検索手段に送信するステップと、前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする。
また、請求項６は、対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、画像処理手段からの要求により前記データベースの検索を行う検索手段と、入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定するステップと、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物識別情報を検出するステップと、この対象物識別情報を前記検索手段に送信するステップと、前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする。
また、請求項７は、入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索する手段と、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成する手段と、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定する手段と、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出する手段と、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、前記データセル読み取り画像中のデータセル領域を検出する手段と、前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出する手段と、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする。
また、請求項８は、入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索する手段と、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成する手段と、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定する手段と、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出する手段と、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、前記データセル読み取り画像中のデータセル領域を検出する手段と、前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出する手段と、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有することを特徴とする。
また、請求項９は、対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、画像処理手段からの要求により前記データベースの検索を行う検索手段と、入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索する手段と、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成する手段と、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定する手段と、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出する手段と、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、前記データセル読み取り画像中のデータセル領域を検出する手段と、前記検出したデータセル領域から対象物識別情報を検出する手段と、この対象物識別情報を前記検索手段に送信する手段と、前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得する手段と、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする。
また、請求項１０は、対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、画像処理手段からの要求により前記データベースの検索を行う検索手段と、入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索する手段と、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成する手段と、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定する手段と、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出する手段と、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、前記データセル読み取り画像中のデータセル領域を検出する手段と、前記検出したデータセル領域から対象物識別情報を検出する手段と、この対象物識別情報を前記検索手段に送信する手段と、前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得する手段と、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする。
また、請求項１１は、上記の請求項１〜１０のいずれか１項に記載の方法またはシステムを、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
また、請求項１２は、上記の請求項１〜１０のいずれか１項に記載の方法またはシステムを、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする。
本発明は、従来の１つの２次元コードが対象物に占める面積比をそのままに、対象物上でのより誤差の少ない座標推定が可能となる対象物に印刷するコードの処理方法を提供するものである。本発明は、画像中で位置決めマーカや情報が埋め込まれたデータセル領域を探索するときに発生する誤差の座標推定時への影響を低減させるため、図１に示すように２次元コードを対象物の特定の１ヶ所ではなく、例えば４つの位置決めマーカ１と１つのデータセル領域２の計５つの領域に分割して配置される。これらの４つの位置決めマーカを用いて、前記２次元コードと同様に射影変換行列を算出し、画像中の対象物上の座標系を推定する。対象物は、４つの位置決めマーカによって囲まれるため、対象物上で推定される座標系のＸ軸とＹ軸は、対象物を構成する辺となる。つまり、推定される対象物上の任意の座標は、すべて位置決めマーカの４隅の内側に存在することになる。従来の１ヶ所に１つの位置決めマーカを印刷する方法では、少しの画像上の誤差が拡大されてしまうが、本発明における位置決めマーカの構成では、位置決めマーカから離れれば離れる程大きくなる誤差の影響を低減することができる。なお、位置決めマーカは４つに限られず、４角形以外の多角形の形に配置すること、４点以上配置することも可能である。
２次元コードが印刷された対象物を撮影した画像から位置決めマーカを探索する時の誤差は、画像中での対象物の仮想座標推定に影響する。従来法では、この誤差が画面中の対象物に含まれる任意の点を実際の対象物上の点に対応させるステップにおいて、２次元コードと対応させる点の距離に比例して拡大されてしまうという問題がある。
そこで本発明によれば、位置決めマーカを例えば対象物の４隅に配置することで、位置決めマーカから離れれば離れる程大きくなる誤差の影響を低減することができ、画像中の対象物に含まれる画素に対応する実際の対象物上の点をより精度よく算出することができる
以下に本発明における実施形態について説明する。
（情報連携装置の構成例）
図２に本実施形態における印刷物からの情報読み取り装置１０および印刷物データベース装置２０の概略図を示す。本実施形態は、印刷物と情報を連携させ、コードから印刷物の座標系を推定し、画像中で印刷物の適切な位置に関連する情報を重畳表示するシステムである。
（情報読み取り装置１０）
情報読み取り装置１０は、印刷物を撮影する撮影手段１１、情報読み取り装置１０を操作するための入力手段１４、撮影画像および読み取り結果を表示するための表示手段１５、撮影画像、連携情報を処理する画像処理手段１２、印刷物データベース装置２０と通信するためのネットワーク手段１３から構成される。
（印刷物データベース装置２０）
印刷物データベース装置２０は、情報読み取り装置１０と通信するためのネットワーク手段２２および検索手段２１、データベース手段２３から構成されている。
データベース手段２３は、図３に示されるようなデータテーブル３０で構成される。データテーブル３０は、各印刷物を識別する印刷物識別番号３１および印刷物の実際の大きさのデータ３２、印刷物内容情報３３から構成される。
印刷物内容情報３３は、領域識別番号３４、領域データ３５、領域連携情報３６から構成される。
領域識別番号３４は、印刷物上にある内容物を識別するための情報である。
領域データ３５は、印刷物上にある内容物の領域を点配列や円、四角形などの幾何形状で示したものである。
領域連携情報３６は、各領域重畳表示される情報やＵＲＬ情報などから構成される。
（本装置の利用形態）
ユーザは印刷物を撮影手段１１によって撮影する。撮影手段によって撮影された画像は撮影画像として画像処理手段１２へ送られる。
画像処理手段１２はこの撮影画像を処理し、カメラパラメータ行列を算出、印刷物内容情報を取得する。この処理については後述する。
次にユーザは、表示手段１５に表示された撮影画像を見ながら、画像中の印刷物領域の画素を入力手段１４を用いて指定する。
画像処理手段１２は、入力された画素の座標に対応する実際の印刷物上の実座標をカメラパラメータ行列を用いて算出する。このカメラパラメータの算出方法では、印刷物内容情報に含まれるどの領域に実座標が該当するかが判断され、該当する領域関連情報が取得される。この領域関連情報は、撮影画像に重畳され、表示手段１５に表示される。ユーザは、図４に示すようにこの結果を表示手段１５から閲覧することができる。
（印刷物）
印刷物に印刷されたコードの特徴について説明する。本実施形態では、図１に示すように、４つの位置決めマーカ１は印刷物の４隅に、データセル領域２は左上の位置決めマーカの真下に印刷されている。
（位置決めマーカ）
本実施形態では、位置決めマーカーに白黒のＱＲコードの位置決めマーカを用いている。図１に示すように位置決めマーカーの周囲には、位置決めマーカのサイズの１／７倍の幅の余白３が印刷されている(例えば、特開平１０−２０８００１号公報参照。)。
（データセル領域）
データセル領域２は、ビットを表すセル４１から構成される。図５に示すように、白（明）と黒（暗）の正方形セルの２次元の配列から構成される。このセルのサイズは、位置決めマー力一のサイズの２／７倍となっている。
本実施形態のセルの配列４２は、１１×４のセルから構成されている。左端の列は、ビットパターンを読むためのパターンビットとなっており、白と黒のセルが交互にならんでいる。左端から２番目の列の一番上のセル４４が横幅を計測するためのパターンビットとなっている。左端から２番目の列の一番上のセル以外と、右端の列、右端から２番目の列は、データを表し、本実施形態では、３２ビットのデータを保持できるものとなっている。このデータセル領域は、データ量に応じて拡大することも縮小することも可能である。
（印刷物を撮影した画像の処理方法）
画像処理手段１２における印刷物を撮像した撮影画像に対するカメラパラメータ行列、印刷物内容情報および印刷物の実際の大きさの情報を取得するまでの処理について図６および図７を用いて説明する。
（画像の前処理・グレースケール化）
まず、撮影手段１２から送信された撮影画像をグレースケールで構成されるグレースケール画像に変換する（Ｓ１０１−１）。変換は、ＹＵＶ色変換方法を用いて、輝度値を２５６段階で取り出し、グレースケール画像として変換、保存する。
次にグレースケール画像に対して、位置決めマーカーを検出しやすくするため、メディアンフィルタによる処理を行い、グレイスケール画像中のノイズを取り除く。
（画像の前処理・２値化）
グレースケール画像は、そのままでは画像処理に適さないため、２値化を行う（Ｓ１０１−２）。まず、グレースケール画像を適当な領域で区切り、それぞれの領域に対して、２値化後の０と１になる領域の分散が最大となる閾値を算出する。その閾値を用いて、各領域を２値化していく。その後２値化画像中に現れる小さなノイズを消去するため、拡張・収縮によるノイズ除去を行い、２値化画像を得る。
（位置マーカの探索）
次に２値化画像の中から位置決めマーカを探索する（Ｓ１０２）。
２値化画像の左上から右下へ白と黒の画素の長さについて、ランレングススキャンを行う。得られた一行ごとのランレングススキャンの結果の中から黒：白：黒：白：黒の長さが１：１：３：１：１となる該当部分を探索し、この比が３となる中央部分の画像の座標をマーカ該当座標として保存する。２値化画像中で位置決めマーカが回転している場合は、この１：１：３：１：１となる該当部分が検出されないことがある。この場合を考慮して、回転の影響去受けた画像でも確実に読み込まれるようにするため、２値化画像を回転させならがら、ランレングススキャンを行う。次に保存されたマーカ該当座標を用いて、図８に示すように新しく位置決めマーカの探索結果だけを記録するマーカ該当画像を作成する。探索終了後、マーカ該当画像に対して、偶然に１：１：３：１：１となり、ノイズとして現れてくる部分を削除するために拡張・収縮を用いて、ノイズ除去を行う(Ｓ１０２−１〜５)。
（マーカの座標値の決定）
前段の処理の結果得られたマーカ該当画像に対してラベリングを行う（Ｓ１０２−６）。このとき本来は４つしかないはずの位置決めマーカと考えられる領域が５つ以上ある場合は、ラベリングの結果を用いて、領域の周の長さと領域の外接長方形の大きさの２つの条件で、領域を絞り込む。周の長さが小さすぎる場合、大きすぎる場合は、位置決めマーカではないと判断し、外接長方形の大きさが細長すぎる場合にもそれが位置決めマーカではないと判断する(Ｓ１０２−７)。
最後にそれぞれの位置決めマーカであると推定された４つの領域１５０の重心を求め、その座標を撮影画像中の位置決めマーカの中心の座標であると確定する(Ｓ１０２−８)。
（正方形への画像の補正）
前段の処理で得られた４点を正方形の４点に対応するように並べかえる。図１６に示したカメラパラメータ行列の導出方法に基づき、図９に示すように４つの位置決めマーカの撮影画像中の位置と、任意の大きさの正方形の４点を対応付け(Ｓ１０３−１)、印刷物の縦横比を無視した一時カメラパラメータ行列を求める（ＳＳ１０３−２）。
次にこの一時カメラパラメータ行列を用いて、撮影画像中の印刷物を正方形に補正する（Ｓ１０３−３〜４）。この一時カメラパラメータ行列は、データセル領域を読み取るために使用するものである。
補正は、一時カメラパラメータ行列を用いて、図１０に示すように前段の処理で得られた４点２０１の外接長方形２００内のすべての座標点に対して行う。ここで、一時データセル読み取り画像を生成し、一時データセル読み取り画像に補正した結果を入力していく。このとき元の撮影画像の外接長方形２００の点が離散的に並んでいるため、実世界の印刷物上の座標をすべて網羅することはできない。従ってここで作成した一時データセル読み取り画像は、量子化ノイズが混入する画像となる。ここで、拡大・収縮処理を施し、この小さな量子化ノイズを除去する。
図１１に示すようにできあがった一時データセル読み取り画像２１０は、各位置決めマーカの４つの重心（中心）を４隅の点として扱っているため、この画像を用いて、実際に印刷物に印刷されているデータセルを読み取ることや印刷内容を処理することはできない。そこで、位置決めマーカ２１１が既知の形状（正方形）であることを利用して、一時データセル読み取り画像から位置決めマーカ内部の正方形２１１の大きさを推定する。
その正方形の縦横の大きさだけ位置決めマーカの中心を平行移動し、図１２に示すように補正の結果の画像上での真の印刷物の隅の座標２２１を算出する。
この座標２２１を再度、一時カメラパラメータ行列によって、撮影画面上の座標に変換し、印刷物全体を含んだ外接長方形２２０を算出する。この外接長方形２２０の内部の点に対して、一時カメラパラメータ行列を用いて、印刷物上での点を算出し、図１３に示すように再度補正した印刷物のデータセル読み取り画像２３０を得る。当然この画像２３０は、印刷物全体を含んでいる。
（パターンビットの読み取りと向き合わせ）
次に図１３に示すデータセル読み取り画像２３０の左上の位置決めマーカの下にあるデータセル領域のパターンビットを形成するセルをチェックする(Ｓ１０５−２)。このときパターンビットが検出されない場合は、４つの位置決めマーカを並び替えるときにデータセル読み取り画像が回転して出力されていると考えられるため、画像を９０度回転させて(Ｓ１０５−４)、パターンビットをチェックする。データセル読み取り画像を回転させた角度だけ、４隅の位置づけマーカの画像中での位置の順番も同時に回転させておく。これを４回行い、もし、一度もパターンビットが検出されない場合は，データセル読み堅り画像中にデータセル領域がないものとし、読み取りを終了する。
（データセル領域からの情報の読み取り）
データセル読み取り画像のパターンビットを利用し、データセル領域のセルの配列を探索する。パターンビットの白と黒のセルの境界の中点を縦方向に読み取る際のＹ座標とする。また、左端から２番目の列もっとも上のセルは必ず白であり、パターンビットに含まれるもっとも左上に位置するセルが常に黒であるため、このもっとも左上に位置するセルの横幅を画像から計測することができる。さらにもっとも右端のセルの重心のＸ座標が、位置決めマーカの外枠のＸ座標と等しくなるように構成されているため、それぞれのセルの重心のＸ、Ｙ座標を算出することができる。この重心の周囲のピクセルに白あるいは黒のピクセルがどれだけの割合で含まれているかを調査し、そのセルが０か１を決定する。これにより、合計３２ビットの印刷物識別情報をデータセル領域から取得する(Ｓ１０５−６)。
（印刷物に関する情報の取得）
次に画像処理手段１２における一連の処理で取得した印刷物識別情報をネットワーク手段１３に送る。ネットワーク手段１３は、印刷物識別情報を別に設置された印刷物情報データベース装置２０におけるネットワーク手段２２へ送る。次にネットワーク手段２２から検索手段２１へ印刷物識別情報を送信する。検索手段２１は、印刷物識別情報を用いて、印刷物内容情報および印刷物の実際の大きさの情報をデータベース手段２３から取得する。次に検索手段２１は、ネットワーク手段２２通じて、情報読み取り装置１０へ印刷物内容情報および印刷物の実際の大きさの情報を送信し、画像処理手段１２は情報を取得する(Ｓ１０６−１)。
（カメラパラメータ行列）
画像処理手段１２は、前段の処理によって得た印刷物の実際の大きさの情報を用いて、印刷物の縦横比を加味した一時カメラパラメータ行列を算出する。一時データセル読み取り画像作成ステップでは、一時的に印刷物を正方形と仮定してカメラパラメータ行列を計算していたが、ここでは、縦横比の適切な実際の印刷物の大きさを用いて、カメラパラメータ行列を算出する(Ｓ１０６−３)。これによって画像中の印刷物領域に含まれる任意の画素に対応する実際の印刷物上の座標を算出することができる。
（変形例）
以下に本実施形態の変形例について説明する。
（変形例１）
前記実施形態では、印刷物の実際の大きさの情報および印刷物内容情報を、ネットワーク手段１３を用いて、外部に別に設置された印刷物データベース装置２０を用いて取得していたが、印刷物のデータセル領域に印刷物の実際の大きさの情報および印刷物内容情報を持たせ、情報読み取り装置に備えられたネットワーク手段１３および印刷物データベース装置２０を省いて構成することも可能である。
（変形例２）
本実施形態では、位置決めマーカにＱＲコードを用いているが、正方形や円といった特定の幾何形状をもった一般的な位置決めマーカもＱＲコードの代わりとして使用することができる。またデータセル領域や位置決めマーカの色も白と黒の色だけでなく、他の色を使用して構成することも可能である。
（変形例３）
図２に示すように本実施形態における読み取り装置１０は、印刷物を撮像する手段１１を内蔵しているが、情報読み取り装置に記憶媒体読み取り手段を備えることで、デジタルカメラなどの外部撮影装置によって撮影された画像を記億媒体手段などを通して、図１４のように構成することも可能である。
（変形例４）
本実施形態の印刷物位置決めマーカは、印刷物上に４隅だけでなく、四角形以外の形に配置することも可能であり、４点以上配置することも可能である。
（変形例５）
本実施形態のデータセル領域は、印刷物上に１ヶ所だけではなく、２ヶ所以上に配置することも可能である。
（変形例６）
本実施形態における対象物は紙媒体の他に所定のコードが印刷されたものだけではなく、図１５に示すようにＣＲＴや液晶ディスプレイ等、一般的な表示手段に所定のコードを表示したものに応用することも可能である。
なお、本発明は図２、図１４に示したシステムの一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図１、図３〜図１５で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
対象物に位置決めマーカを付す一例を示す図。 情報読み取り装置および印刷物データベース装置からなるシステムの概略構成図。 データテーブルの概略構成図。 表示手段において対象物に関する情報を重畳した画像の一例を示す説明図。 データセル領域の構成の一例を示す説明図。 画像処理手段における処理フロー図。 画像処理手段における処理フロー図。 マーカ該当画像の一例を示す説明図。 ４つの位置決めマーカの撮影画像中の位置と任意の大きさの正方形の４点との対応付けの一例を示す説明図。 ４つの位置決めマーカの中心の外接長方形を示す説明図。 一時データセル読み取り画像を示す説明図。 真の印刷物の隅の座標の外接長方形を示す説明図。 データセル読み取り画像を示す説明図。 読み取り装置の変形例の概略構成図。 本発明を一般的な表示手段であるＣＲＴに応用した例を示す説明図。 画面上の点と実際の印刷物上の座標の幾何的関係を算出する説明図。 画像中の印刷物上に仮想的に設置される座標系を示す説明図。 実世界の座標と仮想座標系の座標とのずれを示す説明図。
符号の説明
１…位置決めマーカ
２…データセル領域
３…余白
１０…連携情報読み取り装置
１１…撮影手段
１２…画像処理手段
１３…ネットワーク手段
１４…入力手段
１５…表示手段
２０…印刷物データベース装置
２１…検索手段
２２…ネットワーク手段
２３…データベース手段
３０…データテーブル
３１…印刷物識別番号
３２…実際のデータの大きさ
３３…印刷物内容情報
３４…領域識別番号
３５…領域データ
３６…領域連携情報
４１…ビットを表すセル
４２…セルの配列
４４…横幅を計測するためのパターンビット

Claims (12)

  1. 位置決めマーカと、対象物の大きさ情報を含むデータセル領域とが付与された対象物の撮影画像の処理方法であって、
    前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、
    前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
    位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成するステップと、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、
    前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、
    前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
    前記データセル読み取り画像中のデータセル領域を検出するステップと、
    前記検出したデータセル領域から対象物の大きさ情報を抽出するステップと、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、を有することを特徴とする対象物の撮影画像の処理方法。
  2. ４隅に配置された位置決めマーカと、対象物の大きさ情報を含むデータセル領域とが付与された対象物の撮影画像の処理方法であって、
    前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、
    前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
    ４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定するステップと、
    前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、
    前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
    前記データセル読み取り画像中のデータセル領域を検出するステップと、
    前記検出したデータセル領域から対象物の大きさ情報を抽出するステップと、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、を有することを特徴とする対象物の撮影画像の処理方法。
  3. 入力された対象物の撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、
    撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
    ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、
    前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、
    前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
    位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成するステップと、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、
    前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、
    前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
    前記データセル読み取り画像中のデータセル領域を検出するステップと、
    前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出するステップと、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、
    前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、
    前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする対象物の撮影画像の処理方法。
  4. 入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、
    撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
    ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、
    前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、
    前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
    ４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定するステップと、
    前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、
    前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
    前記データセル読み取り画像中のデータセル領域を検出するステップと、
    前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出するステップと、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、
    前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、
    前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有することを特徴とする対象物の撮影画像の処理方法。
  5. 対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、
    画像処理手段からの要求により前記データベースの検索を行う検索手段と、
    入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、
    撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
    ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、
    前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、
    前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
    位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成するステップと、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、
    前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、
    前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
    前記データセル読み取り画像中のデータセル領域を検出するステップと、
    前記検出したデータセル領域から対象物識別情報を検出するステップと、
    この対象物識別情報を前記検索手段に送信するステップと、
    前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得するステップと、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、
    前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、
    前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする対象物の撮影画像の処理方法。
  6. 対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、
    画像処理手段からの要求により前記データベースの検索を行う検索手段と、
    入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、
    撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
    ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、
    前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、
    前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
    ４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定するステップと、
    前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、
    前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
    前記データセル読み取り画像中のデータセル領域を検出するステップと、
    前記検出したデータセル領域から対象物識別情報を検出するステップと、
    この対象物識別情報を前記検索手段に送信するステップと、
    前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得するステップと、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、
    前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、
    前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする対象物の撮影画像の処理方法。
  7. 入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、
    撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
    ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、
    前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索する手段と、
    前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、
    位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成する手段と、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定する手段と、
    前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出する手段と、
    前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、
    前記データセル読み取り画像中のデータセル領域を検出する手段と、
    前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出する手段と、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、
    前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、
    前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする画像表示システム。
  8. 入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、
    撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
    ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、
    前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索する手段と、
    前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、
    ４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成する手段と、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定する手段と、
    前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出する手段と、
    前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、
    前記データセル読み取り画像中のデータセル領域を検出する手段と、
    前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出する手段と、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、
    前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、
    前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有することを特徴とする画像表示システム。
  9. 対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、
    画像処理手段からの要求により前記データベースの検索を行う検索手段と、
    入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、
    撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
    ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、
    前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索する手段と、
    前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、
    位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を、前記任意の領域と同一もしくは相似の形状に補正して一時データセル読み取り画像を生成する手段と、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定する手段と、
    前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出する手段と、
    前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、
    前記データセル読み取り画像中のデータセル領域を検出する手段と、
    前記検出したデータセル領域から対象物識別情報を検出する手段と、
    この対象物識別情報を前記検索手段に送信する手段と、
    前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得する手段と、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、
    前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、
    前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする画像表示システム。
  10. 対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、
    画像処理手段からの要求により前記データベースの検索を行う検索手段と、
    入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、
    撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
    ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、
    前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索する手段と、
    前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、
    ４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、
    前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成する手段と、
    予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、その位置決めマーカの縦横の大きさだけ位置決めマーカの中心を平行移動し、前記撮影画像中での対象物の４隅の位置を特定する手段と、
    前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出する手段と、
    前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、
    前記データセル読み取り画像中のデータセル領域を検出する手段と、
    前記検出したデータセル領域から対象物識別情報を検出する手段と、
    この対象物識別情報を前記検索手段に送信する手段と、
    前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得する手段と、
    前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、
    前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、
    前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする画像表示システム。
  11. 上記の請求項１〜１０のいずれか１項に記載の方法またはシステムを、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
  12. 上記の請求項１〜１０のいずれか１項に記載の方法またはシステムを、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。
JP2004034476A 2004-02-12 2004-02-12 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体 Expired - Fee Related JP4444684B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004034476A JP4444684B2 (ja) 2004-02-12 2004-02-12 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004034476A JP4444684B2 (ja) 2004-02-12 2004-02-12 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体

Publications (2)

Publication Number Publication Date
JP2005227929A JP2005227929A (ja) 2005-08-25
JP4444684B2 true JP4444684B2 (ja) 2010-03-31

Family

ID=35002613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004034476A Expired - Fee Related JP4444684B2 (ja) 2004-02-12 2004-02-12 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体

Country Status (1)

Country Link
JP (1) JP4444684B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4029411B1 (ja) * 2006-06-30 2008-01-09 ビーコア株式会社 光学式シンボル及びそれが付された物品並びに光学式シンボルを物品に付す方法及び光学式シンボルのデコード方法。
US10378877B2 (en) 2012-11-02 2019-08-13 Sony Corporation Image processing device, image processing method, and program
US20160379031A1 (en) * 2015-06-23 2016-12-29 Konica Minolta Laboratory U.S.A., Inc. High capacity 2d color barcode design and processing method for camera based applications
KR102223335B1 (ko) * 2018-08-29 2021-03-08 주식회사 케이티 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램
CN111918049B (zh) * 2020-08-14 2022-09-06 广东申义实业投资有限公司 三维成像的方法、装置、电子设备及存储介质
CN114049310B (zh) * 2021-10-26 2024-03-08 西北工业大学 一种磁悬浮轴承转子与其保护轴承相对位置图像分析方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3716527B2 (ja) * 1997-01-28 2005-11-16 株式会社デンソー ２次元コードの読取方法
JP3786166B2 (ja) * 1998-06-30 2006-06-14 ソニー株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2002024752A (ja) * 2000-07-03 2002-01-25 Seiko Epson Corp 二次元コード読み取り方法、情報記録媒体及び二次元コード読み取り装置

Also Published As

Publication number Publication date
JP2005227929A (ja) 2005-08-25

Similar Documents

Publication Publication Date Title
US10198661B2 (en) System for determining alignment of a user-marked document and method thereof
JP4958497B2 (ja) 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
JP5058686B2 (ja) 情報処理方法及び情報処理装置
JP5075182B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP5686003B2 (ja) 画像処理装置の制御方法、画像処理装置及び画像処理装置の制御プログラム
JP5773436B2 (ja) 情報端末装置
CN102484724A (zh) 投影图像区域检测装置
JP2016167229A (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
TW201346216A (zh) 虛擬尺
JP2005326274A (ja) 配置情報推定方法および情報処理装置
JP6048575B2 (ja) サイズ測定装置及びサイズ測定方法
JP2007074579A (ja) 画像処理装置、及びプログラム
WO2014045508A1 (ja) 検査装置、検査方法、および検査プログラム
JP4444684B2 (ja) 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体
CN115830135A (zh) 一种图像处理方法、装置及电子设备
JP4323453B2 (ja) 情報取得方法、及び情報取得プログラム
US20080199106A1 (en) Information terminal
JP4675055B2 (ja) マーカ処理方法、マーカ処理装置、プログラム、および、記録媒体
US20180061135A1 (en) Image display apparatus and image display method
JP2011071746A (ja) 映像出力装置及び映像出力方法
JP2002135807A (ja) ３次元入力のためのキャリブレーション方法および装置
JP7223198B1 (ja) メータ読取装置、メータ読取方法、及びメータ読取プログラム
JP6815712B1 (ja) 画像処理システム、画像処理方法、画像処理プログラム、画像処理サーバ、及び学習モデル
US20210390325A1 (en) System for determining alignment of a user-marked document and method thereof
CN115496807B (zh) 表计指针的定位方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060411

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100114

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees