JP6952868B2 - 情報処理装置、情報処理システム、および情報処理プログラム - Google Patents

Description

本開示は、情報処理システム、情報処理装置および情報処理方法に関する。

従来、回路基板上の予め指定された箇所に電子部品を載置し、載置された電子部品の検査が広く行なわれている。例えば、特開２０１６−６２３６５号公報（特許文献１）は、画像投影により載置した電子部品の検査作業を支援する載置支援方法を開示している。

特開２０１６−６２３６５号公報

近年、プリント基板に搭載される電子部品の小型化が著しく進んでおり、プリント基板には小型化した電子部品が多数（例えば、数百〜数千個）搭載される。そのため、従来におけるプリント基板上へのシンボル印刷、および電子部品自体への印刷等がなされていない場合も多い。これにより、プリント基板に設けられた配線等の把握、あるいは、プリント基板上に搭載された電子部品の把握が困難となっている。例えば、プリント基板の開発、評価等の作業時においては、プリント基板に関する情報を記載した図面等を用いて作業を行なわなければならず、作業者に対する負担が大きいという問題がある。

特許文献１では、画像投影により載置した電子部品の検査作業を支援することを検討しているが、プリント基板に設けられた個々の配線、電子部品等を識別するものではない。また、プリント基板には、多くの配線および電子部品が設けられているため、画像投影によりそれらを識別するのは困難である。

本開示のある局面における目的は、プリント基板の撮像画像に、当該プリント基板を構成する各要素の情報を重畳して表示することにより、作業者の負荷を軽減することが可能な情報処理システム、情報処理装置、および情報処理方法を提供することである。

ある実施の形態に従うと、端末装置と、情報処理装置とを備える情報処理システムが提供される。端末装置は、プリント基板の少なくとも一部を撮像する撮像部と、撮像されたプリント基板の少なくとも一部の撮像画像を情報処理装置に送信する第１の通信部とを含む。情報処理装置は、撮像画像を受信する第２の通信部と、撮像画像と、プリント基板を構成する複数の要素の設計情報とに基づいて、プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出する抽出部と、撮像画像に、１以上の要素の設計情報に基づく画像を重畳した画像を生成する画像生成部とを含む。第２の通信部は、生成された画像を端末装置に送信する。端末装置は、第１の通信部によって受信された生成された画像を端末装置のディスプレイに表示させる表示制御部をさらに含む。

他の実施の形態に従う情報処理装置は、プリント基板の少なくとも一部を撮像する撮像部と、撮像されたプリント基板の少なくとも一部の撮像画像と、プリント基板を構成する複数の要素の設計情報とに基づいて、プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出する抽出部と、撮像画像に、１以上の要素の設計情報に基づく画像を重畳した画像を生成する画像生成部と、画像生成部により生成された画像をディスプレイに表示させる表示制御部とを含む。

さらに他の実施の形態に従う情報処理方法は、プリント基板の少なくとも一部を撮像するステップと、撮像されたプリント基板の少なくとも一部の撮像画像と、プリント基板を構成する複数の要素の設計情報とに基づいて、プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出するステップと、撮像画像に、１以上の要素の設計情報に基づく画像を重畳した画像を生成するステップと、生成するステップにより生成された画像を表示するステップとを含む。

本開示によると、プリント基板の撮像画像に、当該プリント基板を構成する各要素の情報を重畳して表示することにより、作業者の負荷を軽減することが可能となる。

実施の形態１に従う情報処理システムの全体構成を説明するための図である。 実施の形態１に従う端末装置のハードウェア構成の一例を示す図である。 実施の形態１に従う情報処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態１に従う情報処理システムの動作概要を説明するためのフローチャートである。 実施の形態１に従う設計情報データベースのデータ構造の一例を示す図である。 実施の形態１に従う撮像画像を示す図である。 実施の形態１に従う抽出方式を用いて抽出された設計情報の一例を示す図である。 実施の形態１に従う重畳画像の一例を示す図である。 実施の形態１に従う端末装置および情報処理装置の機能構成の一例を示すブロック図である。 実施の形態２に従う抽出方式を用いて抽出された設計情報に基づく画像を仮想的に示す図である。 実施の形態２に従う重畳画像の一例を示す図である。 実施の形態３に従う重畳画像の一例を示す図である。 実施の形態３に従う重畳画像の他の例を示す図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

実施の形態１．
＜システム構成＞
図１は、実施の形態１に従う情報処理システム１０００の全体構成を説明するための図である。図１を参照して、情報処理システム１０００は、プリント基板である基板３０の作製、試験および評価等の基板開発時に行なわれる作業を支援するためのシステムである。

情報処理システム１０００は、端末装置１０と、情報処理装置２０とを含む。端末装置１０および情報処理装置２０は、互いに通信可能に構成されている。端末装置１０のユーザ（例えば、作業者）と情報処理装置２０のユーザとは同一であってもよいし、異なる場合であってもよい。

本実施の形態において、「プリント基板」は、電子部品が実装される前のプリント配線板と、電子部品が実装された後のプリント回路板とを含む概念である。基板３０は、プリント配線板であってもよいし、プリント回路板であってもよい。

端末装置１０は、例えば、ユーザの頭に装着可能に構成されたヘッドマウント機器である。端末装置１０は、以下に説明する機能および処理を実行可能な装置であればよく、例えば、タブレット端末装置、スマートフォン等であってもよい。

情報処理装置２０は、例えば、ラックトップＰＣ（Personal Computer）である。ただし、端末装置１０は、以下に説明する機能および処理を実行可能な装置であればよく、例えば、デスクトップＰＣ、タブレット端末装置、スマートフォン等であってもよい。

図２は、実施の形態１に従う端末装置１０のハードウェア構成の一例を示す図である。図３を参照して、端末装置１０は、プロセッサ１０２と、ＲＯＭ１０４と、ＲＡＭ１０６と、ディスプレイ１０８と、カメラ１１０と、通信インターフェイス１１２と、入力インターフェイス１１４とを含む。これらは、内部バス１１６を介して互いに通信可能に接続されている。

プロセッサ１０２は、典型的には、ＣＰＵ（Central Processing Unit）あるいはＭＰＵ（Multi Processing Unit）といった演算処理部であり、ＲＯＭ１０４にインストールされている各種プログラムを読出して、ＲＡＭ１０６に展開しつつ実行する。

ディスプレイ１０８は、ユーザの頭部に装着可能なディスプレイである。カメラ１１０は、例えばＣＣＤ（Charge Coupled Device）方式、ＣＭＯＳ（Complementary Mental Oxide Semiconductor）方式その他の方式により実現される。なお、カメラ１１０は、ズーム倍率を変更するためのズーム機能および焦点距離を調整するためのフォーカス機能などを有する。

通信インターフェイス１１２は、端末装置１０と情報処理装置２０との間で各種データをやり取りするための通信インターフェイスである。通信方式としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどによる無線通信であってもよいし、ＵＳＢ（Universal Serial Bus）などを利用した有線通信であってもよい。

入力インターフェイス１１４は、例えば、ボタンであり、ユーザからの各種指示を受け付ける。なお、端末装置１０は、図示しない音声入力装置（例えば、マイク）、音声出力装置（例えば、スピーカ）等を含んでいてもよい。

図３は、実施の形態１に従う情報処理装置２０のハードウェア構成の一例を示すブロック図である。図３を参照して、情報処理装置２０は、プロセッサ１５０と、主記憶装置１５２と、二次記憶装置１５４と、通信インターフェイス１５６と、ディスプレイ１５８と、入力装置１６０と、汎用インターフェイス１６２とを含む。これらは、内部バス１６４を介して互いに通信可能に接続されている。

プロセッサ１５０は、二次記憶装置１５４にインストールされているＯＳを含む各種プログラムを読出して、主記憶装置１５２に展開しつつ実行する。主記憶装置１５２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性記憶媒体であり、プロセッサ１５０によって実行されるＯＳを含む各種プログラムのコードの他、各種プログラムの実行に必要な各種ワークデータを保持する。二次記憶装置１５４は、ハードディスクあるいはＳＳＤ（Solid State Drive）などの不揮発性記憶媒体であり、ＯＳを含む各種プログラムの他、各種設計情報などを保持する。

通信インターフェイス１５６は、情報処理装置２０が端末装置１０と通信するためのインターフェイスである。ディスプレイ１５８は、プロセッサ１５０に指示に従って各種情報を表示する。入力装置１６０は、典型的には、キーボードやマウスなどから構成され、ユーザからの各種設定および操作を受付ける。

汎用インターフェイス１６２は、典型的には、ＵＳＢ（Universal Serial Bus）インターフェイス、ＲＳ−２３２Ｃに従うシリアル通信インターフェイス等を含み、外部装置との間でデータを遣り取りする。

＜システムの動作概要＞
図４は、実施の形態１に従う情報処理システム１０００の動作概要を説明するためのフローチャートである。典型的には、端末装置１０の各ステップはプロセッサ１０２により実行され、情報処理装置２０の各ステップはプロセッサ１５０により実行される。ここでは、作業対象である基板３０を撮像することを作業者が認識しているものとする。

図４を参照して、端末装置１０は、カメラ１１０を用いて基板３０を撮像する（ステップＳ１０）。具体的には、ユーザの頭に装着された端末装置１０は、ユーザの視線に応じた基板３０の少なくとも一部を撮像する。このとき、ユーザは、カメラ１１０のズーム倍率を変更することにより、基板３０の確認したい部分を拡大あるいは縮小してもよい。

端末装置１０は、通信インターフェイス１１２を介して、取得した撮像画像（すなわち、基板３０の少なくとも一部の撮像画像）を情報処理装置２０に送信する（ステップＳ１２）。なお、撮像画像は、静止画、動画のいずれであってもよい。

情報処理装置２０は、通信インターフェイス１５６を介して、端末装置１０からの撮像画像を受信する（ステップＳ１４）。このとき、情報処理装置２０は、撮像画像を二次記憶装置１５４に記憶する。続いて、情報処理装置２０は、作業者からの指示（例えば、ファイル名の指定等）に従って、二次記憶装置１５４に格納された基板３０の設計情報を読み出し、当該設計情報を用いて撮像画像を分析する（ステップＳ１６）。具体的には、情報処理装置２０は、当該撮像画像が基板３０のどの領域を撮像した画像なのかを判定する。

ここで、設計情報には、基板３０に設けられる電子部品、配線、穴（例えば、ビアホール）、印刷文字、基板形状等の各種情報が含まれる。そのため、情報処理装置２０は、例えば、電子部品、配線、穴等の位置関係等を参照して、撮像画像が基板３０のどの面のどの領域を撮像した画像であるのかを判定できる。情報処理装置２０は、撮像画像に基づいて、基板３０の平面に対するカメラ１１０の撮像軸の角度θを算出し、上記設計情報に加えて算出角度θをさらに参照して撮像画像に含まれる基板３０の領域を判定してもよい。

なお、端末装置１０は、角速度センサ、地磁気センサ、加速度センサ、およびジャイロセンサ等の少なくとも１つを用いて、自身の位置および傾きを検出し、当該傾きを示す情報を情報処理装置２０に送信してもよい。基板３０の平面の傾きは既知であることから、情報処理装置２０は、基板３０の平面に対するカメラ１１０の撮像軸の角度θを算出できる。

情報処理装置２０は、撮像画像の分析結果に基づいて、二次記憶装置１５４に格納された基板３０の設計情報の中から、当該撮像画像に関連する設計情報を抽出する（ステップＳ１８）。例えば、ステップＳ１６において、撮像された基板３０の領域が、基板３０における４つの座標Ｐ１（Ｘ１，Ｙ１），Ｐ２（Ｘ２，Ｙ１），Ｐ３（Ｘ１，Ｙ２），Ｐ４（Ｘ２，Ｙ２）により囲まれた矩形領域Ｈであると判定されたものとする。この場合、情報処理装置２０は、撮像画像に関連する設計情報として、例えば、矩形領域Ｈに含まれる座標に位置する電子部品、配線、穴の設計情報を抽出する。

情報処理装置２０は、端末装置１０から受信した撮像画像に、抽出された設計情報（以下、「抽出設計情報」とも称する。）に基づく画像を重畳した重畳画像を生成する（ステップＳ２０）。詳細は後述するが、情報処理装置２０は、例えば、電子部品の設計情報（例えば、搭載面、搭載座標、搭載角度および端子座標等）と、基板３０に対するカメラ１１０の角度θとに基づいて、撮像画像上の電子部品に、当該電子部品の識別情報を示す文字画像を重畳した重畳画像を生成する。

情報処理装置２０は、通信インターフェイス１５６を介して、生成した重畳画像を端末装置１０に送信する（ステップＳ２２）。端末装置１０は、通信インターフェイス１１２を介して、情報処理装置２０から重畳画像を受信し（ステップＳ２４）、当該重畳画像をディスプレイ１０８に表示する（ステップＳ２６）。

＜設計情報データベース＞
図５は、実施の形態１に従う設計情報データベース５００のデータ構造の一例を示す図である。設計情報データベース５００は、ＣＡＤ（computer-aided design）システムにより仮想的に生成されたプリント基板を製造するために必要な情報が蓄積されたデータの集合体である。具体的には、設計情報データベース５００は、基板３０を構成する各要素の設計情報を格納したデータベースである。典型的には、設計情報データベース５００は、二次記憶装置１５４により実現されるが、外部のサーバ装置により実現されてもよい。

図５を参照して、設計情報データベース５００は、各要素の設計情報として、搭載部品情報と、パターン情報と、穴情報と、接続情報と、図形および文字情報と、配線板構成情報と、部品固有情報と、基板形状情報とを含む。以下の説明において、「座標」は、基板３０の予め定められた位置を基準としたときの位置情報である。

搭載部品情報は、基板３０に搭載される電子部品に関する情報である。具体的には、搭載部品情報は、部品ＩＤと、型名と、搭載面（例えば、表面または裏面）と、搭載座標（例えば、搭載される電子部品の中心座標）と、搭載角度（例えば、基板３０に対して電子部品が搭載される角度）と、電子部品に設けられる各端子の端子番号と、各端子の端子座標とを含む。

パターン情報は、配線パターンに関する情報である。具体的には、パターン情報は、配線を構成する各線分の線分ＩＤと、各線分の始点座標と、各線分の終点座標と、各線分の線幅と、各線分が配線される層を示す配線層とを含む。

穴情報は、基板３０に設けられる穴に関する情報である。具体的には、穴情報は、穴ＩＤと、穴が設けられる座標と、穴径と、穴が空いている上側の層を示す穴あき層１と、穴が空いている下側の層を示す穴あき層２とを含む。

接続情報は、電子部品の各端子の接続関係に関する情報である。接続情報は、接続ＩＤと、接続される一方の電子部品の部品ＩＤ１と、当該一方の電子部品の端子番号１と、接続される他方の電子部品の部品ＩＤ２と、当該他方の電子部品の端子番号２と、端子番号１および端子番号２間で遣り取りされる信号の信号名とを含む。

図形および文字情報は、基板３０上に設けられる（例えば、シンボル印刷された）図形、および文字に関する情報である。具体的には、図形および文字情報は、図形ＩＤと、図形の中心座標を示す図形座標と、文字の中心座標を示す文字座標と、図形および文字が表示される層を示す表示層とを含む。

配線板構成情報は、プリント配線板に関する情報である。具体的には、配線板構成情報は、プリント配線板の層数と、層ＩＤと、層が導体で構成されるか、非導電体で構成されるかを示す情報と、層名称とを含む。

部品固有情報は、基板３０に搭載される電子部品の詳細な固有情報である。部品固有情報は、部品幅と、電子部品の長さを示す部品長と、部品高さと、電子部品に設けられる電極本数と、電極長と、電極幅と、電子部品の撮像画像と、電子部品の機能を示す情報とを含む。

基板形状情報は、基板３０の４隅の頂点座標１〜４を含む。
＜重畳画像の生成方式＞
図６〜図９を参照して、重畳画像の生成方式について説明する。まず、設計情報データベース５００から、撮像画像に関連する設計情報を抽出する抽出方式について具体的に説明する。

図６は、実施の形態１に従う撮像画像６００を示す図である。図６を参照して、撮像画像６００は、電子部品７１ａ〜７１ｃと、配線７２ａ〜７２ｃと、穴７３ａ，７３ｂとを含む。なお、配線７２ｂの一部は、電子部品７１ｂによって覆われているとする。

情報処理装置２０は、撮像画像６００に含まれる電子部品７１ａ〜７１ｃ、配線７２ａ〜７２ｃ、および穴７３ａ，７３ｂの画像情報と、設計情報データベース５００に含まれる設計情報とに基づいて、撮像画像６００が基板３０のどの領域を撮像した画像なのかを判定する。情報処理装置２０は、例えば、撮像画像６００の中から複数の被写体を選定する。典型的には、被写体の大きさ、色等の特徴量に基づいて選定される。ここでは、形状の大きい電子部品７１ａ〜７１ｃが被写体として選定されたとする。なお、プリント基板に搭載される電子部品は、一般的に、パッケージ部分が黒色、電極部分が銀色、あるいは茶色であるため、色も被写体を選定する際の指標となり得る。

情報処理装置２０は、選定された電子部品７１ａ〜７１ｃの画像と、部品固有情報（例えば、電子部品の撮像画像、部品幅、部品長さ、電極本数等）とを照合して、各電子部品７１ａ〜７１ｃに対応する電子部品を判定する。情報処理装置２０は、当該判定された各電子部品の搭載部品情報を参照して、当該電子部品の搭載面、搭載座標等を取得する。

次に、情報処理装置２０は、各電子部品の搭載面、搭載座標等から各電子部品の位置関係を推定し、当該推定された位置関係と、撮像画像６００に含まれる電子部品７１ａ〜７１ｃの位置関係とを比較して、当該比較結果に基づいて撮像画像６００が基板３０のどの領域を撮像した画像かを判定する。具体的には、情報処理装置２０は、当該推定された位置関係と、撮像画像６００に含まれる電子部品７１ａ〜７１ｃの位置関係とが一致する領域が、撮像された基板３０の領域であると判定する。

なお、情報処理装置２０は、配線７２ａ〜７２ｃの位置関係と、パターン情報（例えば、配線層、線幅、始点座標、終点座標等）から推定される各配線の位置関係との比較結果、および、穴７３ａ，７３ｂの位置関係と、穴情報（例えば、座標、穴径等）から推定される穴の位置関係との比較結果をさらに利用して、撮像画像６００が基板３０のどの領域を撮像した画像かを判定してもよい。

ここでは、撮像画像６００は、基板３０における、４つの座標Ｐ１（Ｘ１，Ｙ１），Ｐ２（Ｘ２，Ｙ１），Ｐ３（Ｘ１，Ｙ２），Ｐ４（Ｘ２，Ｙ２）により囲まれた矩形領域Ｈを撮像した画像であると判定されたとする。この場合、情報処理装置２０は、基板３０の矩形領域Ｈに含まれる各要素（例えば、電子部品、配線、穴、図形、文字等）の設計情報を抽出する。情報処理装置２０は、抽出設計情報を主記憶装置１５２あるいは二次記憶装置１５４に記憶する。

図７は、実施の形態１に従う抽出方式を用いて抽出された設計情報の一例を示す図である。図７の例では、撮像画像６００（すなわち、矩形領域Ｈ）に含まれている３つの電子部品７１ａ〜７１ｃの設計情報が抽出されている。具体的には、設計情報として、部品ＩＤ、型名、搭載面、搭載座標、搭載角度が抽出されている。ユーザは、入力装置１６０を介して、これらの設計情報のうち所望の設計情報を指定することにより、当該指定した設計情報を撮像画像６００に付加することができる。

情報処理装置２０は、例えば、ユーザから部品ＩＤの指定を受け付けると、撮像画像６００に部品ＩＤを示す仮想画像を重畳した重畳画像を生成して、当該生成した重畳画像を端末装置１０に送信する。端末装置１０は、図８に示すような重畳画像をディスプレイ１０８に表示する。

図８は、実施の形態１に従う重畳画像の一例を示す図である。図８を参照して、重畳画像６１０では、電子部品７１ａ〜７１ｃに、部品ＩＤを示す画像９１〜９３が重畳されている。ユーザは、重畳画像６１０を確認することにより、電子部品７１ａ〜７１ｃの部品ＩＤが、それぞれ「ＩＣ１」〜「ＩＣ３」であることを容易に把握できる。

ここでは、ユーザが部品ＩＤを指定する構成について説明したが、型名、搭載面、搭載座標等を指定した場合についても、これらの設計情報を示す仮想画像が、撮像画像６００上の電子部品７１ａ〜７１ｃに重畳して表示される。なお、一部の設計情報（例えば、部品ＩＤ）だけではなく、すべての設計情報を指定する構成であってもよい。

また、図８の例では、電子部品７１ａ〜７１ｃの設計情報のみが抽出される構成について説明したが、これに限られない。例えば、配線７２ａ〜７２ｃおよび穴７３ａ，７３ｂの設計情報も抽出されている場合には、情報処理装置２０は、これらの設計情報を示す仮想画像を撮像画像６００に重畳した画像を生成してもよい。この場合、ユーザは、抽出された複数の要素の設計情報から撮像画像６００に付加したい要素を指定し、かつ当該要素の設計情報を指定することができる。

さらに、情報処理装置２０は、撮像画像６００と重畳画像６１０とを任意に切り替えて、これらの画像をディスプレイ１５８に表示してもよい。なお、同一の撮像範囲内で各画像を切り替える場合、情報処理装置２０は、再度上述した抽出処理を実行することなく、既に主記憶装置１５２あるいは二次記憶装置１５４に記憶されている抽出設計情報を用いて生成した重畳画像６１０を表示する。

＜機能構成＞
図９は、実施の形態１に従う端末装置１０および情報処理装置２０の機能構成の一例を示すブロック図である。図９を参照して、端末装置１０は、撮像部２０２と、通信部２０４と、表示制御部２０６とを含む。情報処理装置２０は、通信部２５２と、設計情報格納部２５４と、抽出部２５６と、画像生成部２５８とを含む。

図９を参照して、端末装置１０の撮像部２０２は、基板３０の少なくとも一部を撮像し、撮像画像を生成する。撮像画像は、ＲＡＭ１０６に記憶される。典型的には、撮像部２０２は、プロセッサ１０２およびカメラ１１０によって実現される。

通信部２０４は、撮像部２０２により生成された撮像画像（すなわち、基板３０の少なくとも一部の撮像画像）を情報処理装置２０に送信する。典型的には、通信部２０４は、プロセッサ１０２および通信インターフェイス１１２によって実現される。

情報処理装置２０の通信部２５２は、端末装置１０から送信される撮像画像を受信する。典型的には、通信部２５２は、プロセッサ１５０および通信インターフェイス１５６によって実現される。

設計情報格納部２５４は、基板３０を構成する複数の要素の設計情報を格納する。例えば、設計情報格納部２５４は、設計情報データベース５００である。典型的には、設計情報格納部２５４は、二次記憶装置１５４によって実現される。

抽出部２５６は、基板３０の少なくとも一部の撮像画像と、基板３０を構成する複数の要素の設計情報とに基づいて、基板３０の少なくとも一部を構成する１以上の要素の設計情報を抽出する。

具体的には、抽出部２５６は、撮像画像に含まれる１以上の要素（例えば、電子部品、配線、穴）の位置関係と、設計情報から導出される１以上の要素の位置関係とを比較し、当該比較結果に基づいて、撮像画像が基板３０のどの領域を撮像した画像であるのかを判定する。そして、抽出部２５６は、基板３０の少なくとも一部を構成する１以上の要素として、判定された領域に含まれる１以上の要素の設計情報を抽出する。典型的には、抽出部２５６は、プロセッサ１５０によって実現される。

画像生成部２５８は、撮像画像に、抽出された１以上の要素の設計情報に基づく画像を重畳した画像を生成する。具体的には、画像生成部２５８は、撮像画像に、ユーザによって指定された要素の設計情報を示す仮想画像を重畳した画像を生成する。例えば、画像生成部２５８は、図８に示すような重畳画像６１０を生成する。典型的には、画像生成部２５８は、プロセッサ１５０によって実現される。

通信部２５２は、画像生成部２５８によって生成された重畳画像を端末装置１０に送信する。端末装置１０の通信部２０４は、当該重畳画像を受信する。重畳画像は、ＲＡＭ１０６に記憶される。

端末装置１０の表示制御部２０６は、重畳画像をディスプレイ１０８に表示させる。ある局面では、表示制御部２０６は、撮像部２０２によって撮像された撮像画像および画像生成部２５８によって生成された重畳画像のうち、ユーザによって指定された画像をディスプレイ１０８に表示させる。表示制御部２０６は、例えば、入力インターフェイス１１４を介したユーザからの指示に従って、撮像画像および重畳画像の表示を切り替える。

あるいは、表示制御部２０６は、情報処理装置２０の指示に従って、撮像画像および重畳画像の表示を切り替えてもよい。この場合、情報処理装置２０は、入力装置１６０を介して、撮像画像および重畳画像のうちのどちらを表示させるのかを示すユーザの指示情報を受け付ける。通信部２５２は、当該指示情報を端末装置１０に送信する。

＜利点＞
実施の形態１によると、プリント基板の撮像画像に、プリント基板を構成する各要素の設計情報を示す仮想画像を拡張現実情報として重畳して表示することができる。これにより、作業者は、プリント基板に関する図面等を用いながら作業をする必要がない。また、作業の負荷を軽減するとともに、プリント基板に配置すべき（あるいは、配置された）電子部品の位置、および配線の信号名および位置等を容易に把握できるため作業効率を向上させることができる。例えば、多数の電子部品が搭載されたプリント回路板の評価試験作業において、各電子部品の機能を容易に把握することができるため、試験作業の作業効率が向上する。

実施の形態２．
一般的に、プリント配線板は、配線される層が表面のみとは限らず、表面から隠れた１層以上の配線層を内部に有している。また、プリント配線板に電子部品を搭載した基板（すなわち、プリント回路板）の場合、当該電子部品によって表面から視認できなくなる配線が存在することも多い。そこで、実施の形態２では、基板の撮像画像からは一見して把握できない情報を仮想画像として撮像画像に重畳し、当該重畳した画像を表示する構成について説明する。

図１０は、実施の形態２に従う抽出方式を用いて抽出された設計情報に基づく画像を仮想的に示す図である。具体的には、図１０（ａ）は、抽出設計情報に基づく画像のうち、基板３０の表面の層（以下、「表層」とも称する。）に対応する画像を仮想的に示す図である。図１０（ｂ）は、抽出設計情報に基づく画像のうち、基板３０の内層に対応する画像を仮想的に示す図である。

図１０（ａ）を参照して、仮想画像６２０は、基板３０の矩形領域Ｈの表層に含まれる各要素の設計情報に基づく画像である。ここで、矩形領域Ｈの表層に含まれる各要素の設計情報として、電子部品７１ａ〜７１ｃの設計情報と、配線７２ａ〜７２ｃの設計情報と、穴７３ａ，７３ｂの設計情報とが抽出されている。

仮想画像６２０は、電子部品７１ａ〜７１ｃの設計情報（例えば、部品固有情報、搭載部品情報）に基づく部品画像８１ａ〜８１ｃと、配線７２ａ〜７２ｃの設計情報（例えば、パターン情報）に基づく配線画像８２ａ〜８２ｃと、穴７３ａ，７３ｂの設計情報（例えば、穴情報）に基づく穴画像８３ａ，８３ｂとを含む。

ここで、図６の撮像画像６００は実画像であるため、撮像画像６００では、配線７２ｂの一部が電子部品７１ｂによって覆われている。一方、図１０（ａ）の仮想画像６２０では、配線７２ｂの設計情報に基づく配線画像８２ｂは、電子部品７１ｂの設計情報に基づく部品画像８１ｂには覆われていない。

図１０（ｂ）を参照して、仮想画像６３０は、基板３０の矩形領域Ｈの内部の層（すなわち、内層）に含まれる各要素の設計情報に基づく画像である。具体的には、仮想画像６３０は、配線画像８２ｄと、穴画像８３ａ，８３ｂとを含む。配線画像８２ｄは、矩形領域Ｈの内層のみに設けられた配線の設計情報に基づく仮想画像である。

図１１は、実施の形態２に従う重畳画像の一例を示す図である。図１１を参照して、情報処理装置２０は、図６の撮像画像６００に、図１０の仮想画像６２０，６３０を重畳した重畳画像６４０を生成する。

重畳画像６４０では、電子部品７１ａ〜７１ｃに仮想画像である部品画像８１ａ〜８１ｃが重畳され、配線７２ａ〜７２ｃに仮想画像である配線画像８２ａ〜８２ｃが重畳され、穴７３ａ，７３ｂに仮想画像である穴画像８３ａ，８３ｂが重畳されている。また、重畳画像６４０には、カメラ１１０では撮像できない基板３０の内層に含まれる配線の仮想画像である配線画像８２ｄも含まれる。

端末装置１０は、情報処理装置２０から送信された重畳画像６４０をディスプレイ１０８に表示する。これにより、ユーザは、撮像画像６００のみでは把握するのが困難な情報を得ることができる。具体的には、ユーザは、配線画像８２ｄを確認することにより、カメラ１１０では撮像できない基板３０の内層に含まれる配線を把握できる。また、配線画像８２ｂを確認することにより、配線７２ｂが電子部品７１ｂの下で繋がっていることを把握できる。

図１０（ｂ）の例では、基板３０の矩形領域Ｈの内層に含まれる各要素の設計情報に基づく画像について説明したが、これに限られない。情報処理装置２０は、基板３０の矩形領域Ｈの裏面の層に含まれる各要素の設計情報に基づく仮想画像を、撮像画像６００に重畳した画像を生成してもよい。

また、図１１では、図面の容易化のため、撮像画像６００に含まれる実画像（例えば、電子部品の画像）と、仮想画像（例えば、部品画像）とが完全に重畳されている例が示されている。しかし、実際には、仮想画像は、実画像と見分けがつくように３次元ポリゴン等により生成される。

このように、実施の形態２では、情報処理装置２０の画像生成部２５８は、撮像画像６００に、基板３０の矩形領域Ｈに設けられた配線の設計情報に基づく画像を重畳した画像を生成する。具体的には、画像生成部２５８は、矩形領域Ｈに設けられた表層の配線７２ａ〜７２ｃに対応する配線画像８２ａ〜８２ｃと、矩形領域Ｈに設けられた内層の配線に対応する配線画像８２ｄとを、撮像画像６００に重畳した重畳画像６４０を生成する。

配線画像８２ａ〜８２ｃは、撮像画像６００における、配線７２ａ〜７２ｃの座標（すなわち、始点座標および終点座標）に基づく位置に、それぞれ重畳される。配線画像８２ｄは、撮像画像６００における、内層に設けられた配線の座標に基づく位置に重畳される。

上記では、撮像画像６００に、仮想画像６２０および６３０を重畳した重畳画像６４０が生成される構成について説明したが、当該構成に限られない。例えば、画像生成部２５８は、ユーザからの指示に従って、撮像画像６００に、仮想画像６２０および６３０のうちの一方のみを重畳した重畳画像を生成してもよい。また、端末装置１０の表示制御部２０６は、撮像画像６００に仮想画像６２０を重畳した重畳画像と、撮像画像６００に仮想画像６３０を重畳した重畳画像とのうち、ユーザによって指定された画像をディスプレイ１０８に表示させてもよい。

＜利点＞
実施の形態２によると、プリント配線板に電子部品を実装したことにより、電子部品の下に隠れて視認できなくなったプリント配線板の構成情報（例えば、配線）、およびプリント配線板の内部に設けられた配線情報を容易に把握できる。これにより、作業者の作業効率をより向上させることができる。

実施の形態３．
上述した実施の形態１，２では、情報処理装置２０が、カメラ１１０の撮像画像に含まれる各要素の設計情報を抽出する構成について説明した。実施の形態３では、情報処理装置２０は、設計情報データベース５００に含まれる各要素の設計情報の中から、ユーザが指定する要素の設計情報を抽出する構成について説明する。

図１２は、実施の形態３に従う重畳画像の一例を示す図である。ここでは、ユーザが、入力装置１６０を用いて、設計情報データベース５００の各要素の設計情報の中から、電子部品７１ａの設計情報を指定したものとする。また、端末装置１０のカメラ１１０は、電子部品７１ａが含まれる基板３０の矩形領域Ｈを撮像し、撮像画像６００を生成しているものとする。

図１２（ａ）を参照して、電子部品７１ａの設計情報が指定され、かつ、撮像画像６００には電子部品７１ａが含まれているため、情報処理装置２０は、電子部品７１ａの位置（例えば、搭載座標（Ｘａ，Ｙａ））を示す位置画像９５（例えば、座標画像）を、撮像画像６００に重畳した重畳画像６５０を生成する。重畳画像６５０では、撮像画像６００における、電子部品７１ａの搭載座標に対応する位置に位置画像９５が重畳される。端末装置１０は、重畳画像６５０をディスプレイ１０８に表示する。

他の例として、図１２（ｂ）を参照して、情報処理装置２０は、電子部品７１ａの位置（例えば、電子部品７１ａが占める領域）を示す位置画像９６（例えば、電子部品７１ａの占有領域を囲む画像）を、撮像画像６００に重畳した重畳画像６６０を生成する。端末装置１０は、重畳画像６６０をディスプレイ１０８に表示する。

なお、電子部品７１ａの占有領域は、搭載座標（Ｘａ，Ｙａ）と、部品長Ｌと、部品幅Ｗとに基づいて算出される。占有領域は、４つの頂点座標Ｑ１（Ｘａ−Ｌ／２，Ｙａ−Ｗ／２），Ｑ２（Ｘａ＋Ｌ／２，Ｙａ−Ｗ／２），Ｑ３（Ｘａ−Ｌ／２，Ｙａ＋Ｗ／２），Ｑ４（Ｘａ＋Ｌ／２，Ｙａ＋Ｗ／２）により囲まれた矩形領域である。

次に、図１３を参照して、ユーザが指定した要素が撮像画像６００に含まれていない場合に、撮像画像６００に、当該指定した要素の位置を示す画像（例えば、矢印）を重畳した画像を生成する構成について説明する。

図１３は、実施の形態３に従う重畳画像の他の例を示す図である。ここでは、ユーザが指定した電子部品の搭載座標が、Ｐ５（（Ｘ１＋Ｘ２）／２，Ｙ１−α）であるとする。撮像画像６００は、基板３０における頂点座標Ｐ１（Ｘ１，Ｙ１），Ｐ２（Ｘ２，Ｙ１），Ｐ３（Ｘ１，Ｙ２），Ｐ４（Ｘ２，Ｙ２）により囲まれた矩形領域Ｈを撮像した画像であるため、座標Ｐ５は撮像画像６００には含まれない。

図１３を参照して、情報処理装置２０は、矩形領域Ｈに対する座標Ｐ５の位置を算出し、当該算出結果に基づいて、座標Ｐ５が存在する位置を示す位置画像９８を、撮像画像６００に重畳した重畳画像６７０を生成する。具体的には、矩形領域Ｈに対する座標Ｐ５の位置は、矩形領域Ｈの下方向であるため、位置画像９８は、例えば、下方向を示す矢印として生成される。これにより、ユーザは、自身が指定した電子部品を、カメラ１１０の撮像範囲に含めることが容易となる。

上記のように、実施の形態３では、情報処理装置２０の画像生成部２５８は、基板３０を構成する複数の要素のうち、ユーザの指示に従う要素（以下、「指示要素」とも称する。）の位置情報（例えば、座標）に基づいて、撮像画像６００に、指示要素の位置を示す位置画像を重ねた画像を生成する。

具体的には、画像生成部２５８は、まず、撮像画像６００に指示要素が含まれているか否かを判定する。カメラ１１０の撮像範囲（例えば、矩形領域Ｈ）が指示要素の座標を含んでいる場合には、撮像画像６００に指示要素が含まれていると判定し、そうではない場合には撮像画像６００に指示要素が含まれていないと判定する。

撮像画像６００に指示要素が含まれている場合には、画像生成部２５８は、指示要素の位置を示す位置画像（例えば、位置画像９５，９６）を、撮像画像６００に重畳した重畳画像（例えば、重畳画像６５０，６６０）を生成する。撮像画像６００に指示要素が含まれていない場合には、画像生成部２５８は、指示要素の位置を示す位置画像（例えば、位置画像９８）を、撮像画像６００に重畳した重畳画像（例えば、重畳画像６７０）を生成する。

＜利点＞
実施の形態３によると、プリント基板における位置が不明な要素であっても、当該要素を指定することにより、撮像画像に当該要素の位置を示す画像が重畳して表示される。これにより、作業者の作業効率をより向上させることができる。

その他の実施の形態．
（１）上述した実施の形態では、作業対象である基板が基板３０であることをユーザが認識しており、情報処理装置２０は、ユーザからの指示に従って基板３０の設計情報を読み出す構成について説明したが、当該構成に限られず、作業対象とする基板が基板３０であるのかをユーザが認識していない構成であってもよい。

この場合、情報処理装置２０は、作業対象である基板の全体の撮像画像から、基板外形形状と、任意の個数（３個〜５個）の電子部品の搭載座標情報とを取得する。情報処理装置２０は、取得した基板外形形状と、搭載座標情報とに基づいて、設計情報データベースに格納されている複数の基板情報の中から一致する基板情報を抽出することにより、作業対象である基板が基板３０であると判定する。

また、作業対象の基板上に、基板の識別情報（例えば、一次元バーコード、二次元バーコード、および文字記号等）を設けておいてもよい。この場合、情報処理装置２０は、当該基板の識別情報を含む撮像画像を解析することにより、作業対象である基板が基板３０であると判定する。

（２）上述した実施の形態では、端末装置１０と情報処理装置２０とが分離した構成となっているが、これらの機能を一体化した装置で構成されていてもよい。例えば、情報処理装置２０が、端末装置１０の撮像部２０２および表示制御部２０６の機能を有する装置で構成されていてもよい。この場合、情報処理装置２０は、撮像部２０２、表示制御部２０６、設計情報格納部２５４、抽出部２５６、画像生成部２５８の各機能を有する。情報処理装置２０は、例えば、カメラ１１０を含むタブレット装置等で構成される。表示制御部２０６は、情報処理装置２０のディスプレイ１５８に、上述した撮像画像６００，重畳画像６１０，６４０〜６７０を表示させる。

（３）上述の実施の形態として例示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能である。

また、上述した実施の形態において、その他の実施の形態で説明した処理や構成を適宜採用して実施する場合であってもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ 端末装置、２０ 情報処理装置、３０ 基板、７１ａ〜７１ｃ 電子部品、７２ａ〜７２ｃ 配線、７３ａ，７３ｂ 穴、８１ａ〜８１ｃ 部品画像、８２ａ〜８２ｄ 配線画像、８３ａ，８３ｂ 穴画像、６２０，６３０ 仮想画像、９５，９６，９８ 位置画像、１０２，１５０ プロセッサ、１０４ ＲＯＭ、１０６ ＲＡＭ、１０８，１５８ ディスプレイ、１１０ カメラ、１１２，１５６ 通信インターフェイス、１１４ 入力インターフェイス、１１６，１６４ 内部バス、１５２ 主記憶装置、１５４ 二次記憶装置、１６０ 入力装置、１６２ 汎用インターフェイス、２０２ 撮像部、２０４，２５２ 通信部、２０６ 表示制御部、２５４ 設計情報格納部、２５６ 抽出部、２５８ 画像生成部、５００ 設計情報データベース、６００ 撮像画像、６１０，６４０，６５０，６６０，６７０ 重畳画像、１０００ 情報処理システム。

Claims (10)

1. プリント基板の少なくとも一部の撮像画像と、前記プリント基板を構成する複数の要素の設計情報とに基づいて、前記プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出する抽出部と、
   前記撮像画像に、前記１以上の要素の設計情報に基づく画像を重畳した画像を生成する画像生成部とを備え、
   前記要素は、前記プリント基板の内部に設けられた配線を含み、
   前記画像生成部は、前記撮像画像に、前記プリント基板の少なくとも一部に設けられた前記配線の設計情報に基づく画像を重畳した画像を生成し、
   前記画像生成部により生成された画像は、ディスプレイに表示される、情報処理装置。
2. プリント基板の少なくとも一部の撮像画像と、前記プリント基板を構成する複数の要素の設計情報とに基づいて、前記プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出する抽出部と、
   前記撮像画像に、前記１以上の要素の設計情報に基づく画像を重畳した画像を生成する画像生成部と、
   外部から指定された前記要素の情報を受け付ける入力部とを備え、
   前記要素の設計情報は、前記プリント基板における前記要素の位置を示す位置情報を含み、
   前記画像生成部は、前記プリント基板を構成する複数の要素のうち、指定された前記要素の位置情報に基づいて、指定された前記要素が前記撮像画像に含まれる場合、指定された前記要素の位置を示す位置画像を前記撮像画像に重畳した画像を生成し、指定された前記要素が前記撮像画像に含まれない場合、指定された前記要素が存在する位置を示す情報を前記撮像画像に重畳した画像を生成し、
   前記画像生成部により生成された画像は、ディスプレイに表示される、情報処理装置。
3. 前記要素は、前記プリント基板に配置される電子部品を含み、
   前記画像生成部は、前記撮像画像に含まれる電子部品に、前記電子部品の設計情報に基づく画像を重畳した画像を生成する、請求項１または請求項２に記載の情報処理装置。
4. 前記要素は、前記プリント基板の表面に設けられた配線を含む、請求項１〜請求項３のいずれか１項に記載の情報処理装置。
5. 前記画像生成部により生成された画像を前記ディスプレイに表示させる表示制御部をさらに備える、請求項１〜請求項４のいずれか１項に記載の情報処理装置。
6. 前記表示制御部は、前記撮像画像および前記画像生成部により生成された画像のうち、ユーザによって指定された画像を前記ディスプレイに表示させる、請求項５に記載の情報処理装置。
7. 請求項１〜請求項４のいずれか１項に記載の情報処理装置と、
   前記ディスプレイを有する端末装置とを備え、
   前記端末装置は、
   前記撮像画像を撮像する撮像部と、
   前記画像生成部により生成された画像を前記ディスプレイに表示させる表示制御部とを含む、情報処理システム。
8. 前記表示制御部は、前記撮像画像および前記画像生成部により生成された画像のうち、ユーザによって指定された画像を前記ディスプレイに表示させる、請求項７に記載の情報処理システム。
9. プロセッサに実行させるための情報処理プログラムであって、
   前記情報処理プログラムは、前記プロセッサに、
   プリント基板の少なくとも一部の撮像画像と、前記プリント基板を構成する複数の要素の設計情報とに基づいて、前記プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出するステップと、
   前記撮像画像に、前記１以上の要素の設計情報に基づく画像を重畳した画像を生成するステップとを実行させ、
   前記要素は、前記プリント基板の内部に設けられた配線を含み、
   前記生成するステップは、前記撮像画像に、前記プリント基板の少なくとも一部に設けられた前記配線の設計情報に基づく画像を重畳した画像を生成することを含み、
   前記生成するステップにより生成された画像は、ディスプレイに表示される、情報処理プログラム。
10. プロセッサに実行させるための情報処理プログラムであって、
    前記情報処理プログラムは、前記プロセッサに、
    プリント基板の少なくとも一部の撮像画像と、前記プリント基板を構成する複数の要素の設計情報とに基づいて、前記プリント基板の少なくとも一部を構成する１以上の要素の設計情報を抽出するステップと、
    前記撮像画像に、前記１以上の要素の設計情報に基づく画像を重畳した画像を生成するステップと、
    外部から指定された前記要素の情報を受け付けるステップとを実行させ、
    前記要素の設計情報は、前記プリント基板における前記要素の位置を示す位置情報を含み、
    前記生成するステップは、前記プリント基板を構成する複数の要素のうち、指定された前記要素の位置情報に基づいて、指定された前記要素が前記撮像画像に含まれる場合、指定された前記要素の位置を示す位置画像を前記撮像画像に重畳した画像を生成し、指定された前記要素が前記撮像画像に含まれない場合、指定された前記要素が存在する位置を示す情報を前記撮像画像に重畳した画像を生成することを含み、
    前記生成するステップにより生成された画像は、ディスプレイに表示される、情報処理プログラム。

Images