JP2024518274A - 電子機器で機器内部の情報を取得するための方法及びシステム - Google Patents

Abstract

【課題】電子機器で機器内部の情報を取得するためのシステム及び方法が開示される。【解決手段】本発明の一実施形態に係る機器内部情報取得システムは、自動化機器のＵＩ画面を介してユーザから「投入前のユーザ動作」に対して選択されるステップと、前記「投入前のユーザ動作」として「画面ＯＮ状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識するステップと、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出すステップを含む。【選択図】図１

Description

本発明は、モバイル機器の新しい機能及びセキュリティーポリシー変化に応じて、モバイル機器内と連動時に発生する問題を解決することのできる電子機器において機器内部の情報を取得するための方法及び装置に関する。

従来におけるモバイル機器は、例えば、メーカーでモバイル機器用のアプリとウェブＳＷ開発者の開発便利性のためにモバイル機器内の様々な情報に接近して連動できるよう、開発用ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）などを提供している。

最近は、モバイル機器の個人情報保護強化の一環として、機器内部の特定情報を取り出すことができないように機能を制限したり、モバイル機器との連動のための機構的な接続ポートを除去してしまう場合、機器内部の特定情報を持ってくるときに相当な制約がある。

モバイル機器のメンテナンスのためには、モバイル機器の状態を点検しなければならない。また、モバイル機器を販売するとき、モバイル機器の固有ＩＤ（製造番号、製品固有番号、例えば、シリアルナンバー又はＩＭＥＩナンバーなど）を確認してモバイル機器の状態履歴及び盗難の有無を必ず確認しなければならない。

機器の状態点検及び確認する方法として、ユーザがモバイル機器のディスプレイで固有ＩＤのある画面で直接操作（タッチ）して目で確認したり、固有ＩＤをモバイル機器との連動によって読み出すことができるアプリ（Ａｐｐｌｉｃａｔｉｏｎ）とウェブＳＷ（Ｗｏｒｌｄ ｗｉｄｅ ｗｅｂ ＳＷ：ウェブＳＷ）による方法などがある。アプリは、モバイル機器にインストールされて実行されるアプリケーションＳＷであり、ｗｅｂ ＳＷは、モバイル機器とインターネットのような通信網（有線、無線など）により連動されるＳＷを意味する。

固有ＩＤを直接確認する場合、ユーザが直接モバイル機器を操作して目で確認することである。

モバイル機器と連動して固有ＩＤを読み出す場合、特定装置とアプリ／ウェブＳＷを使用することで人の人力（労働）を代替する自動化機器において多く使用されている。

但し、モバイル機器と連動して固有ＩＤを読出す機能を制限したり強制的に固有ＩＤを読出すためのインターフェースがない場合、固有ＩＤをどのように読み出すべきかという問題が発生する。例えば、モバイル機器の１つである携帯電話の場合、固有ＩＤのうち盗難情報を確認できる特定ＩＤを確認及び比較し、該当携帯電話の盗難有無を判断することができる。

一般に、機器の内部情報は、ユーザがユーザインターフェース（モバイル機器の画面ＵＩ：ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）で決定されたステップごとに進入して固有ＩＤのある画面まで入らなければ確認することができない。

従って、機器の内部情報を確認することにおいて、ユーザの手動的な操作を排除し、自動化機器でユーザの行為を最小にしながら機器の内部情報を便利に確認できる改善されたモデルが切実に要求されている実状である。

本発明の実施形態は、自動化機器に投入されるモバイル機器の画面を分析し、モバイル機器に対する固有ＩＤを抽出する電子機器で機器内部の情報を取得するための方法及びシステムを提供することを目的とする。

また、本発明の実施形態は、自動化機器に投入されるモバイル機器の画面を制御し、固有ＩＤを含む製品情報のＩＤ画面に進入することを目的とする。

また、本発明の実施形態は、自動化機器に投入されるモバイル機器の姿勢を自動補正し、自動化機器によるモバイル機器の画面の制御を最適に実行することを目的とする。

また、本発明の実施形態は、空間タッチハンドによる空間タッチを活用して、モバイル機器の画面を正確に制御することを目的とする。

本発明の一実施形態に係る電子機器で機器内部の情報を取得するための方法は、自動化機器のＵＩ画面を介してユーザから「投入前のユーザ動作」に対して選択されるステップと、前記「投入前のユーザ動作」として「画面ＯＮ状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識するステップと、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出すステップを含む。

また、本発明の実施形態に係る電子機器で機器内部の情報を取得するためのシステムは、自動化機器のＵＩ画面を介してユーザから「投入前のユーザ動作」に対して選択される選択部と、前記「投入前のユーザ動作」として「画面ＯＮ状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識し、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す認識部を含んで構成される。

本発明の一実施形態によれば、自動化機器に投入されるモバイル機器の画面を分析し、モバイル機器に対する固有ＩＤを抽出する電子機器で機器内部の情報を取得するための方法及びシステムを提供することができる。

また、本発明によれば、自動化機器に投入されるモバイル機器の画面を制御し、固有ＩＤを含む製品情報のＩＤ画面に進入することができる。

また、本発明によれば、自動化機器に投入されるモバイル機器の姿勢を自動補正し、自動化機器によるモバイル機器の画面の制御を最適に行うことができる。

また、本発明によれば、空間タッチハンドによる空間タッチを活用して、モバイル機器の画面を正確に制御することができる。

本発明の一実施形態に係る電子機器で機器内部の情報を取得するためのシステムの構成を示すブロック図である。 モバイル機器の固有ＩＤを示す図である。 モバイル機器の固有ＩＤを取得する一例を示すための図である。 モバイル機器の固有ＩＤを取得する一例を示すための図である。 モバイル機器の固有ＩＤを取得する一例を示すための図である。 製品情報のＩＤ画面をモバイル機器のディスプレイに表示する一例を説明する図である。 製品情報のＩＤ画面をモバイル機器のディスプレイに表示する一例を説明する図である。 製品情報のＩＤ画面をモバイル機器のディスプレイに表示する一例を説明する図である。 本発明に係る座標認識及び空間タッチを用いてモバイル機器を操作することを示す図である。 本発明に係る座標認識及び空間タッチを用いてモバイル機器を操作することを示す図である。 本発明に係る座標認識及び空間タッチを用いてモバイル機器を操作することを示す図である。 本発明に係る空間タッチすることを説明するための図である。 本発明に係る空間タッチすることを説明するための図である。 本発明に係るモバイル機器内部の固有ＩＤを取得する方法を全体的に説明する図である。 モバイル機器の投入後にアプリをインストールして、モバイル機器内部の固有ＩＤを取得する一例を説明する図である。 本発明の一実施形態に係る電子機器において機器内部の情報を取得するための方法を示すフローチャートである。

以下、添付の図面を参照して実施形態について詳説する。しかし、本明細書で開示する特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示したものであり、実施形態は様々な異なる形態で実施され、本発明は本明細書で説明した実施形態に限定されるものではない。実施形態に対する全ての変更、均等物ないし代替物が権利範囲に含まれているものと理解されなければならない。

実施形態で用いられる用語は、単に、説明を目的として使用されたものであり、限定しようとする意図として解釈されることはない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

また、添付図面を参照して説明することにおいて、図面符号に関係なく、同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略することにする。実施形態の説明において、関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にするものと判断される場合、その詳細な説明を省略する。

図１は、本発明の一実施形態に係る電子機器で機器内部の情報を取得するためのシステムの構成を示すブロック図である。

図１を参照すると、本発明の一実施形態に係る電子機器において、機器内部の情報を取得するためのシステム（以下、「機器内部情報取得システム」に称する）１００は、選択部１１０及び認識部１２０を含んで構成される。また、実施形態により、機器内部情報取得システム１００は、処理部１３０と補正部１４０を選択的に追加して構成してもよい。

まず、選択部１１０は、自動化機器のＵＩ画面を介してユーザから「投入前のユーザ動作」が選択される。即ち、選択部１１０は、自動化機器に近接するユーザにモバイル端末をどのような状態にして自動化機器に投入するかを、ＵＩ画面により選択されるようにする。

ＵＩ画面に提示される「投入前のユーザ動作」として、「画面ＯＮ状態に投入」、「アプリのインストール後に投入」、「投入後アプリのインストール」、及び「パスワード解除後に投入」などがあり、選択部１１０は、そのうちユーザがクリックする１つをユーザ選択の「投入前のユーザ動作」として入力されてもよい。

「画面ＯＮ状態に投入」は、固有ＩＤを含む製品情報のＩＤ画面をディスプレイに表示した状態でモバイル機器を自動化機器に投入するユーザ動作である。

本発明において、モバイル機器にアプリをインストールすることは、モバイル機器を自動化機器に投入前又は投入後に選択的に実行される。

「アプリのインストール後に投入」は、自動化機器でモバイル機器が制御されるようにアプリをインストールした状態でモバイル機器を自動化機器に投入するユーザ動作である。実施形態により、「アプリのインストール後に投入」は、アプリによる１回のクリックで製品情報のＩＤ画面をディスプレイに直ちに表示し、製品情報のＩＤ画面が表示された状態のモバイル機器を自動化機器に投入するユーザ動作である。

「投入後アプリのインストール」は、モバイル機器を自動化機器に投入することにより、投入されたモバイル機器に対してアプリを自動インストールするユーザ動作である。実施形態により、「投入後アプリのインストール」は、自動化機器に投入されたモバイル機器を対象にアプリをインストールし、次いで、アプリによって製品情報のＩＤ画面をディスプレイに表示するユーザ動作である。

「パスワード解除後に投入」は、ロック状態のみを解除した状態でモバイル機器を自動化機器に投入するユーザ動作である。

認識部１２０は、前記「投入前のユーザ動作」として「画面ＯＮ状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識する。即ち、認識部１２０は、「画面ＯＮ状態に投入」を選択したユーザにより、モバイル機器のディスプレイに表示される製品情報のＩＤ画面を確認する役割を果たす。

「画面ＯＮ状態に投入」の選択下で、製品情報のＩＤ画面への進入は、ユーザがモバイル機器を直接操作（メニュー手動クリック）し、ディスプレイに製品情報のＩＤ画面を表示することができる。

製品情報のＩＤ画面は、モバイル機器に対する固有ＩＤが表示される機器状態の画面であり、例えば、モバイル機器のＩＭＥＩ情報を含んでデバイスに関する内部ＩＤ情報を表示してもよい。

その後、認識部１２０は、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す。即ち、認識部１２０は、製品情報のＩＤ画面をスキャンして固有ＩＤに該当する文字／数字／特殊記号の組み合わせを読み出す役割を果たす。

これによって、機器内部情報取得システム１００は、自動化機器に投入されるモバイル機器の画面を分析し、モバイル機器に対する固有ＩＤを抽出することができる。

他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「アプリのインストール後に投入」を選択する場合、機器内部情報取得システム１００は、インストールされたアプリによりモバイル機器を遠隔制御し、製品情報のＩＤ画面に進入する。

そのため、機器内部情報取得システム１００は、処理部１３０を追加して構成してもよい。

即ち、処理部１３０は、前記「投入前のユーザ動作」として「アプリのインストール後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示することができる。

また他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「投入後アプリのインストール」を選択する場合、機器内部情報取得システム１００は、自動化機器にモバイル機器が投入されることを認知することで、投入されたモバイル機器に対してアプリを自動インストールすることができる。そのため、機器内部情報取得システム１００は、インストールされたアプリによりモバイル機器を遠隔制御し、製品情報のＩＤ画面に進入する。

そのために、処理部１３０は、前記「投入前のユーザ動作」として「投入後アプリのインストール」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してアプリを自動にインストールすることができる。

また、処理部１３０は、インストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示し得る。

ここで、アプリは、モバイル機器に対する遠隔制御を実現するための専用アプリであってもよい。

アプリのインストールにおいて、一例として、近接するユーザに自動化機器から案内が提供され、提供された案内に応じてユーザがモバイル機器に手動でアプリをダウンロードした後インストールするケースがある。他の一例として、自動化機器に投入が確認されたモバイル機器に対して、アプリを自動ダウンロードしインストールするケースもある。

「アプリのインストール後に投入」又は「投入後アプリのインストール」の選択下で、製品情報のＩＤ画面への進入は、アプリを媒介に自動化機器がモバイル機器を遠隔制御操作（メニューの自動クリック）し、ディスプレイに製品情報のＩＤ画面を表示することができる。

その後、認識部１２０は、モバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識し、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す。即ち、認識部１２０は、アプリによる遠隔制御によって表示される製品情報のＩＤ画面をスキャンし、固有ＩＤに該当する文字／数字／特殊記号の組み合わせを読み出すことができる。

これによって、機器内部情報取得システム１００は、自動化機器に投入されるモバイル機器の画面を制御し、固有ＩＤを含む製品情報のＩＤ画面に進入し、進入された製品情報のＩＤ画面を分析し、モバイル機器に対する固有ＩＤを抽出することができる。

実施形態により、機器内部情報取得システム１００は、アプリによる遠隔制御によって表示される製品情報のＩＤ画面をイメージとして格納し、格納されたイメージから固有ＩＤを読み出す。

そのため、処理部１３０は、前記モバイル機器のディスプレイに表示された前記製品情報のＩＤ画面をスクリーンセーブし、画面の格納データを生成し得る。即ち、処理部１３０は、前もって製品情報のＩＤ画面そのものを分析する代わりに、相対的に小容量イメージの画面格納データを対象にして分析できる環境を備える。

その後、認識部１２０は、前記画面格納データから前記モバイル機器に対する固有ＩＤを抽出することができる。

これにより、機器内部情報取得システム１００は、製品情報のＩＤ画面をスクリーンセーブした画面格納データを対象に固有ＩＤが抽出されることから、少ない処理リソースを用いてモバイル機器の内部情報を確保することができる

他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「パスワード解除後に投入」を選択する場合、機器内部情報取得システム１００は、モバイル機器に対してタッチ操作を実行し製品情報のＩＤ画面に進入する。

そのために、機器内部情報取得システム１００は、補正部１４０を追加して構成してもよい。

即ち、補正部１４０は、前記「投入前のユーザ動作」として「パスワード解除後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対して姿勢補正することができる。即ち、補正部１４０は、ユーザが自動化機器に備えられた投入空間に、ロック解除させて投入したモバイル機器を空間タッチできるようモバイル機器を規定された姿勢に補正することができる。

姿勢補正において、補正部１４０は、モバイル機器が投入空間内で水平を保持して一方に傾かないように姿勢補正することができる。

そのために、補正部１４０は、前記モバイル機器の少なくとも一側面を、前記投入空間の一側面と同じ方向に移動させて傾き補正し、前記傾き補正後のモバイル機器の真ん中と前記投入空間に設定された座標系の中央座標を整合して位置補正することができる。

例えば、投入空間の底面が四角形であるボックス状である場合、補正部１４０は、投入空間の底面と同じ角度及び方向に置かれられるよう、モバイル機器に対して傾き補正と位置補正を行ってもよい。

投入空間に投入されたモバイル機器に対して位置識別及び姿勢補正する動作として、上段でモバイル機器を撮影するカメラ及びカメラで撮影されたイメージを活用してもよい。

処理部１３０は、前記姿勢補正後のモバイル機器に対する空間タッチの操作により、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示することができる。

ここで、空間タッチは、投入空間で規定された姿勢に補正されているモバイル機器に対して、ユーザによる手動的なタッチを排除した状態でディスプレイを自動タッチする操作を指す。

タッチ領域は、補正により投入空間の底面と同じ角度及び方向に置かれられるようにモバイル機器を少なくとも内部に含まれ得る大きさの四角形に設定してもよい。

処理部１３０は、タッチ領域上に決定された間隔に配置されている「光源」と「受信」との間で行われる光の流れにより、格子型の座標系を設定することができる。

また、処理部１３０は、前記光の流れの変動を認知して前記座標系内のＸＹ座標を算出し、ｘ側駆動レールとｙ側駆動レールを移動する空間タッチハンドにより、前記算出されたＸＹ座標に対して空間タッチを操作することができる。

即ち、処理部１３０は、「光源」で発光した光が予定された「受信」でない他の値の「受信」に流れたり、光の流れが一時的に停止する座標を、光の流れの変動したＸＹ座標で算出し、算出されたＸＹ座標に空間タッチハンドを移動させることができる。

空間タッチハンドは、ｘ側駆動レールとｙ側駆動レールによりＸＹ座標に移動することができ、処理部１３０は、ＸＹ座標に移動された空間タッチハンドにより前記モバイル機器のディスプレイをタッチし、前記空間タッチを操作することができる。

ＸＹ座標は、モバイル機器ごとに予め決定された下位メニューを転換するためのステップごとの位置値であってもよい。

「パスワード解除後に投入」の選択下で、製品情報のＩＤ画面への進入は、空間タッチハンドによる空間タッチにより、モバイル機器のディスプレイに製品情報のＩＤ画面が表示されるようにする。

その後、認識部１２０は、モバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識し、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す。即ち、認識部１２０は、空間タッチにより表示される製品情報のＩＤ画面をスキャンして固有ＩＤに該当する文字／数字／特殊記号の組み合わせを読み出すことができる。

そのため、機器内部情報取得システム１００は、自動化機器に投入されるモバイル機器の姿勢を自動補正し、自動化機器によるモバイル機器の画面の制御を最適に行うことができる。

また、機器内部情報取得システム１００は、空間タッチハンドによる空間タッチを選択的に活用して、モバイル機器の画面を正確に制御することができる。

本発明の機器内部情報取得システム１００は、ユーザの参加行為が多い場合とユーザの参加行為が少ない場合に分類し、モバイル機器の内部情報を取得してもよい。

ユーザの参加行為が多い場合、機器内部情報取得システム１００は、自動化機器が行わなければならない機能を簡単にすることができる。

一方、ユーザの参加行為が少ない場合、機器内部情報取得システム１００は、自動化機器の機能が多いため、多くの機能処理のために様々な装置及び制御技術が必要である。

機器内部情報取得システム１００は、固有ＩＤの取得方法として、ユーザの操作及び映像装置を連動する方法を使用してもよい。

ユーザの操作及び映像装置を連動する方法は、i）ユーザがモバイル機器のユーザインターフェース（以下、「ＵＩ」に称する）により内部情報である固有ＩＤが出てくるＵＩ画面（製品情報のＩＤ画面）まで直接タッチ（押し）し、ii）製品情報のＩＤ画面が表示された状態のモバイル機器を自動化機器に入れた後、製品情報のＩＤ画面を自動化機器が認識して固有ＩＤを読み出す方法である。

機器内部情報取得システム１００は、自動化機器にモバイル機器が挿入されれば、自動化機器でモバイル機器のディスプレイに表示された製品情報のＩＤ画面を認識し、認識された製品情報のＩＤ画面からモバイル機器の固有ＩＤを自動に読み出す。

機器内部情報取得システム１００は、製品情報のＩＤ画面に表示されたグラフィック（バーコード及びＱＲコード（登録商標））及びテキスト（文字、数字）を読み出し、モバイル機器に対する内部情報（固有ＩＤ）を取得する認識アルゴリズムを含んでもよい。

製品情報のＩＤ画面を認識する方法は、映像装置を用いた撮影方法とスキャニング方法とがあり、認識方法に基づいてテキスト認識及び読み出し過程において差がある。

スキャニング方法は、モバイル機器の画面と映像装置との間の位置及び間隔を円満に調節して行うことができる。

撮影方法は、焦点、視野角（ビュー領域）、レンズ、及び距離による画面の歪みなどを注意して実現することができる。

特に、付加的な照明適用の有無は、使用する映像装置タイプ及び設置位置に応じて決定でき、認識方法及び構成により照明を適切に適用することができる。

機器内部情報取得システム１００は、１つ以上の停止画面で製品情報のＩＤ画面を認識してもよい。

機器内部情報取得システム１００は、認識された製品情報のＩＤ画面で該当文字と数字の部分を識別し、識別された文字／数字の部分を自動化機器が読み出し可能な文字や数字に変換するソフトウェアアルゴリズムを含んでもよい。

機器内部情報取得システム１００は、製品情報のＩＤ画面がバーコードやＱＲコードを含む場合、専用リーダー機アルゴリズム（ＳＷ）によりモバイル機器の固有ＩＤを読み出して処理することができる。

機器内部情報取得システム１００は、製品情報のＩＤ画面が文字のみの文字列を含む場合、該当の文字列で必要な領域の画面を切り取って（切り出して）文字比較及び変換アルゴリズム（例示えば、ＯＣＲ：光学文字リーダー機）を適用してモバイル機器の固有ＩＤを読み出して処理してもよい。

文字列を探す方法は多様であるが、製品情報のＩＤ画面で提供する情報がメーカーに応じて類似しているため、機器内部情報取得システム１００は、メニュー映像に対する基本的な学習を介して必要な文字列を容易に探すことができる。

機器内部情報取得システム１００は、顧客の携帯電話文字列のセッティングにより様々なフォントで文字が表記され得るため、任意のフォントに対する分析技術を追加的に備えることができる。

図２は、モバイル機器の固有ＩＤを示す図である。

機器内部情報取得システム１００は、図２に示すような製品情報のＩＤ画面がユーザのＵＩ操作によってモバイル機器のディスプレイに表示されると、自動化機器を介して製品情報のＩＤ画面を認識することができる。自動化機器は、分析アルゴリズム（ＳＷ）により製品情報のＩＤ画面からＩＭＥＩに該当する文字列を探し、この文字列から実際のテキスト文字と数字からなる固有ＩＤを読み出すことができる。

即ち、機器内部情報取得システム１００はモバイル機器の固有ＩＤとして、ＩＭＥＩ「３５８６９７１００１６９７５５」を読み出してもよい。

図３Ａ～図３Ｃは、モバイル機器の固有ＩＤを取得する一例を示すための図である。

図３Ａでは、ユーザが製品情報のＩＤ画面が表示されるようにモバイル機器を操作した後、自動化機器に投入する一例を示す。

図３Ａに示すＳｔｅｐ１は、ユーザであるＵＳＥＲがモバイル機器を直接操作することを例示している。

図３ＡのＳｔｅｐ２とＳｔｅｐ３は、ＵＳＥＲの操作により製品情報のＩＤ画面をモバイル機器のディスプレイ上に表示した状態で、モバイル機器を自動化機器に投入する一例を示す。

図３Ｂは、ユーザが必要アプリをモバイル機器にダウンロードして実行した後、自動化機器に投入する一例を示す図である。

図３ＢのＳｔｅｐ１は、モバイル機器と自動化機器が近接して無線接続されることでモバイル機器で必要なアプリをダウンロードして実行することを例示する。

図３ＢのＳｔｅｐ２は、必要アプリを用いて一回のクリックで製品情報のＩＤ画面をモバイル機器のディスプレイ上に表示し、製品情報のＩＤ画面が表示された状態でモバイル機器を自動化機器に投入する一例を示す図である。

実施形態により、機器内部情報取得システム１００は、必要アプリを用いてモバイル機器に対して遠隔制御することで、製品情報のＩＤ画面をモバイル機器のディスプレイ上に表示してもよい。

図３Ｃは、ユーザが自動化機器に接近すると、自動化機器における案内により製品情報のＩＤ画面が表示されるように操作した後、自動化機器に投入する一例を示す図である。

図３ＣのＳｔｅｐ１は、自動化機器からの投入前の案内により、ＵＳＥＲがモバイル機器を操作して製品情報のＩＤ画面を表示することが例示されている。ここで、投入前の案内はユーザに直接案内される音声案内、自動化機器の画面を介して案内される文字／グラフィック案内などがある。

図３ＣのＳｔｅｐ２は、製品情報のＩＤ画面をモバイル機器のディスプレイ上に表示した状態で、モバイル機器を自動化機器に投入する一例を示す図である。他の実施形態において、製品情報のＩＤ画面をバーコード形態に切り替えて自動化機器に投入し、製品情報のＩＤ画面が外部に流出されることを防止することができる。

製品情報のＩＤ画面をモバイル機器のディスプレイに表示する方案として、モバイル機器のメーカーごとに提供する隠れ機能を使用する方案及びアプリを用いる方案がある。

モバイル機器のメーカーが提供する隠れ機能を使用する方案は、モバイル機器のモデルごとの情報を確認したユーザが隠れた機能の利用方法を認知した後、該当コードを通話モードで実行させることにより行われる。

図４は、製品情報のＩＤ画面をモバイル機器のディスプレイに表示する一例を説明する図である。

図４Ａは、製品情報のＩＤ画面を実行させるためにユーザがモバイル機器の通話モードであり、予め認知したコード「＊＃０６＃」の入力が例示されている。

コード「＊＃０６＃」は、例えば、ユーザが予め認知しているコードであってもよく、又は、自動化機器がモバイル機器のモデルを確認してユーザに案内してもよい。

図４Ｂ及び４Ｃは、コード「＊＃０６＃」の入力により、製品情報のＩＤ画面を実行させる画面を示す。

図４Ｂは、ＩＭＥＩ ａｎｄ Ｓ／Ｎに関する製品情報のＩＤ画面をバーコード形態に切り替える画面の一例である。

図４Ｃは、機器情報に関する製品情報のＩＤ画面をバーコード形態に切り替える画面の一例である。

製品情報のＩＤ画面を実行させるためのコードは、モバイル機器のメーカーモデルごとに互いに異なってもよい。

ユーザは、入力しなければならないコードを予め認知することで、製品情報のＩＤ画面を迅速に実行させ、所望するモバイル機器の固有ＩＤを取得できる。

また、メーカーによって、製品情報のＩＤ画面を介してＩＭＥＩ２情報をさらに提供してもよい。

図４Ｃにおいて、ＩＭＥＩはモバイル機器の固有ＩＤであり、ＩＭＥＩ２は通信社から付与するＩＤであり、機器内部情報取得システム１００は、前記固有ＩＤを読み出す場合に正確な用途で使用されるように読み出すことができる。

機器内部情報取得システム１００は、図４Ｂ又は図４Ｃに示すようなバーコードが自動化機器によって認識されることでバーコードを分析し、該当の数字配列を確認して固有ＩＤを読み出したり、バーコードに明示された文字のうちＩＭＥＩに該当する文字を識別して固有ＩＤを読み出してもよい。

機器内部情報取得システム１００は、複数のバーコードを読み出すことができるようマルチバーコード認識及び処理技術を含んでもよい。

また、機器内部情報取得システム１００は、ユーザが自動化機器に近接すると、自動化機器から案内されるようにし（自動化機器からユーザに音声案内、自動化機器の画面を介して案内される文字／グラフィック案内など）、前記案内によって専用アプリがユーザのモバイル機器にダウンロードされるように誘導する。

モバイル機器でダウンロードされた専用アプリを実行すると、機器内部情報取得システム１００は、最小限のユーザタッチ（１～２回のタッチ）により製品情報のＩＤ画面をモバイル機器のディスプレイに表示することができる。

これによって、機器内部情報取得システム１００は、ユーザが複雑なスクローリング及びメニューサーチングを行わなくてもよい。

実施形態により、機器内部情報取得システム１００は、モバイル機器を自動化機器に入れることで自動化機器における自動化技術によって製品情報のＩＤ画面を表示し、これを認識し得る。

この場合、機器内部情報取得システム１００は、モバイル機器を自動化機器に入れる前に、ユーザにモバイル機器のパスワードや認証機能をなくした状態で投入れるよう事前に案内できる。

機器内部情報取得システム１００は、モバイル機器が自動化機器の投入口に入ったり、自動化機器の特定位置に置かれることでモバイル機器の固有ＩＤを取得し得る。

ここで、自動化機器はモバイル機器を操作し、製品情報のＩＤ画面をモバイル機器のディスプレイに表示してもよい。

製品情報のＩＤ画面は、モバイル機器に関する固有ＩＤを示す画面と、固有ＩＤをバーコード形態に表される画面とに区分される。

機器内部情報取得システム１００は、自動化機器で投入されたモバイル機器に対して、モバイル機器の電源をオンしたりブラック状態（ｐｏｗｅｒ ｓａｖｅモードのように画面が消えた状態など）の画面をオンするように（基本動作モード）操作してもよい。

機器内部情報取得システム１００は、自動化機器を介して電源をオンしたり基本動作モードのモバイル機器を遠隔制御したりして、製品情報のＩＤ画面をモバイル機器のディスプレイに表示することができる。

又は、機器内部情報取得システム１００は、自動化機器により電源をオンしたり基本動作モードのモバイル機器に対して空間タッチの操作を行うことで、製品情報のＩＤ画面をモバイル機器のディスプレイに表示してもよい。

ここで、機器内部情報取得システム１００は、モバイル機器のサイズや形状が多様であり、特定空間に固定されていない状態で位置していることから、モバイル機器が動かないように安定的に固定させ得る。

モバイル機器を固定した後、機器内部情報取得システム１００は、自動化機器の特定空間の中央座標とモバイル機器の中央座標を整合する。

モバイル機器の座標整合において、機器内部情報取得システム１００は、モバイル機器の最小２面以上を固定しなければらなず、固定のための制御方向を一方向以上にする。

即ち、機器内部情報取得システム１００は、自動化機器内部の移動及び固定軸を備え、モバイル機器を中央側に移動させた後、モバイル機器が中央位置になれば固定することができる。

また、機器内部情報取得システム１００は、中央に位置しているモバイル機器の底面を固定できる構造物を用いてモバイル機器のディスプレイをタッチすることができる。

モバイル機器が中央座標に固定された場合、機器内部情報取得システム１００は、特定空間に固定されているモバイル機器の正確な位置及び該当モバイル機器内のユーザインターフェースのメニュー画面の構成及び位置を認識する。

自動化機器がモバイル機器を直接タッチして製品情報のＩＤ画面を順次表示するためには、製品情報のＩＤ画面に対する座標値を認識しなければならない。

ほとんどのモバイル機器は、マトリックス構造と上下左右の移動可能な形態に画面が構成されており、機器内部情報取得システム１００は、モバイル機器の位置情報を認識してタッチ機能を行うことができる。

ＸＹ軸の座標値を認識するためには、該当空間に対する座標値を予め指定してモバイル機器が置かれた地点を中心に実際のモバイル機器の座標を認知する。

機器内部情報取得システム１００は、認知された座標によりモバイル機器上の画面ＵＩのそれぞれの機能別座標を演算してもよい。

機器内部情報取得システム１００は、演算された座標値を基準として該当メニューの順に押して製品情報のＩＤ画面を表示してもよい。

機器内部情報取得システム１００は、モバイル機器そのものを基準にして座標値を算定してもよく、又は、底面を基準にして座標値を算定してもよい。

底面が基準である場合、機器内部情報取得システム１００は、モバイル機器が位置している底面座標にモバイル機器のモデルごとのＵＩアイコン座標を補正して動作座標（メニュー作業時に必要な実際の座標）を算定してもよい。

また、モバイル機器そのものが基準である場合、機器内部情報取得システム１００は、モバイル機器そのものを座標化する基準点を決定して動作座標を適用してもよい。

図５Ａ～図５Ｃは、本発明に係る座標認識及び空間タッチを用いてモバイル機器を操作することを示す図である。

図５Ａにおいて、機器内部情報取得システム１００は、モバイル機器が置かれられる特定空間の底面に対して予め座標系を設定してもよい。

その後、モバイル機器が、前記特定空間に置かれることで機器内部情報取得システム１００は、設定された座標系に基づいてモバイル機器が占有する座標値（Ｘ、Ｙ）を算定する。

機器内部情報取得システム１００は、モバイル機器が位置固定されることを確認した後、カメラにより設定された座標系でモバイル機器が占有いている底面サイズと位置固定される座標値を確認する。即ち、カメラは、底面の座標値算出及びモバイル機器の位置座標値を認識するために活用されてもよい。

また、機器内部情報取得システム１００は、設定された座標系の中央ｃとモバイル機器の座標値との間の離隔程度も共に確認することができる。

図５Ｂにおいて、機器内部情報取得システム１００は、ｘ側駆動レールとｙ側駆動レールを移動する空間タッチハンドを備える。

ここで、機器内部情報取得システム１００は、タッチしなければならないメニューのある画面内の位置座標を中央ｃを基準にして算出することができる。

図５Ｃにおいて、機器内部情報取得システム１００は、固定支持対を用いてモバイル機器を回転させ、モバイル機器の中央と底面の中央ｃを整合する。

その後、機器内部情報取得システム１００は、空間タッチハンドをｘ側駆動レールとｙ側駆動レール上で移動させて中央座標が固定されているモバイル機器を空間タッチしてもよい。

また、機器内部情報取得システム１００は、空中タッチ機能のためのタッチ認識機器の構成により、Ｘ、Ｙ軸に発光及び受信機能を有する光源部を備えてもよい。

光源部は、Ｘ、Ｙ座標値に座標認識を有する座標算出及びデータ化の機能により、モバイル機器とＵＳＢ（登録商標）、ＢＴ（ブルートゥース：登録商標）、ＷＩＦＩ（登録商標）などの様々な有線及び無線Ｉ／Ｆで連動制御する機能を行うことができる。

機器内部情報取得システム１００は、高さＨを有する光源と下段に受信を配置させ、光源から放出される光を用いてモバイル機器の表面をタッチする効果を与えることで、モバイル機器の表面への影響及び衝撃を減らすことができる。

図６は、本発明に係るモバイル機器のＬＣＤ委特定高さ空間で空間タッチすることを説明するための図である。

図６は、空間タッチハンドを用いてモバイル機器のＬＣＤ表面に直接接触せず、ＬＣＤ上の特定空間をタッチし、タッチ時の衝撃ダメージを減らし得る実施形態について説明する。

図６Ａにおいて、機器内部情報取得システム１００は、自動化機器の底面の中央ｃと、モバイル機器の中央とを整合させた状態で、空間タッチ認識器によりタッチ領域を算定することができる。

機器内部情報取得システム１００は、Ｘ軸駆動レールとＹ軸駆動レールにより、算定されたタッチ領域上を移動する空間タッチハンドを用いて、モバイル機器の表面を空間タッチしてもよい。空間タッチハンドは、Ｘ、Ｙ軸駆動レールに沿ってタッチ領域上を移動できる。

図６Ｂは、空間タッチ認識のための機能構造図である。

図６Ｂにおいて、機器内部情報取得システム１００は、タッチ領域の外郭で光源及び受信を指定し、光源と受信との間の光の流れを用いて空間タッチのための格子型の座標系を設定することができる。

光源は、制御部による発光電源によって光を発光する。制御部は、Ｉ／Ｆ連動制御部によってＵＳＢ／ＢＴ／ＷＩＦＩ／ＮＦＣと有線／無線に接続されてもよい。

受信は、発光された光を受信する。

光源と受信との間の光の流れにおいて、制御部は、光の流れに変化があるＸ、Ｙ変動値を認知し、Ｘ、Ｙ座標値を算出する。算出されたＸ、Ｙ座標値は制御部に送信され、制御部は、空間タッチハンドにより前記Ｘ、Ｙ座標値で空間タッチするように制御することができる。

図７は、本発明に係るモバイル機器内部の固有ＩＤを取得する方法を全体的に説明する図である。

ステップ７００において、機器内部情報取得システム１００は、ユーザが装置（自動化機器）から使用案内を受信する。

ステップ７０５において、機器内部情報取得システム１００は、使用案内されるユーザからモバイル機器の投入前にユーザ動作の種類が選択される。

ステップ７１０の以下は、ユーザがパスワード解除後に別途の行為なしにモバイル機器を投入することを選択する場合の動作である。

ステップ７１１において、機器内部情報取得システム１００は、モバイル機器に対する座標確認及び機能別の位置を算定する。

ステップ７１２において、機器内部情報取得システム１００は、モバイル機器に対してパワーオン及び「メイン画面を表示」を行う。

ステップ７１３において、機器内部情報取得システム１００は、モバイル機器のメイン画面ＵＩを基盤に該当画面（製品情報のＩＤ画面）に移動する。

ステップ７２０の以下は、モバイル機器の該当画面（製品情報のＩＤ画面）まで移動した後、画面をｏｎ状態で投入することを選択する場合の動作である。

ステップ７２１において、機器内部情報取得システム１００は、カメラ、スキャナーなどを用いて当該画面（製品情報のＩＤ画面）をキャプチャーする。ステップ７２１は、前のステップ７１３の以後に行われる過程である。

ステップ７３０の以下は、モバイル機器にアプリのインストール後に投入することを選択する場合の動作である。

ステップ７３１において、機器内部情報取得システム１００は、アプリによりモバイル機器に対する制御及び該当画面（製品情報のＩＤ画面）に移動する。

ステップ７３２において、機器内部情報取得システム１００は、スクリーンセーブ機能が可能であるかを判断する。

もし、スクリーンセーブ機能が可能でなければ、機器内部情報取得システム１００は、前のステップ７２１に進む。

一方、スクリーンセーブ機能が可能であれば、ステップ７３３において、機器内部情報取得システム１００は、該当画面をスクリーンセーブした後、該当画面に関するデータを送信する。

ステップ７２１又はステップ７３３の後、ステップ７４０において、機器内部情報取得システム１００は、該当画面で固有ＩＤに相当するグラフィック、文字、及び数字を抽出する。

ステップ７５０において、機器内部情報取得システム１００は、固有ＩＤ情報の抽出後に次のステップのプロセスを行う。

実施形態により、機器内部情報取得システム１００は、自動化機器がモバイル機器を遠隔（ミラーリング）で制御してもよい。

従来の方法は、ユーザや自動化機器が直接モバイル機器の画面をタッチして該当画面で直接移動するか、Ｐａｓｓ Ｓｈｉｆｔ Ａｐｐ（所望する該当画面に直ちに移動させるアプリ）に容易に移動する方法に制限された。

機器内部情報取得システム１００は、モバイル機器を外部のミラーリングシステムで遠隔制御することができ、モバイル機器の画面をミラーリングシステムで見ることによって、自動化機器に投入されたモバイル機器を自動化機器の遠隔制御ミラーリングＳＷにより自動制御することができる。

ここで、ミラーリングは、モバイル機器が自動化機器を制御して自動化機器の画面を共有したり、自動化機器がモバイル機器を遠隔制御して該当モバイル機器の画面を共有する機能を指す。

機器内部情報取得システム１００は、ミラーリング技術を適用して別途のハードウェア装置を自動化機器に設置する必要なく、安全に投入されたモバイル機器に対するＩＤ取得及び様々なテストを行うことができる。

機器内部情報取得システム１００は、ミラーリング技術により個人セキュリティー認証の部分で生じる問題を減らし得る。

機器内部情報取得システム１００は、モバイル機器に遠隔制御ミラーリングアプリを無線で自動化機器からダウンロードして実行し得る。ユーザは、自動化機器で直接ダウンロードする前にインターネットを提供する機器により遠隔制御ミラーリングアプリを直接ダウンロードし、モバイル機器で実行させることができる。

遠隔制御ミラーリングアプリを運営する方法は、ユーザが自動化機器のユーザインターフェース画面を介して製品情報のＩＤ画面に進入する方法と、自動化機器が自動制御ＳＷによりユーザと関係なく、製品情報のＩＤ画面に進入する方法がある。

ユーザが自動化機器のユーザインターフェース画面を介して製品情報のＩＤ画面に進入する方法は、ユーザがユーザインターフェース画面を見て動作しやすいサイズにモバイル機器の実際の画面をディスプレイし、ユーザが直接タッチして製品情報のＩＤ画面に進入するようにする。

ミラーリングの制御時に使用されるインターフェース方法は直接接続も可能であるが、モバイル機器が提供するＷＩＦＩ、ＢＴ、ＮＦＣなどのような様々な無線通信方式を用いて制御してもよい。

自動化機器が自動制御ＳＷによりユーザに関係なく、製品情報のＩＤ画面に進入する方法は、自動化機器に対する遠隔制御機能で運営センターにてこれを制御してもよく、自動化機器が遠隔制御ミラーリングソフトウェア技術によって制御されてもよい。

自動化機器が制御する場合、モバイル機器に対するメニュー画面構成を学習を介して把握することで制御可能である。

但し、自動化機器がモバイル機器のメーカーやモデルを予め把握しても、モバイル機器内のＯＳバージョンは確認することができない。

特に、画面メニューＵＩの構成は、ＯＳのバージョンに応じて一部の差があり得る。

この場合、Ｏｎｅ Ｐａｓｓ Ｓｈｉｆｔアプリを用いて中間過程をパスする方法、又は、バーコードＣａｌｌ方式を適用してもよい。

本発明は、遠隔制御ミラーリング機能を用いて製品情報のＩＤ画面に移動後に該当画面をキャプチャーする法案の他に、遠隔制御技術を使用することによって製品情報のＩＤ画面の固有ＩＤを容易に収容できる法案の２つが提示される。

方案１は、ユーザや自動化機器が遠隔制御されたモバイル機器の製品情報のＩＤ画面で固有ＩＤのテキスト（文字、数字）をマウスドラッグのような方法を用いて直接コピーして使用する方案である。

方案２は、モバイル機器の製品情報のＩＤ画面で画面格納（スクリーンセーブ）機能を用いて格納された画面を自動化機器に送信し、自動化機器が格納された画面で固有ＩＤに該当する文字、数字、バーコードなどを認識して抽出する方案である。

図８は、モバイル機器の投入後にアプリをインストールしてモバイル機器内部の固有ＩＤを取得する一例を説明する図である。

機器内部情報取得システム１００は、ユーザにより「投入後アプリのインストール」を選択した後、モバイル機器が自動化機器に投入されることで、投入されたモバイル機器に対してアプリを自動にインストールすることができる。

機器内部情報取得システム１００は、自動化機器に投入されたモバイル機器を対象にアプリをインストールし、続いてアプリによって製品情報のＩＤ画面がディスプレイに表示されるようする。

図８は、ｍｉｎｉＡＴＭで適用中であるアプリを介するモバイル機器に対する制御の一例を説明する。

図８の（１）において、機器内部情報取得システム１００は、自動化機器にモバイル機器を投入することにより、クラウドサーバーとモバイル機器をリンクさせる。

（２）において、機器内部情報取得システム１００は、クラウドサーバーからアプリを抽出し、モバイル機器にダウンロードする。

（３）において、機器内部情報取得システム１００は、ダウンロードされたアプリをモバイル機器でインストールする。

（４）において、機器内部情報取得システム１００は、デバイスＬＣＤ画面の録画機能を実行するに対してユーザ同意を取得した後、モバイル機器における録画機能を実行する。

（５）において、機器内部情報取得システム１００は、デバイス内部情報画面にＤｕｍｐし、該当内部情報画面に対して自動キャプチャーする。

（６）において、機器内部情報取得システム１００は、キャプチャーされた画面をメモリに格納する。

（７）において、機器内部情報取得システム１００は、ＯＣＲ処理機能等によりキャプチャー画面を認識し、デバイス内部情報（ＩＭＥＩなど）を認識する。

（８）において、機器内部情報取得システム１００は、デバイス内部情報をテキスト化しサーバに送信する。

通常、中古携帯電話の内部情報を認識するためには、特定端末デバイスとＵＳＢケーブルを接続して特定装置が端末デバイス内部のデータを直接連動し、該当の端末デバイスの内部情報を呼び出す方法を使用している。

端末デバイスを物理的に連結する方法は、ＵＳＢケーブルを使用することによりソフトウェア的に連結する方法は、端末デバイスの特定情報を特定環境で強制的に読み出し得るＡＰＩ ＣＯＤＥを介して該当情報を呼び出す方式である。

セキュリティー規定の強化によって特定ＡＰＩ ＣＯＤＥの使用が困難であり、物理的な連結が困難である場合は、該当端末デバイスの内部情報を便利に取得するための方案として次のような方式を適用して実現できる。

この方式は、該当端末デバイス自ら内部情報を探し、これを分析した後外部の特定装置が受けて認識できるようにデータ化して提供する方式であって、顧客と特定装置との間のコンタクトが最小化したアンコンタクト方式である。

これを実現するためには、アプリ及び数個の機能が必要であり、最初に該当端末デバイスの内部情報がある画面（ＵＩ Ｄｅｐｔｈ Ｐａｇｅ）に移動できるアプリと、第２に、該当画面の情報を認識したり分析できるよう画面をキャプチャーしたり該当画面の特定領域を切り取って格納する機能、第３に、格納された該当画面情報で所望するデータ形態に変換できる変化機能を必要とする。

端末デバイスの該当情報をアンコンタクトで容易に取得する方法は、該当機能を行うアプリを予め該当端末デバイスにダウンロードして実行することで容易に実行できる。

機器内部情報取得システム１００は、次の手続きを行って端末デバイスの該当情報をアンコンタクトに取得することができる。

機器内部情報取得システム１００は、該当端末デバイスを外部の特定装置と無線でリンクして該当アプリをダウンロードしステップごとに実行させることができる。

機器内部情報取得システム１００は、実行時端末デバイスのセキュリティー規定に応じて、顧客が直接該当機能を使用するよう許容するステップを行う。許容方法は、端末デバイスの画面に同意する手続に沿って行うことができる。

機器内部情報取得システム１００は、該当端末デバイスで所望する内部情報（端末のデバイス情報、即ち、ＩＭＥＩなど）を顧客の関与（コンタクト）を最も最小にして特定装置との機械的な連動を最小に減らすように数個の機能を行うアプリを共に連動して実行させることができる。

実行されるアプリ機能は、該当端末デバイスの設定メニューに自動移動して端末デバイス内部情報（ＩＭＥＩなど）画面をキャプチャーし、指定された格納空間（ｍｅｍｏｒｙ）に格納する機能であってもよい。

機器内部情報取得システム１００は、端末デバイスの内部情報がある画面に移動させる機能を行う。

最後に、機器内部情報取得システム１００は、指定された格納空間に格納された特定画面（グラフィック画面）に含まれたＱＲコード、バーコード、テキスト（文字）を端末デバイスと外部装置が認識できるデータに変換できるＯＣＲ分析機能を適用し、所望する内部情報を抽出することができる。

そのため、機器内部情報取得システム１００は、取得された内部情報を外部装置に送信することができる。

以下、図９は、本発明の実施形態に係る機器内部情報取得システム１００の作業の流れを詳細に説明する。

図９は、本発明の実施形態に係る電子機器における機器内部の情報を取得する方法を示す流れである。

本実施形態に係る電子機器において、機器内部の情報を取得するための方法は機器内部情報取得システム１００によって実行されてもよい。

まず、機器内部情報取得システム１００は、自動化機器のＵＩ画面を介してユーザから「投入前のユーザ動作」に対して選択される（９１０）。ステップ９１０は、自動化機器に近接するユーザに、モバイル端末をいかなる状態にして自動化機器に投入するかをＵＩ画面によって選択される過程であってもよい。

ＵＩ画面に提示される「投入前のユーザ動作」は、「画面ＯＮ状態に投入」、「アプリのインストール後に投入」、「投入後アプリのインストール」、及び「パスワード解除後に投入」などがあり、機器内部情報取得システム１００は、そのうちユーザがクリックする１つをユーザ選択の「投入前のユーザ動作」として入力されてもよい。

「画面ＯＮ状態に投入」は、固有ＩＤを含む製品情報のＩＤ画面をディスプレイに表示した状態でモバイル機器を自動化機器に投入するユーザ動作である。

本発明におけるモバイル機器へのアプリのインストールは、モバイル機器を自動化機器に投入前又は投入後に選択的に実行される。

「アプリのインストール後に投入」は、自動化機器でモバイル機器を制御できるようにアプリをインストールした状態でモバイル機器を自動化機器に投入するユーザ動作である。実施形態により、「アプリのインストール後に投入」は、アプリによる１回のクリックで製品情報のＩＤ画面をディスプレイに直ちに表示し、製品情報のＩＤ画面が表示された状態のモバイル機器を自動化機器に投入するユーザ動作である。

「投入後アプリのインストール」は、モバイル機器を自動化機器に投入することにより投入されたモバイル機器に対して、アプリを自動にインストールするユーザ動作である。実施形態により、「投入後アプリのインストール」は、自動化機器に投入されたモバイル機器を対象にアプリをインストールし、続いてアプリによって製品情報のＩＤ画面がディスプレイに表示させるユーザ動作である。

「パスワード解除後に投入」は、ロック状態のみを解除した状態でモバイル機器を自動化機器に投入するユーザ動作である。

また、機器内部情報取得システム１００は、前記「投入前のユーザ動作」として「画面ＯＮ状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識する（９２０）。ステップ９２０は「画面ＯＮ状態に投入」を選択したユーザによって、モバイル機器のディスプレイに表示される製品情報のＩＤ画面を確認する過程であってもよい。

「画面ＯＮ状態に投入」の選択下で製品情報のＩＤ画面への進入は、ユーザがモバイル機器を直接操作（メニュー手動クリック）し、ディスプレイに製品情報のＩＤ画面を表示することができる。

製品情報のＩＤ画面は、モバイル機器に対する固有ＩＤが表示される機器状態の画面であってもよく、例えば、モバイル機器のＩＭＥＩ情報を含んでデバイスに関する内部ＩＤ情報を表示してもよい。

次に、機器内部情報取得システム１００は、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す（９３０）。ステップ９３０は、製品情報のＩＤ画面をスキャンして固有ＩＤに該当する文字／数字／特殊記号の組み合わせを読み出す過程であってもよい。

これによって、機器内部情報取得システム１００は、自動化機器に投入されるモバイル機器の画面を分析し、モバイル機器に対する固有ＩＤを抽出することができる。

他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「アプリのインストール後に投入」を選択する場合、機器内部情報取得システム１００は、インストールされたアプリによりモバイル機器を遠隔制御し、製品情報のＩＤ画面に進入する。

そのために、機器内部情報取得システム１００は、前記「投入前のユーザ動作」として「アプリのインストール後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示してもよい。

更なる実施形態において、ユーザが前記「投入前のユーザ動作」として「投入後アプリのインストール」を選択する場合、機器内部情報取得システム１００は、自動化機器にモバイル機器が投入されることを認知することで、投入されたモバイル機器に対してアプリを自動インストールすることができる。これにより、機器内部情報取得システム１００は、インストールされたアプリを介してモバイル機器を遠隔制御し、製品情報のＩＤ画面に進入する。

そのために、機器内部情報取得システム１００は、前記「投入前のユーザ動作」として「投入後アプリのインストール」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してアプリを自動インストールすることができる。

また、機器内部情報取得システム１００はインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示してもよい。

ここで、アプリは、モバイル機器に対する遠隔制御を実現するための専用アプリであってもよい。

アプリのインストールにおいて、一例として、近接するユーザに自動化機器から案内が提供され、提供された案内によりユーザがモバイル機器に手動でアプリをダウンロードした後インストールするケースである。他の一例として、自動化機器に投入が確認されたモバイル機器に対して、アプリを自動ダウンロードしてインストールするケースであってもよい。

「アプリのインストール後に投入」又は「投入後アプリのインストール」の選択下で、製品情報のＩＤ画面への進入は、アプリを媒介に自動化機器がモバイル機器を遠隔制御操作（メニューの自動クリック）し、ディスプレイに製品情報のＩＤ画面を表示することができる。

その後、機器内部情報取得システム１００は、モバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識し、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す。即ち、機器内部情報取得システム１００は、アプリによる遠隔制御によって表示される製品情報のＩＤ画面をスキャンし、固有ＩＤに該当する文字／数字／特殊記号の組み合わせを読み出すことができる。

これによって、機器内部情報取得システム１００は、自動化機器に投入されるモバイル機器の画面を制御し、固有ＩＤを含む製品情報のＩＤ画面に進入し、進入された製品情報のＩＤ画面を分析し、モバイル機器に対する固有ＩＤを抽出することができる。

実施形態により、機器内部情報取得システム１００は、アプリによる遠隔制御によって表示される製品情報のＩＤ画面をイメージとして格納し、格納されたイメージから固有ＩＤを読み出す。

そのために、機器内部情報取得システム１００は、前記モバイル機器のディスプレイに表示された前記製品情報のＩＤ画面をスクリーンセーブし、画面格納データを生成してもよい。即ち、機器内部情報取得システム１００は、前もって製品情報のＩＤ画面そのものを分析する代わりに、相対的に小容量のイメージの画面格納データを対象に分析することのできる環境を備える。

その後、機器内部情報取得システム１００は、前記画面格納データから前記モバイル機器に対する固有ＩＤを抽出する。

そのため、機器内部情報取得システム１００は、製品情報のＩＤ画面をスクリーンセーブした画面格納データを対象に固有ＩＤを抽出でき少ない処理リソースを用いてモバイル機器の内部情報を確保し得る。

他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「パスワード解除後に投入」を選択する場合、機器内部情報取得システム１００は、モバイル機器に対してタッチ操作を行って製品情報のＩＤ画面に進入する。

そのために、機器内部情報取得システム１００は、前記「投入前のユーザ動作」として「パスワード解除後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対して姿勢補正する。即ち、機器内部情報取得システム１００は、ユーザが自動化機器に備えられた投入空間にロック解除させて投入したモバイル機器に対して、空間タッチできるようにモバイル機器を規定の姿勢に補正できる。

姿勢補正において、機器内部情報取得システム１００は、モバイル機器が投入空間内で水平を保持して一方に傾かないように姿勢補正することができる。

そのために、機器内部情報取得システム１００は、前記モバイル機器の少なくとも一側面を、前記投入空間の一側面と同じ方向に移動させて傾き補正し、前記傾き補正後のモバイル機器の真ん中と前記投入空間に設定されている座標系の中央座標を整合して位置補正することができる。

例えば、投入空間の底面が四角形であるボックス状である場合、機器内部情報取得システム１００は、投入空間の底面と同じ角度と方向に置かれるようにモバイル機器に対して傾き補正及び位置補正を行ってもよい。

投入空間に投入されたモバイル機器に対して位置識別及び姿勢補正の動作として、上段でモバイル機器を撮影するカメラ及びカメラで撮影されたイメージが活用されてもよい。

機器内部情報取得システム１００は、前記姿勢補正後のモバイル機器に対する空間タッチの操作により、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示することができる。

ここで、空間タッチは、投入空間で規定された姿勢に補正されて置かれたモバイル機器に対して、ユーザによる手動タッチを排除した状態であって、ディスプレイを自動タッチする操作を指す。

機器内部情報取得システム１００は、前記姿勢補正後のモバイル機器を少なくとも含んでタッチ領域を算定し、前記タッチ領域に光が発光する「光源」と、前記光が入射する「受信」を指定する光源部により、光の流れによる前記タッチ領域に対する格子型の座標系を設定してもよい。

タッチ領域は、補正によって投入空間の底面と同じ角度及び方向に置かれられるようにモバイル機器を少なくとも内部に含む大きさの四角形に設定してもよい。

機器内部情報取得システム１００は、タッチ領域上に決定した間隔に配置されている「光源」と「受信」との間で行われる光の流れにより、格子型の座標系を設定してもよい。

また、機器内部情報取得システム１００は、前記光の流れの変動を認知し、前記座標系内のＸＹ座標を算出し、ｘ側駆動レールとｙ側駆動レールを移動する空間タッチハンドにより前記算出されたＸＹ座標に対して空間タッチを操作してもよい。

即ち、機器内部情報取得システム１００は、「光源」で発光した光が予定された「受信」でない他の値の「受信」に流れたり、光の流れが一時的に停止する座標を、光の流れが変動したＸＹ座標で算出し、算出されたＸＹ座標で空間タッチハンドを移動させることができる。

空間タッチハンドは、ｘ側駆動レールとｙ側駆動レールによりＸＹ座標に移動することができ、機器内部情報取得システム１００は、ＸＹ座標に移動した空間タッチハンドによって前記モバイル機器のディスプレイをタッチして前記空間タッチを操作できる。

ＸＹ座標は、モバイル機器ごとに予め決定された下位メニューに転換するためのステップごとの位置値であってもよい。

「パスワード解除後に投入」の選択下で、製品情報のＩＤ画面への進入は、空間タッチハンドによる空間タッチによって、製品情報のＩＤ画面がモバイル機器のディスプレイに表示することができる。

その後、機器内部情報取得システム１００は、モバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識し、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す。即ち、機器内部情報取得システム１００は、空間タッチにより表示される製品情報のＩＤ画面をスキャンして固有ＩＤに該当する文字／数字／特殊記号の組み合わせを読み出すことができる。

これによって機器内部情報取得システム１００は、自動化機器に投入されるモバイル機器の姿勢を自動補正し、自動化機器によるモバイル機器の画面の制御を最適に行うことができる。

また、機器内部情報取得システム１００は、空間タッチハンドによる空間タッチを任意に活用して、モバイル機器の画面を正確に制御することができる。

実施形態に係る方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

ソフトウェアは、コンピュータプログラム（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）、コード（ｃｏｄｅ）、命令（ｉｎｓｔｒｕｃｔｉｏｎ）、又はそのいずれかの組み合わせを含んでもよく、希望のように処理適応的スーパーサンプリング装置を構成したり独立的又は結合的に（ｃｏｌｌｅｃｔｉｖｅｌｙ）処理適応的スーパーサンプリング装置を命令することができる。ソフトウェア及び／又はデータは、処理適応スーパーサンプリング装置によって解釈されるか、処理適応スーパーサンプリング装置に命令又はデータを提供するために、いずれかのタイプの機械、コンポーネント、物理適応スーパーサンプリング装置、仮想適応スーパーサンプリング装置、コンピュータ記憶媒体、又は適応スーパーサンプリング装置、又は送信される信号波に永久的に具体化することができる。ソフトウェアは、ネットワーク接続されたコンピュータシステム上に分散され、分散された方法で格納又は実行されてもよい。ソフトウェア及びデータは、コンピュータ読み取り可能な記録媒体に格納することができる。

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。

１００：機器内部情報取得システム
１１０：選択部
１２０：認識部
１３０：処理部
１４０：補正部

Claims (17)

1. 自動化機器のＵＩ画面を介してユーザから「投入前のユーザ動作」に対して選択されるステップと、
   前記「投入前のユーザ動作」として「画面ＯＮ状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識するステップと、
   前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出すステップと、
   を含む、電子機器で機器内部の情報を取得するための方法。
2. 前記「投入前のユーザ動作」として「アプリのインストール後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示するステップと、
   前記ディスプレイに表示される製品情報のＩＤ画面を認識するステップと、
   前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出すステップと、
   をさらに含む、請求項１に記載の電子機器で機器内部の情報を取得するための方法。
3. 前記「投入前のユーザ動作」として「投入後アプリのインストール」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器にアプリをインストールするステップと、
   前記インストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示するステップと、
   前記ディスプレイに表示される製品情報のＩＤ画面を認識するステップと、
   前記認識された製品情報のＩＤ画面から、前記モバイル機器に対する固有ＩＤを読み出すステップと、
   をさらに含む、請求項１に記載の電子機器で機器内部の情報を取得するための方法。
4. 前記モバイル機器のディスプレイに表示された前記製品情報のＩＤ画面をスクリーンセーブし、画面格納データを生成するステップと、
   前記画面格納データから前記モバイル機器に対する固有ＩＤを抽出するステップと、
   をさらに含む、請求項２又は請求項３に記載の電子機器で機器内部の情報を取得するための方法。
5. 前記「投入前のユーザ動作」として「パスワード解除後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対して姿勢補正するステップと、
   前記姿勢補正後のモバイル機器に対する空間タッチの操作によって、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示するステップと、
   前記ディスプレイに表示される製品情報のＩＤ画面を認識するステップと、
   前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出すステップと、
   をさらに含む、請求項１に記載の電子機器で機器内部の情報を取得するための方法。
6. 前記姿勢補正するステップは、
   前記モバイル機器の少なくとも一側面を前記投入空間の一側面と同じ方向に移動させて傾き補正するステップと、
   前記傾き補正後のモバイル機器の真ん中と前記投入空間に設定された座標系の中央座標を整合して位置補正するステップと、
   を含む、請求項５に記載の電子機器で機器内部の情報を取得するための方法。
7. 前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示するステップは、
   前記姿勢補正後のモバイル機器を少なくとも含んでタッチ領域を算定するステップと、
   前記タッチ領域に光が発光する「光源」と前記光が入射する「受信」を指定する光源部によって、光の流れによる前記タッチ領域に対する格子型の座標系を設定するステップと、
   を含む、請求項６に記載の電子機器で機器内部の情報を取得するための方法。
8. 前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示するステップは、
   前記光の流れの変動を認知し、前記座標系内のＸＹ座標を算出するステップと、
   ｘ側駆動レールとｙ側駆動レールを移動する空間タッチハンドにより、前記算出されたＸＹ座標に対して空間タッチを操作するステップと、
   をさらに含む、請求項７に記載の電子機器で機器内部の情報を取得するための方法。
9. 自動化機器のＵＩ画面を介してユーザから「投入前のユーザ動作」に対して選択される選択部と、
   前記「投入前のユーザ動作」として「画面ＯＮ状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のＩＤ画面を認識し、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す認識部と、
   を含む、電子機器で機器内部の情報を取得するためのシステム。
10. 前記「投入前のユーザ動作」として「アプリのインストール後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示する処理をさらに含み、
    前記認識部は、前記ディスプレイに表示される製品情報のＩＤ画面を認識し、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す、請求項９に記載の電子機器で機器内部の情報を取得するためのシステム。
11. 前記「投入前のユーザ動作」として「投入後アプリのインストール」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器にアプリをインストールし、前記インストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示する処理部をさらに含み、
    前記認識部は、前記ディスプレイに表示される製品情報のＩＤ画面を認識し、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す、請求項９に記載の電子機器で機器内部の情報を取得するためのシステム。
12. 前記処理部は、前記モバイル機器のディスプレイに表示された前記製品情報のＩＤ画面をスクリーンセーブして画面格納データを生成し、
    前記認識部は、前記画面格納データから前記モバイル機器に対する固有ＩＤを抽出する、請求項１０又は１１に記載の電子機器で機器内部の情報を取得するためのシステム。
13. 前記「投入前のユーザ動作」として「パスワード解除後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対して姿勢補正する補正部と、
    前記姿勢補正後のモバイル機器に対する空間タッチの操作により、前記モバイル機器のディスプレイに製品情報のＩＤ画面を表示する処理部と、
    をさらに含み、
    前記認識部は、前記ディスプレイに表示される情報ＩＤ画面を認識し、前記認識された製品情報のＩＤ画面から前記モバイル機器に対する固有ＩＤを読み出す、請求項９に記載の電子機器で機器内部の情報を取得するためのシステム。
14. 前記補正部は、
    前記モバイル機器の少なくとも一側面を前記投入空間の一側面と同じ方向に移動させて傾き補正し、
    前記傾き補正後のモバイル機器の真ん中と前記投入空間に設定された座標系の中央座標を整合して位置補正する、請求項１３に記載の電子機器で機器内部の情報を取得するためのシステム。
15. 前記処理部は、
    前記姿勢補正後のモバイル機器を少なくとも含んでタッチ領域を算定し、
    前記タッチ領域に、光が発光する「光源」と前記光が入射する「受信」を指定する光源部により光の流れによる前記タッチ領域に対する格子型の座標系を設定する、請求項１４に記載の電子機器で機器内部の情報を取得するためのシステム。
16. 前記処理部は、
    前記光の流れの変動を認知し、前記座標系内のＸＹ座標を算出し、
    ｘ側駆動レールとｙ側駆動レールを移動する空間タッチハンドにより前記算出されたＸＹ座標に対して空間タッチを操作する、請求項１５に記載の電子機器で機器内部の情報を取得するためのシステム。
17. 請求項１に記載の方法を実行させるためのプログラムを記録したコンピュータ読み出し可能な記録媒体。

Images