JP6879329B2 - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP6879329B2 JP6879329B2 JP2019075354A JP2019075354A JP6879329B2 JP 6879329 B2 JP6879329 B2 JP 6879329B2 JP 2019075354 A JP2019075354 A JP 2019075354A JP 2019075354 A JP2019075354 A JP 2019075354A JP 6879329 B2 JP6879329 B2 JP 6879329B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- identification code
- user
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
特許文献１及び２に関連する技術が開示されている。
Techniques related to
特許文献１には、ヘッドマウントディスプレイと、撮像装置と、画像処理部と、商品情報取得部と、情報表示部とを有する商品処理装置が開示されている。
ヘッドマウントディスプレイは、眼鏡のフレーム状に形成された保持部材を備える。保持部材は、商品に付けられたコード情報を目視可能とする光透過性部材を保持する。光透過性部材の一部分はモニタ表示可能となっている。 The head-mounted display includes a holding member formed in the shape of a frame of eyeglasses. The holding member holds a light transmitting member that makes the code information attached to the product visible. A part of the light transmissive member can be displayed on a monitor.
撮像装置は、少なくとも商品に付けられたコード情報を撮像する。画像処理部は、撮像装置の撮像により取得された画像データを光透過性部材のモニタ表示可能な部分に表示する。また、画像処理部は、画像データを画像処理し、コード情報に含まれる商品のコードを解読する。 The image pickup device captures at least the code information attached to the product. The image processing unit displays the image data acquired by the imaging of the imaging device on the monitor displayable portion of the light transmissive member. In addition, the image processing unit performs image processing on the image data and decodes the code of the product included in the code information.
商品情報取得部は、画像処理部により解読された商品コードに基づいて商品の情報を取得する。情報表示部は、少なくとも商品情報取得部により取得された商品の情報をヘッドマウントディスプレイのモニタ表示部に表示する。 The product information acquisition unit acquires product information based on the product code decoded by the image processing unit. The information display unit displays at least the product information acquired by the product information acquisition unit on the monitor display unit of the head-mounted display.
特許文献２には、撮像画像に複数のバーコードが含まれる場合、それら各々を処理対象として認識処理を行う読取装置が開示されている。
特許文献１に開示の技術において、光透過性部材の一部に画像データをモニタ表示している際、ユーザの視野には、（１）光透過性部材の一部にモニタ表示された画像と、（２）光透過性部材の他の部分を透過して見えるユーザの前方の景色と、が含まれることとなる。（１）の画像には、ユーザの前方を撮像した撮像画像に含まれる商品、及び、当該商品に付されているコード情報を読み取ることで得られた商品情報が表示される。
In the technique disclosed in
ユーザの前方に１つの商品のみが存在する場合、ユーザは、（２）の景色内に存在するその商品と、（１）の画像内で表示されている商品及び商品情報とを対応付けることができる。しかし、ユーザの前方に複数の商品が存在する場合、ユーザは、（１）の画像内で表示されている商品及び商品情報が、（２）の景色内に存在する複数の商品のいずれに対応するのか特定できない。特許文献２に開示の技術は、当該問題を解決できない。
When there is only one product in front of the user, the user can associate the product existing in the scenery of (2) with the product and product information displayed in the image of (1). .. However, when a plurality of products exist in front of the user, the user corresponds to any of the plurality of products existing in the scenery of (2) with the product and product information displayed in the image of (1). I can't specify whether to do it. The technique disclosed in
本発明は、識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようにするための技術を提供することを課題とする。 The present invention allows the user to easily grasp which identification code the provided analysis result corresponds to in the device that analyzes the captured image that may include the identification code and provides the result to the user. The challenge is to provide the technology to do so.
本発明によれば、
ユーザの視野に重ねて表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
を有し、
前記表示手段は、特定されかつ認識された前記識別コードと、特定されかつ認識されなかった前記識別コードと、特定されなかった前記識別コードとを区別可能な前記表示画像を表示する画像処理装置が提供される。
According to the present invention
A display means for displaying a display image over the user's field of view,
An imaging means that generates an captured image so as to include the user's field of view,
A recognition means that identifies an identification code included in the captured image and performs a process of recognizing the identified identification code.
Have,
The display means is an image processing device that displays the display image capable of distinguishing the specified and recognized identification code, the specified and unrecognized identification code, and the unspecified identification code. Provided.
また、本発明によれば、
コンピュータが、
ユーザの視野に重ねて表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
を実行し、
前記表示工程では、特定されかつ認識された前記識別コードと、特定されかつ認識されなかった前記識別コードと、特定されなかった前記識別コードとを区別可能な前記表示画像を表示する画像処理方法が提供される。
Further, according to the present invention.
The computer
A display process that displays a display image overlaid on the user's field of view,
An imaging process that generates an image to include the user's field of view,
A recognition step of identifying an identification code included in the captured image and performing a process of recognizing the identified identification code.
And
In the display step, an image processing method for displaying the display image capable of distinguishing the specified and recognized identification code, the specified and unrecognized identification code, and the unspecified identification code is provided. Provided.
また、本発明によれば、
コンピュータを、
ユーザの視野に重ねて表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
として機能させ、
前記表示手段は、特定されかつ認識された前記識別コードと、特定されかつ認識されなかった前記識別コードと、特定されなかった前記識別コードとを区別可能な前記表示画像を表示するプログラムが提供される。
Further, according to the present invention.
Computer,
A display means that displays a display image over the user's field of view,
An imaging means that generates an image to include the user's field of view,
A recognition means that identifies an identification code included in the captured image and performs a process of recognizing the identified identification code.
To function as
The display means is provided with a program for displaying the display image capable of distinguishing the specified and recognized identification code, the specified and unrecognized identification code, and the unspecified identification code. To.
また、本発明によれば、
コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法が提供される。
Further, according to the present invention.
The computer
Display image generation process to generate display image and
A display process for displaying the display image over the user's field of view, and
An imaging process that generates an image to include the user's field of view,
A recognition step of analyzing the captured image, identifying an identification code included in the captured image, and performing a process of recognizing the identified identification code.
And
In the display image generation step,
An image processing method for generating the display image in which the highlighted information is displayed at the position corresponding to the recognized identification code or the unrecognized position corresponding to the identification code is provided in the user's field of view.
また、本発明によれば、
コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラムが提供される。
Further, according to the present invention.
Computer,
Display image generation means for generating display images,
A display means for displaying the display image over the user's field of view,
An imaging means that generates an image to include the user's field of view,
A recognition means that analyzes the captured image, identifies an identification code included in the captured image, and performs a process of recognizing the identified identification code.
To function as
In the display image generation means,
A program is provided that generates a display image in which highlighted information is displayed at a position corresponding to the recognized identification code or a position corresponding to the unrecognized identification code in the user's field of view.
本発明によれば、識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようなる。 According to the present invention, in a device that analyzes a captured image that may include an identification code and provides the result to the user, the user can easily grasp which identification code the provided analysis result corresponds to. Will be.
まず、本実施形態の装置のハードウエア構成の一例について説明する。本実施形態の装置が備える各部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インタフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。 First, an example of the hardware configuration of the apparatus of this embodiment will be described. Each part included in the device of the present embodiment is stored in a storage unit (stored from the stage of shipping the device in advance) such as a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded in the memory, and a hard disk for storing the program. In addition to the programs provided, it can also store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and by any combination of hardware and software centered on the network connection interface. It will be realized. And, it is understood by those skilled in the art that there are various modifications of the realization method and the device.
図１は、本実施形態の装置のハードウエア構成の一例を概念的に示す図である。図示するように、本実施形態の装置は、例えば、バス１１Ａで相互に接続されるＣＰＵ１Ａ、ＲＡＭ（Random Access Memory）２Ａ、ＲＯＭ（Read Only Memory）３Ａ、表示制御部４Ａ、ディスプレイ５Ａ、操作受付部６Ａ、操作部７Ａ、通信部８Ａ、補助記憶装置９Ａ、カメラ１０Ａ等を有する。なお、図示しないが、その他、外部機器と有線で接続される入出力インタフェイス、マイク、スピーカ等の他の要素を備えてもよい。
FIG. 1 is a diagram conceptually showing an example of the hardware configuration of the device of the present embodiment. As shown in the figure, the apparatus of the present embodiment is, for example, a
ＣＰＵ１Ａは各要素とともに装置のコンピュータ全体を制御する。ＲＯＭ３Ａは、コンピュータを動作させるためのプログラムや各種アプリケーションプログラム、それらのプログラムが動作する際に使用する各種設定データなどを記憶する領域を含む。ＲＡＭ２Ａは、プログラムが動作するための作業領域など一時的にデータを記憶する領域を含む。補助記憶装置９Ａは、例えばＨＤＤ（Hard Disc Drive）であり、大容量のデータを記憶可能である。
The
ディスプレイ５Ａは、例えば、光透過性部材で構成された透過型ディスプレイ（透明ディスプレイ）である。すなわち、ディスプレイ５Ａの向こうの景色が透けて見える。このようなディスプレイ５Ａに表示画像を表示すると、ディスプレイ５Ａを観察するユーザの視野において、ディスプレイ５Ａの向こうの景色の前に表示画像が重なった状態となる。なお、ディスプレイ５Ａは、ヘッドマウントディスプレイであってもよい。この場合、ゴーグルや眼鏡のレンズ部分に透過型ディスプレイが設けられる。 The display 5A is, for example, a transmissive display (transparent display) composed of a light transmissive member. That is, the scenery beyond the display 5A can be seen through. When the display image is displayed on the display 5A, the display image is overlapped in front of the scenery beyond the display 5A in the field of view of the user observing the display 5A. The display 5A may be a head-mounted display. In this case, a transmissive display is provided on the lens portion of the goggles or eyeglasses.
表示制御部４Ａは、ＶＲＡＭ（Video RAM）に記憶されたデータを読み出し、読み出したデータに対して所定の処理を施した後、ディスプレイ５Ａに送って各種画面表示を行う。操作受付部６Ａは、操作部７Ａを介して各種操作を受付ける。操作部７Ａは、操作キー、操作ボタン、スイッチ、ジョグダイヤルなどを含む。なお、操作受付部６Ａは、カメラ１０Ａの前方で行われる所定のジェスチャを、所定の操作として受付けてもよい。
The
通信部８Ａは、有線及び／または無線で、インターネット、ＬＡＮ（Local Area Network）等のネットワークに接続し、他の電子機器と通信する。
The
以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。 Hereinafter, the present embodiment will be described. The functional block diagram used in the description of the following embodiment shows the block of the functional unit, not the configuration of the hardware unit. In these figures, each device is described as being realized by one device, but the means for realizing the device is not limited thereto. That is, it may be a physically separated configuration or a logically separated configuration. The same components are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
＜第１の実施形態＞
まず、本実施形態の概要について説明する。本実施形態の画像処理装置は、ユーザの視野を含むように撮像された撮像画像を解析し、図形等で表現された所定の識別コードを検索する。そして、画像処理装置は、撮像画像内で識別コードを特定すると、特定した識別コードをユーザに通知する。
<First Embodiment>
First, the outline of the present embodiment will be described. The image processing apparatus of the present embodiment analyzes the captured image captured so as to include the user's field of view, and searches for a predetermined identification code represented by a graphic or the like. Then, when the image processing device identifies the identification code in the captured image, the image processing device notifies the user of the identified identification code.
本実施形態の通知手段においては、透過型ディスプレイを用いる。透過型ディスプレイはユーザの前方に位置し、ユーザの視野に重ねて所定の画像を表示可能になっている。かかる場合、ユーザの視野において、ユーザの前方の景色に、透過型ディスプレイに表示された所定の画像が重なる。画像処理装置は、ユーザの視野において、特定した識別コードに対応する位置に強調情報（例：所定のマーク）が表示されるような表示画像を透過型ディスプレイに表示する。 In the notification means of the present embodiment, a transmissive display is used. The transmissive display is located in front of the user and can display a predetermined image on the user's field of view. In such a case, a predetermined image displayed on the transmissive display overlaps the scenery in front of the user in the user's field of view. The image processing device displays a display image on the transmissive display such that the highlighted information (eg, a predetermined mark) is displayed at a position corresponding to the specified identification code in the user's field of view.
このような画像処理装置によれば、ユーザは、視野内の情報、すなわち、視野内に存在する識別マークと強調情報との対応関係に基づいて、画像処理装置が特定している識別コードを容易に把握することができる。 According to such an image processing device, the user can easily obtain an identification code specified by the image processing device based on the information in the visual field, that is, the correspondence between the identification mark existing in the visual field and the emphasis information. Can be grasped.
次に、本実施形態の画像処理装置１０の構成について詳細に説明する。図２に、本実施形態の画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、表示画像生成部１１と、表示部１２と、撮像部１３と、認識部１４とを有する。
Next, the configuration of the
表示部１２は、ユーザの視野に重ねて表示画像を表示する。具体的には、表示部１２は、ユーザの視野に存在する前方景色に重ねて、表示画像を表示する。表示部１２は、透過型ディスプレイを備える。そして、表示部１２は、ユーザの前方に位置する当該透過型ディスプレイに表示画像を表示する。このようにすれば、ユーザの視野において、ユーザの視野に存在する前方の景色に表示画像が重なる。
The
透過型ディスプレイは、ユーザに装着されるウェアラブル装置、例えばヘッドマウントディスプレイであってもよい。図３に一例を模式的に示す。図３には、眼鏡型のヘッドマウントディスプレイが示されている。レンズ部分２０が透過型ディスプレイとなっている。
The transmissive display may be a wearable device worn by the user, such as a head-mounted display. An example is schematically shown in FIG. FIG. 3 shows a spectacle-shaped head-mounted display. The
図２に戻り、表示画像生成部１１は、表示画像を生成する。詳細は以下で説明するが、認識部１４による画像解析の結果が表示画像生成部１１に入力される。表示画像生成部１１は、当該結果に基づき、表示画像を生成する。表示画像生成部１１が生成した表示画像は表示部１２に入力される。そして、表示部１２は、当該表示画像をユーザの視野に重ねて表示する。
Returning to FIG. 2, the display
図３の例の場合、例えば、処理装置２２内に位置するコンピュータにより、表示画像生成部１１が構成されてもよい。表示画像生成部１１及び表示部１２間の通信は、有線及び／又は無線での任意の通信規格で実現される。
In the case of the example of FIG. 3, for example, the display
図２に戻り、撮像部１３は、ユーザの視野を含むように撮像画像を生成する。撮像部１３（カメラ）は、ユーザの前方（顔が向く方向）を撮像するように構成される。例えば、撮像部１３は、レンズがユーザの前方を向くように構成される。また、撮像部１３は、ユーザの顔の向きの変化に応じて、レンズの向きが変化するよう構成される。
Returning to FIG. 2, the
例えば、ユーザの顔より上に装着される物体に所定の向きでカメラを取り付けることで、上述のような構成を実現できる。図３の例の場合、ユーザの顔に装着されるヘッドマウントディスプレイに、カメラ２１を取り付けている。カメラ２１は、ユーザの前方（顔が向く方向）を撮像するように取り付けられている。この例の場合、ユーザの顔の向きが変化すると、それに応じて、カメラ２１のレンズの向きも同じ方向を向くように変化する。
For example, the above configuration can be realized by attaching the camera to an object mounted above the user's face in a predetermined orientation. In the case of the example of FIG. 3, the
図２に戻り、認識部１４は、撮像部１３が撮像した撮像画像を解析し、撮像画像に含まれる（写っている）識別コードを特定する。撮像画像に複数の識別コードが存在する場合、認識部１４は、複数の識別コードを特定することができる。図３の例の場合、例えば、処理装置２２内に位置するコンピュータにより、認識部１４が構成されてもよい。撮像部１３及び認識部１４間の通信は、有線及び／又は無線での任意の通信規格で実現される。
Returning to FIG. 2, the
検査対象の物体各々には、図形等で表現された識別コードが付される。例えば、バーコード等の一次元コードや、ＱＲコード（登録商標）等の二次元コードが検査対象に付される。このような検査対象を撮像した撮像画像には、図形等で表現された識別コードが含まれる。認識部１４は、予め、図形等で表現された識別コードの外観の特徴を保持しておく。そして、認識部１４は、撮像画像内で当該特徴があらわれている箇所を特定する。
An identification code represented by a figure or the like is attached to each object to be inspected. For example, a one-dimensional code such as a bar code or a two-dimensional code such as a QR code (registered trademark) is attached to the inspection target. The captured image obtained by capturing such an inspection target includes an identification code represented by a graphic or the like. The
識別コードの外観は、各規格に従った特有なものとなっている。そして、規格の要件を満たしつつ、細部において各々異なる外観を有することで、各々が区別可能となっている。このように、複数の識別コードの外観には、共通する特徴と、互いに異なる特徴とが存在する。撮像画像に含まれる識別コードを特定する処理に用いられる特徴は、複数の識別コードに共通の特徴とすることができる。 The appearance of the identification code is unique according to each standard. And each can be distinguished by having different appearances in each detail while satisfying the requirements of the standard. As described above, the appearance of the plurality of identification codes has common features and features different from each other. The feature used in the process of identifying the identification code included in the captured image can be a feature common to a plurality of identification codes.
認識部１４は、撮像画像の解析結果、すなわち、特定した識別コード各々の撮像画像内の位置を示す情報を、表示画像生成部１１に入力する。
The
表示画像生成部１１は、認識部１４から入力された上記情報に基づき、表示画像を生成する。具体的には、表示画像生成部１１は、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する。認識部１４が複数の識別コードを特定した場合、表示画像生成部１１は、複数の識別コード各々に対応する位置に強調情報が表示される表示画像を生成する。
The display
表示部１２が表示画像を表示すると、ユーザの視野において、ユーザの前方の景色に、表示画像が重なる。ユーザの視野には、前方に実在する識別コードと、表示画像として表示されている強調情報とが含まれる。強調情報が表示される「特定された識別コードに対応する位置」は、ユーザが、視野内の情報に基づき、特定された識別コードとその強調情報とが対応すると直感的に把握できるあらゆる位置を含む。例えば、視野内において、識別コードと強調情報とが重なる位置に表示してもよいし、識別コードの周囲に強調情報が位置するように表示してもよい。
When the
強調情報は、ユーザの視野内で強調できるものであればよく、例えば、矢印、他の図形、記号、文字、数字、マーク、写真等で構成することができる。 The emphasis information may be any information that can be emphasized within the user's field of view, and may be composed of, for example, arrows, other figures, symbols, characters, numbers, marks, photographs, and the like.
表示画像生成部１１は、予め、撮像部１３が撮像した撮像画像内の座標を透過型ディスプレイに表示される表示画像内の座標に変換するための変換ルール（例：行列等で構成された変換式等）を保持しておく。そして、認識部１４から特定した識別コード各々の撮像画像内の位置を示す情報を取得すると、当該変換ルールに従い識別コード各々の位置を表示画像内の座標に変換する。そして、表示画像生成部１１は、変換後の座標に対応する位置に強調情報を配置した表示画像を生成する。
The display
変換ルールは、撮像部１３（カメラ）のレンズの向きやレンズの歪み、透過型ディスプレイ（ヘッドマウントディスプレイのレンズ部分２０）の向き、撮像部１３と透過型ディスプレイとの相対的な位置関係、透過型ディスプレイとユーザの目との相対的な位置関係等のパラメータに基づき、生成できる。図３に示すヘッドマウントディスプレイの場合、これらのパラメータが予め定まる。このため、変換ルールを予め作成し、表示画像生成部１１に保持させておくことができる。なお、撮像画像内の座標を表示画像内の座標に変換する手段は、従来技術に準じて実現できるので、ここでの詳細な説明は省略する。
The conversion rules include the lens orientation and lens distortion of the imaging unit 13 (camera), the orientation of the transmissive display (
ここで、図３及び図４を用いて、表示画像生成部１１が生成する表示画像、及び、表示部１２による表示画像の表示の一例を説明する。
Here, an example of the display image generated by the display
図４（１）は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図３のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた４つの検査対象とが存在する。４つの検査対象各々には、図形等で表現された識別コード（バーコード）Ａが付されている。 FIG. 4 (1) shows the user's field of view through the fluoroscopic display in a state where the display image is not displayed. This corresponds to the user's field of view in FIG. In the user's field of view, there is a work table and four inspection targets placed on the work table. An identification code (bar code) A represented by a figure or the like is attached to each of the four inspection targets.
図４（２）は、表示画像生成部１１が生成した表示画像である。当該例では、強調情報Ｂとして、四角形状の図形が表示されている。表示画像において、強調情報Ｂが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図３のレンズ部分２０に表示される。
FIG. 4 (2) is a display image generated by the display
図４（３）は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色（図４（１））に表示画像（図４（２））が重なっている。そして、強調情報Ｂが識別コードＡに対応する位置に存在する。 FIG. 4 (3) shows the user's field of view through the fluoroscopic display in the state where the display image is displayed. The displayed image (FIG. 4 (2)) overlaps the scenery in front of the user (FIG. 4 (1)). Then, the emphasized information B exists at a position corresponding to the identification code A.
図４（３）のような視野に基づき、ユーザは、前方に存在する４つの検査対象すべての識別コードＡが、画像処理装置１０により特定されていることを直感的に把握できる。
Based on the visual field as shown in FIG. 4 (3), the user can intuitively grasp that the identification codes A of all four inspection targets existing in front are specified by the
なお、上述の通り、強調情報Ｂが表示される識別コードＡに対応する位置は、ユーザが直感的に、対応する強調情報Ｂと識別コードＡとを把握できるものであればよい。図４（３）に示すように、強調情報Ｂが識別コードＡを内包してもよいし、強調情報Ｂが識別コードＡと重なってもよい。また、強調情報Ｂが識別コードＡの周囲に位置してもよい。その他、強調情報Ｂは、識別コードＡの強調表示に加えて、識別コードＡを付された検査対象を強調表示してもよい（図１１参照）。これらの前提は以下のすべての実施形態において同様である。また、強調情報Ｂに対するこれらの前提は、第２の実施形態で説明する強調情報Ｃにおいても同様である。 As described above, the position corresponding to the identification code A on which the emphasis information B is displayed may be such that the user can intuitively grasp the corresponding emphasis information B and the identification code A. As shown in FIG. 4 (3), the emphasized information B may include the identification code A, or the emphasized information B may overlap with the identification code A. Further, the emphasized information B may be located around the identification code A. In addition to the highlighting of the identification code A, the highlighting information B may highlight the inspection target to which the identification code A is attached (see FIG. 11). These assumptions are the same in all of the following embodiments: Further, these assumptions for the emphasis information B are the same for the emphasis information C described in the second embodiment.
次に、図５のフローチャートを用いて、本実施形態の画像処理装置１０の処理の流れの一例を説明する。
Next, an example of the processing flow of the
撮像部１３がユーザの前方（顔が向く方向）を撮像し、ユーザの視野を含むように撮像画像を生成すると（Ｓ１０）、認識部１４は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う（Ｓ１１）。撮像画像内に識別コードがない場合（Ｓ１２のＮｏ）、Ｓ１５に進む。
When the
撮像画像内に識別コードがある場合（Ｓ１２のＹｅｓ）、認識部１４は、特定した識別コード各々の撮像画像内の位置を示す情報を表示画像生成部１１に入力する。表示画像生成部１１は、当該情報に基づき、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する（Ｓ１３）。そして、表示部１２は、Ｓ１３で生成された表示画像をユーザの視野に重ねて表示する（Ｓ１４）。その後、Ｓ１５に進む。
When there is an identification code in the captured image (Yes in S12), the
Ｓ１５では、処理を終了する入力がなされたか否かを判断する。入力されていない場合（Ｓ１５のＮｏ）、Ｓ１０に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合（Ｓ１５のＹｅｓ）、処理を終了する。 In S15, it is determined whether or not the input for ending the process has been made. If no input is made (No in S15), the process returns to S10, the next captured image is acquired, and the same process is repeated. On the other hand, if it is input (Yes in S15), the process ends.
以上説明した本実施形態の画像処理装置１０は、透視型ディスプレイを用い、ユーザの視野に重ねて表示画像を表示することができる。かかる場合、ユーザの視野において、ユーザの前方の景色に、透過型ディスプレイに表示された表示画像が重なる。そして、画像処理装置１０は、ユーザの前方（顔が向く方向）を撮像し、ユーザの視野を含むように生成された撮像画像内で識別コードを特定すると、特定した識別コードに対応する位置に強調情報が表示される表示画像を生成し、透視型ディスプレイに表示することができる。
The
このような画像処理装置１０によれば、前方の景色と表示画像とが重なったユーザの視野において、特定した識別コードを強調表示することができる。このため、ユーザは、自分の視野内の情報から、直感的に、画像処理装置１０により特定された識別コードを把握することができる。
According to such an
また、本実施形態の画像処理装置１０は、撮像画像内に複数の識別コードが存在する場合、それらを特定し、各々に対して認識処理を行うことができる。そして、特定した識別コード各々を強調表示することができる。このように、複数の識別コードをまとめて処理できる本実施形態によれば、作業効率が向上する。また、本実施形態の場合、ユーザの前方に複数の識別コードが存在する場合であっても、画像処理装置１０の解析結果がどの識別コードの対応するものか、ユーザは直感的に把握できる。
Further, when a plurality of identification codes are present in the captured image, the
このように、本実施形態の画像処理装置１０によれば、識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようになる。
As described above, according to the
＜第２の実施形態＞
本実施形態の画像処理装置１０は、特定した識別コードに対する認識結果を区別可能に表示する点で、第１の実施形態と異なる。その他の構成は第１の実施形態と同様である。
<Second embodiment>
The
本実施形態の画像処理装置１０の機能ブロック図は、第１の実施形態同様、図２で示される。表示部１２及び撮像部１３の構成は、第１の実施形態と同様である。
The functional block diagram of the
認識部１４は、第１の実施形態で説明したように、撮像画像に写っている図形等で表現された識別コードを特定する。そして、認識部１４は、特定した識別コード各々を解読する。すなわち、認識部１４は、図形等で表現された識別コードのパターンを解読し、当該パターンに対応する情報（例：数字や文字の組み合わせからなる識別コード）を認識する。撮像画像に複数の識別コードが写っている場合、認識部１４は、複数の識別コードを特定し、各々に対して認識する処理を行う。
As described in the first embodiment, the
認識部１４は、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部１１に入力する。
The
「識別コードを認識された」とは、図形等で表現された識別コードを解読し、パターンに対応する情報を認識できたことを意味する。「識別コードを認識されなかった」とは、図形等で表現された識別コードに対し解読する処理を行ったが、パターンに対応する情報を認識できなかったことを意味する。例えば、「撮像画像に写っている識別コードが小さく、細部のパターンが不明瞭」、「他の物体が重なることによりパターンの一部が撮像画像中に写っていない」、「光の反射具合によりパターンが不明瞭になっている部分が存在する」等の理由により、識別コードを認識できない状態となり得る。 "The identification code is recognized" means that the identification code represented by a figure or the like can be deciphered and the information corresponding to the pattern can be recognized. "The identification code was not recognized" means that the information corresponding to the pattern could not be recognized even though the processing for decoding the identification code represented by a figure or the like was performed. For example, "the identification code shown in the captured image is small and the detailed pattern is unclear", "a part of the pattern is not shown in the captured image due to overlapping of other objects", and "depending on the degree of light reflection". The identification code may not be recognized due to reasons such as "there is a part where the pattern is unclear".
表示画像生成部１１は、第１の実施形態同様、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する。そして、表示画像生成部１１は、認識部１４により認識された識別コード、及び、認識されなかった識別コードを区別可能な表示画像を生成する。これらの識別コードを区別可能に表示する手法は特段制限されない。
Similar to the first embodiment, the display
ここで、図６を用いて、表示画像生成部１１が生成する表示画像、及び、表示部１２による表示画像の表示の一例を説明する。
Here, an example of the display image generated by the display
図６（１）は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図３のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた４つの検査対象とが存在する。４つの検査対象各々には、図形等で表現された識別コード（バーコード）Ａが付されている。 FIG. 6 (1) shows the user's field of view through the fluoroscopic display in a state where the display image is not displayed. This corresponds to the user's field of view in FIG. In the user's field of view, there is a work table and four inspection targets placed on the work table. An identification code (bar code) A represented by a figure or the like is attached to each of the four inspection targets.
図６（２）は、表示画像生成部１１が生成した表示画像である。当該例では、互いに区別可能な強調情報Ｂ及び強調情報Ｃが表示されている。強調情報Ｂは実線の四角であるのに対し、強調情報Ｃは点線の四角となっている。強調情報Ｂは、認識部１４により認識された識別コードＡに対応する位置に表示される。一方、強調情報Ｃは、認識部１４により特定されたが、認識されなかった識別コードＡに対応する位置に表示される。
FIG. 6 (2) is a display image generated by the display
表示画像において、強調情報Ｂ及び強調情報Ｃが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図３のレンズ部分２０に表示される。
In the displayed image, the parts other than the portion where the highlighted information B and the highlighted information C are displayed are transparent. The display image is displayed on the fluoroscopic display, that is, the
図６（３）は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色（図６（１））に表示画像（図６（２））が重なっている。そして、強調情報Ｂ及び強調情報Ｃが識別コードＡに対応する位置に存在する。なお、強調情報Ｂは、認識部１４により認識された識別コードに対応する位置に、強調情報Ｃは、認識部１４により認識されなかった識別コードに対応する位置に表示される。
FIG. 6 (3) shows the user's field of view through the fluoroscopic display in the state where the display image is displayed. The displayed image (FIG. 6 (2)) overlaps the scenery in front of the user (FIG. 6 (1)). Then, the emphasized information B and the emphasized information C exist at positions corresponding to the identification code A. The emphasized information B is displayed at a position corresponding to the identification code recognized by the
図６（３）のような視野に基づき、ユーザは、前方に存在する４つの検査対象すべての識別コードＡが、画像処理装置１０により特定されていることを直感的に把握できる。また、強調情報Ｃに対応する右奥の識別コードＡは画像処理装置１０により認識されておらず、強調情報Ｂに対応する他の識別コードＡは画像処理装置１０により認識されたことを、直感的に把握できる。
Based on the visual field as shown in FIG. 6 (3), the user can intuitively grasp that the identification codes A of all four inspection targets existing in front are specified by the
次に、図７のフローチャートを用いて、本実施形態の画像処理装置１０の処理の流れの一例を説明する。
Next, an example of the processing flow of the
撮像部１３がユーザの前方（顔が向く方向）を撮像し、ユーザの視野を含むように撮像画像を生成すると（Ｓ２０）、認識部１４は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う（Ｓ２１）。撮像画像内に識別コードがない場合（Ｓ２２のＮｏ）、Ｓ２６に進む。
When the
撮像画像内に識別コードがある場合（Ｓ２２のＹｅｓ）、認識部１４は、特定した識別コードに対して認識する処理を行う（Ｓ２３）。そして、認識部１４は、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部１１に入力する。表示画像生成部１１は、当該情報に基づき、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示されるとともに、認識された識別コードと認識されなかった識別コードとを区別可能な表示画像を生成する（Ｓ２４）。
When there is an identification code in the captured image (Yes in S22), the
そして、表示部１２は、Ｓ２４で生成された表示画像をユーザの視野に重ねて表示する（Ｓ２５）。その後、Ｓ２６に進む。
Then, the
Ｓ２６では、処理を終了する入力がなされたか否かを判断する。入力されていない場合（Ｓ２６のＮｏ）、Ｓ２０に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合（Ｓ２６のＹｅｓ）、処理を終了する。 In S26, it is determined whether or not the input for ending the process has been made. If no input is made (No in S26), the process returns to S20, the next captured image is acquired, and the same process is repeated. On the other hand, if it is input (Yes in S26), the process ends.
以上説明した本実施形態によれば、第１の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、ユーザは、視野に存在する識別コード各々が、画像処理装置１０により認識されたのか否かを直感的に把握できる。
According to the present embodiment described above, the same effects as those of the first embodiment can be realized. Further, according to the present embodiment, the user can intuitively grasp whether or not each of the identification codes existing in the visual field is recognized by the
このため、ユーザは、認識された識別コードが付された検査対象、すなわち、情報を読み込み済みの検査対象を作業台から移動させ、認識されなかった識別コードが付された検査対象のみを作業対に残し、再度認識処理を行わせることができる。また、ユーザは、認識されなかった識別コードが付された検査対象を撮像しやすい位置に移動させ、再度、認識処理を行わせることができる。結果、認識されなかった識別コードを次の処理で認識させることが可能となる。 Therefore, the user moves the inspection target with the recognized identification code, that is, the inspection target whose information has been read from the workbench, and works only on the inspection target with the unrecognized identification code. It can be left in the box and the recognition process can be performed again. In addition, the user can move the inspection target to which the unrecognized identification code is attached to a position where it is easy to take an image, and cause the recognition process to be performed again. As a result, the unrecognized identification code can be recognized by the next process.
このように、本実施形態によれば、ユーザは、認識された識別コードが付された検査対象と、認識されなかった識別コードが付された検査対象とを直感的に把握し、各々に対して適切な対応をとることができる。結果、検査効率が向上する。 As described above, according to the present embodiment, the user intuitively grasps the inspection target to which the recognized identification code is attached and the inspection target to which the unrecognized identification code is attached, and for each of them. Can take appropriate measures. As a result, inspection efficiency is improved.
＜第３の実施形態＞
本実施形態の画像処理装置１０は、認識された識別コードのみを強調表示する点で、第１及び第２の実施形態と異なる。その他の構成は、第１及び第２の実施形態と同様である。
<Third embodiment>
The
本実施形態の画像処理装置１０の機能ブロック図は、第１及び第２の実施形態同様、図２で示される。表示部１２及び撮像部１３の構成は、第１及び第２の実施形態と同様である。
The functional block diagram of the
認識部１４は、第１の実施形態で説明したように、撮像画像に写っている図形等で表現された識別コードを特定する。また、認識部１４は、第２の実施形態で説明したように、特定した識別コードに対して認識する処理を行う。撮像画像に複数の識別コードが写っている場合、認識部１４は、複数の識別コードを特定し、各々に対して認識する処理を行う。
As described in the first embodiment, the
認識部１４は、特定し、認識した識別コード各々の撮像画像内の位置を示す情報を表示画像生成部１１に入力する。なお、認識部１４は、第２の実施形態で説明したように、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部１１に入力してもよい。
The
表示画像生成部１１は、ユーザの視野において、認識部１４により認識された識別コードに対応する位置に強調情報が表示される表示画像を生成する。認識部１４により特定されたが、認識されなかった識別コードに対応する位置には強調情報が表示されない。
The display
ここで、図８を用いて、表示画像生成部１１が生成する表示画像、及び、表示部１２による表示画像の表示の一例を説明する。
Here, an example of the display image generated by the display
図８（１）は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図３のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた４つの検査対象とが存在する。４つの検査対象各々には、図形等で表現された識別コード（バーコード）Ａが付されている。 FIG. 8 (1) shows the user's field of view through the fluoroscopic display in a state where the display image is not displayed. This corresponds to the user's field of view in FIG. In the user's field of view, there is a work table and four inspection targets placed on the work table. An identification code (bar code) A represented by a figure or the like is attached to each of the four inspection targets.
図８（２）は、表示画像生成部１１が生成した表示画像である。当該例では、強調情報Ｂが表示されている。強調情報Ｂは、認識部１４により認識された識別コードＡに対応する位置に表示される。表示画像において、強調情報Ｂが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図３のレンズ部分２０に表示される。
FIG. 8 (2) is a display image generated by the display
図８（３）は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色（図８（１））に表示画像（図８（２））が重なっている。そして、強調情報Ｂが、認識部１４により認識された識別コードＡに対応する位置に存在する。
FIG. 8 (3) shows the user's field of view through the fluoroscopic display in the state where the display image is displayed. The displayed image (FIG. 8 (2)) overlaps the scenery in front of the user (FIG. 8 (1)). Then, the emphasized information B exists at a position corresponding to the identification code A recognized by the
図８（３）のような視野に基づき、ユーザは、前方に存在する４つの検査対象の内、強調情報Ｂに対応する３つの識別コードＡが、画像処理装置１０により認識されたことを直感的に把握できる。
Based on the visual field as shown in FIG. 8 (3), the user intuitively realizes that the
次に、図７のフローチャートを用いて、本実施形態の画像処理装置１０の処理の流れの一例を説明する。
Next, an example of the processing flow of the
撮像部１３がユーザの前方（顔が向く方向）を撮像し、ユーザの視野を含むように撮像画像を生成すると（Ｓ２０）、認識部１４は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う（Ｓ２１）。撮像画像内に識別コードがない場合（Ｓ２２のＮｏ）、Ｓ２６に進む。
When the
撮像画像内に識別コードがある場合（Ｓ２２のＹｅｓ）、認識部１４は、特定した識別コードに対して認識する処理を行う（Ｓ２３）。そして、認識部１４は、例えば、認識した識別コード各々の撮像画像内の位置を示す情報を表示画像生成部１１に入力する。表示画像生成部１１は、当該情報に基づき、ユーザの視野において、認識された識別コードに対応する位置に強調情報が表示される表示画像を生成する（Ｓ２４）。
When there is an identification code in the captured image (Yes in S22), the
そして、表示部１２は、Ｓ２４で生成された表示画像をユーザの視野に重ねて表示する（Ｓ２５）。その後、Ｓ２６に進む。
Then, the
Ｓ２６では、処理を終了する入力がなされたか否かを判断する。入力されていない場合（Ｓ２６のＮｏ）、Ｓ２０に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合（Ｓ２６のＹｅｓ）、処理を終了する。 In S26, it is determined whether or not the input for ending the process has been made. If no input is made (No in S26), the process returns to S20, the next captured image is acquired, and the same process is repeated. On the other hand, if it is input (Yes in S26), the process ends.
以上説明した本実施形態によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、ユーザは、視野に存在する識別コードの内、いずれが画像処理装置１０により認識されたかを直感的に把握できる。
According to the present embodiment described above, the same effects as those of the first and second embodiments can be realized. Further, according to the present embodiment, the user can intuitively grasp which of the identification codes existing in the visual field is recognized by the
このため、ユーザは、認識された識別コードが付された検査対象、すなわち、情報を読み込み済みの検査対象を作業台から移動させ、認識されなかった識別コードが付された検査対象のみを作業対に残し、再度認識処理を行わせることができる。また、ユーザは、認識されなかった識別コードが付された検査対象を撮像しやすい位置に移動させ、再度、認識処理を行わせることができる。結果、認識されなかった識別コードを次の処理で認識させることが可能となる。 Therefore, the user moves the inspection target with the recognized identification code, that is, the inspection target whose information has been read from the workbench, and works only on the inspection target with the unrecognized identification code. It can be left in the box and the recognition process can be performed again. In addition, the user can move the inspection target to which the unrecognized identification code is attached to a position where it is easy to take an image, and cause the recognition process to be performed again. As a result, the unrecognized identification code can be recognized by the next process.
このように、本実施形態によれば、ユーザは、認識された識別コードが付された検査対象と、認識されなかった識別コードが付された検査対象とを直感的に把握し、各々に対して適切な対応をとることができる。結果、検査効率が向上する。 As described above, according to the present embodiment, the user intuitively grasps the inspection target to which the recognized identification code is attached and the inspection target to which the unrecognized identification code is attached, and for each of them. Can take appropriate measures. As a result, inspection efficiency is improved.
＜第４の実施形態＞
本実施形態の画像処理装置１０は、認識できなかった識別コードのみを強調表示する点で、第１乃至第３の実施形態と異なる。その他の構成は、第１乃至第３の実施形態と同様である。
<Fourth Embodiment>
The
本実施形態の画像処理装置１０の機能ブロック図は、第１乃至第３の実施形態同様、図２で示される。表示部１２及び撮像部１３の構成は、第１乃至第３の実施形態と同様である。
The functional block diagram of the
認識部１４は、第１の実施形態で説明したように、撮像画像に写っている図形等で表現された識別コードを特定する。また、認識部１４は、第２の実施形態で説明したように、特定した識別コードに対して認識する処理を行う。撮像画像に複数の識別コードが写っている場合、認識部１４は、複数の識別コードを特定し、各々に対して認識する処理を行う。
As described in the first embodiment, the
認識部１４は、特定したが、認識されなかった識別コード各々の撮像画像内の位置を示す情報を表示画像生成部１１に入力する。なお、認識部１４は、第２の実施形態で説明したように、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部１１に入力してもよい。
The
表示画像生成部１１は、ユーザの視野において、認識部１４により特定されたが認識されなかった識別コードに対応する位置に強調情報が表示される表示画像を生成する。認識部１４により特定され、かつ、認識された識別コードに対応する位置には強調情報が表示されない。
The display
ここで、図９を用いて、表示画像生成部１１が生成する表示画像、及び、表示部１２による表示画像の表示の一例を説明する。
Here, an example of the display image generated by the display
図９（１）は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図３のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた４つの検査対象とが存在する。４つの検査対象各々には、図形等で表現された識別コード（バーコード）Ａが付されている。 FIG. 9 (1) shows the user's field of view through the fluoroscopic display in a state where the display image is not displayed. This corresponds to the user's field of view in FIG. In the user's field of view, there is a work table and four inspection targets placed on the work table. An identification code (bar code) A represented by a figure or the like is attached to each of the four inspection targets.
図９（２）は、表示画像生成部１１が生成した表示画像である。当該例では、強調情報Ｂが表示されている。強調情報Ｂは、認識部１４により特定されたが、認識されなかった識別コードＡに対応する位置に表示される。表示画像において、強調情報Ｂが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図３のレンズ部分２０に表示される。
FIG. 9 (2) is a display image generated by the display
図９（３）は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色（図９（１））に表示画像（図９（２））が重なっている。そして、強調情報Ｂが、認識部１４により特定されたが認識されなかった識別コードＡに対応する位置に存在する。
FIG. 9 (3) shows the user's field of view through the fluoroscopic display in the state where the display image is displayed. The displayed image (FIG. 9 (2)) overlaps the scenery in front of the user (FIG. 9 (1)). Then, the emphasized information B exists at a position corresponding to the identification code A identified by the
図９（３）のような視野に基づき、ユーザは、前方に存在する４つの検査対象の内、強調情報Ｂに対応する１つの識別コードＡが、画像処理装置１０により特定されたが、認識されなかったことを直感的に把握できる。
Based on the visual field as shown in FIG. 9 (3), the user recognizes that one identification code A corresponding to the emphasis information B among the four inspection targets existing in front is identified by the
次に、図７のフローチャートを用いて、本実施形態の画像処理装置１０の処理の流れの一例を説明する。
Next, an example of the processing flow of the
撮像部１３がユーザの前方（顔が向く方向）を撮像し、ユーザの視野を含むように撮像画像を生成すると（Ｓ２０）、認識部１４は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う（Ｓ２１）。撮像画像内に識別コードがない場合（Ｓ２２のＮｏ）、Ｓ２６に進む。
When the
撮像画像内に識別コードがある場合（Ｓ２２のＹｅｓ）、認識部１４は、特定した識別コードに対して認識する処理を行う（Ｓ２３）。そして、認識部１４は、例えば、特定したが、認識されなかった識別コード各々の撮像画像内の位置を示す情報を表示画像生成部１１に入力する。表示画像生成部１１は、当該情報に基づき、ユーザの視野において、特定されたが認識されなかった識別コードに対応する位置に強調情報が表示される表示画像を生成する（Ｓ２４）。
When there is an identification code in the captured image (Yes in S22), the
そして、表示部１２は、Ｓ２４で生成された表示画像をユーザの視野に重ねて表示する（Ｓ２５）。その後、Ｓ２６に進む。
Then, the
Ｓ２６では、処理を終了する入力がなされたか否かを判断する。入力されていない場合（Ｓ２６のＮｏ）、Ｓ２０に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合（Ｓ２６のＹｅｓ）、処理を終了する。 In S26, it is determined whether or not the input for ending the process has been made. If no input is made (No in S26), the process returns to S20, the next captured image is acquired, and the same process is repeated. On the other hand, if it is input (Yes in S26), the process ends.
以上説明した本実施形態によれば、第１乃至第３の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、ユーザは、視野に存在する識別コードの内、いずれが画像処理装置１０により特定されたが、認識されなかったかを直感的に把握できる。
According to the present embodiment described above, the same effects as those of the first to third embodiments can be realized. Further, according to the present embodiment, the user can intuitively grasp which of the identification codes existing in the visual field is identified by the
このため、ユーザは、認識されなかった識別コードが付された検査対象を撮像しやすい位置に移動させ、再度、認識処理を行わせることができる。結果、認識されなかった識別コードを次の処理で認識させることが可能となる。 Therefore, the user can move the inspection target to which the unrecognized identification code is attached to a position where it is easy to take an image, and perform the recognition process again. As a result, the unrecognized identification code can be recognized by the next process.
このように、本実施形態によれば、ユーザは、認識されなかった識別コードが付された検査対象を直感的に把握し、適切な対応をとることができる。結果、検査効率が向上する。 As described above, according to the present embodiment, the user can intuitively grasp the inspection target to which the unrecognized identification code is attached and take an appropriate response. As a result, inspection efficiency is improved.
＜第５の実施形態＞
本実施形態の画像処理装置１０は、ユーザからの指示入力に応じて、撮像画像の生成、撮像画像の解析、表示画像の生成、表画像の表示という一連の処理を行う点で、第１乃至第４の実施形態と異なる。その他の構成は、第１乃至第４の実施形態と同様である。
<Fifth Embodiment>
The
図１０に、本実施形態の画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、表示画像生成部１１と、表示部１２と、撮像部１３と、認識部１４と、入力受付部１５とを有する。
FIG. 10 shows an example of a functional block diagram of the
入力受付部１５は、ユーザから開始指示入力を受付ける。入力受付部１５は、所定の操作ボタンの押下により開始指示入力を受付けてもよいし、カメラ（撮像部１３）の前での所定のジェスチャにより開始指示入力を受付けてもよい。その他、マイクを介した所定の発言内容の入力により、開始指示入力を受付けてもよい。
The
撮像部１３は、入力受付部１５が受付けた開始指示入力に応じて、撮像画像の生成を開始する。認識部１４は、撮像部１３による撮像画像の生成に応じて、当該撮像画像の解析を開始する。表示画像生成部１１は、認識部１４による撮像画像の解析の結果の生成に応じて、表示画像の生成を開始する。表示部１２は、表示画像生成部１１による表示画像の生成に応じて、表示画像の表示を開始する。表示画像生成部１１、表示部１２、撮像部１３及び認識部１４の他の構成は、第１乃至第４の実施形態と同様である。
The
以上説明した本実施形態によれば、第１乃至第４の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、常時表示画像が表示されるのでなく、ユーザからの指示に応じて表示画像の表示を行うことができる。このため、ユーザは、表示画像が必要なタイミングで表示画像を表示させ、不要なタイミングでは非表示とすることができる。結果、表示画像がユーザの他の作業の邪魔になる不都合を軽減できる。 According to the present embodiment described above, the same effects as those of the first to fourth embodiments can be realized. Further, according to the present embodiment, the display image is not always displayed, but the display image can be displayed according to an instruction from the user. Therefore, the user can display the display image at a required timing and hide it at an unnecessary timing. As a result, the inconvenience that the displayed image interferes with other work of the user can be reduced.
以下、参考形態の例を付記する。
１． 表示画像を生成する表示画像生成手段と、
ユーザの視野に重ねて前記表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段と、
を有し、
前記表示画像生成手段は、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理装置。
２． １に記載の画像処理装置において、
前記認識手段は、特定した前記識別コードに対して認識する処理を行い、
前記表示画像生成手段は、
認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理装置。
３． １または２に記載の画像処理装置において、
前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、
前記表示画像生成手段は、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
４． 表示画像を生成する表示画像生成手段と、
ユーザの視野に重ねて前記表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
を有し、
前記表示画像生成手段は、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理装置。
５． ４に記載の画像処理装置において、
前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行い、
前記表示画像生成手段は、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
６． １から５のいずれかに記載の画像処理装置において、
ユーザから開始指示入力を受付ける入力受付手段をさらに有し、
前記撮像手段は、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識手段は、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成手段は、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示手段は、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理装置。
７． １から６のいずれかに記載の画像処理装置において、
前記表示手段は、透過型ディスプレイを備え、当該透過型ディスプレイに前記表示画像を表示する画像処理装置。
８． １から７のいずれかに記載の画像処理装置において、
前記表示手段は、ヘッドマウントディスプレイを備え、当該ヘッドマウントディスプレイに前記表示画像を表示する画像処理装置。
９． コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法。
９−２． ９に記載の画像処理方法において、
前記認識工程では、特定した前記識別コードに対して認識する処理を行い、
前記表示画像生成工程では、
認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理方法。
９−３． ９または９−２に記載の画像処理方法において、
前記認識工程では、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、
前記表示画像生成工程では、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理方法。
９−４． ９から９−３のいずれかに記載の画像処理方法において、
前記コンピュータが、ユーザから開始指示入力を受付ける入力受付工程をさらに実行し、
前記撮像工程では、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識工程では、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成工程では、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示工程では、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理方法。
９−５． ９から９−４のいずれかに記載の画像処理方法において、
前記表示工程では、透過型ディスプレイに前記表示画像を表示する画像処理方法。
９−６． ９から９−５のいずれかに記載の画像処理方法において、
前記表示工程では、ヘッドマウントディスプレイに前記表示画像を表示する画像処理方法。
１０． コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラム。
１０−２． １０に記載のプログラムにおいて、
前記認識手段に、特定した前記識別コードに対して認識する処理を行わせ、
前記表示画像生成手段に、
認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成させるプログラム。
１０−３． １０または１０−２に記載のプログラムにおいて、
前記認識手段に、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定させ、
前記表示画像生成手段に、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成させるプログラム。
１０−４． １０から１０−３のいずれかに記載のプログラムにおいて、
前記コンピュータを、ユーザから開始指示入力を受付ける入力受付手段としてさらに機能させ、
前記撮像手段に、前記開始指示入力に応じて、前記撮像画像の生成を開始させ、
前記認識手段に、前記撮像画像の生成に応じて、前記撮像画像の解析を開始させ、
前記表示画像生成手段に、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始させ、
前記表示手段に、前記表示画像の生成に応じて、前記表示画像の表示を開始させるプログラム。
１０−５． １０から１０−４のいずれかに記載のプログラムにおいて、
前記表示手段に、透過型ディスプレイに前記表示画像を表示させるプログラム。
１０−６． １０から１０−５のいずれかに記載のプログラムにおいて、
前記表示手段に、ヘッドマウントディスプレイに前記表示画像を表示させるプログラム。
１１． コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法。
１１−２． １１に記載の画像処理方法において、
前記認識工程では、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行い、
前記表示画像生成工程では、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理方法。
１１−３． １１又は１１−２に記載の画像処理方法において、
前記コンピュータが、ユーザから開始指示入力を受付ける入力受付工程をさらに実行し、
前記撮像工程では、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識工程では、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成工程では、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示工程では、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理方法。
１１−４． １１から１１−３のいずれかに記載の画像処理方法において、
前記表示工程では、透過型ディスプレイに前記表示画像を表示する画像処理方法。
１１−５． １１から１１−４のいずれかに記載の画像処理方法において、
前記表示工程では、ヘッドマウントディスプレイに前記表示画像を表示する画像処理方法。
１２． コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラム。
１２−２． １２に記載のプログラムにおいて、
前記認識手段に、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行わせ、
前記表示画像生成手段に、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成させるプログラム。
１２−３． １２又は１２−３に記載のプログラムにおいて、
前記コンピュータを、ユーザから開始指示入力を受付ける入力受付手段としてさらに機能させ、
前記撮像手段に、前記開始指示入力に応じて、前記撮像画像の生成を開始させ、
前記認識手段に、前記撮像画像の生成に応じて、前記撮像画像の解析を開始させ、
前記表示画像生成手段に、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始させ、
前記表示手段に、前記表示画像の生成に応じて、前記表示画像の表示を開始させるプログラム。
１２−４． １２から１２−３のいずれかに記載のプログラムにおいて、
前記表示手段に、透過型ディスプレイに前記表示画像を表示させるプログラム。
１２−５． １２から１２−４のいずれかに記載のプログラムにおいて、
前記表示手段に、ヘッドマウントディスプレイに前記表示画像を表示させるプログラム。
Hereinafter, an example of the reference form will be added.
1. 1. Display image generation means for generating display images and
A display means for displaying the display image over the user's field of view, and
An imaging means that generates an captured image so as to include the user's field of view,
A recognition means that analyzes the captured image and identifies an identification code included in the captured image.
Have,
The display image generation means
An image processing device that generates the display image in which the highlighted information is displayed at a position corresponding to the specified identification code in the user's field of view.
2. In the image processing apparatus according to 1.
The recognition means performs a process of recognizing the specified identification code, and performs a process of recognizing the identified code.
The display image generation means
An image processing device that generates the display image capable of distinguishing the recognized identification code and the unrecognized identification code.
3. 3. In the image processing apparatus according to 1 or 2.
When the captured image contains a plurality of identification codes, the recognition means identifies the plurality of identification codes.
The display image generation means is an image processing device that generates the display image in which the emphasis information is displayed at a position corresponding to each of the plurality of specified identification codes in the user's field of view.
4. Display image generation means for generating display images and
A display means for displaying the display image over the user's field of view, and
An imaging means that generates an captured image so as to include the user's field of view,
A recognition means that analyzes the captured image, identifies an identification code included in the captured image, and performs a process of recognizing the identified identification code.
Have,
The display image generation means
An image processing device that generates the display image in which emphasis information is displayed at a position corresponding to the recognized identification code or a position corresponding to the unrecognized identification code in the user's field of view.
5. In the image processing apparatus according to 4.
When the captured image contains a plurality of identification codes, the recognition means identifies the plurality of identification codes and performs a process of recognizing each of the identification codes.
The display image generation means displays the highlighted information at a position corresponding to each of the plurality of recognized identification codes or a position corresponding to each of the plurality of unrecognized identification codes in the user's field of view. An image processing device that generates the display image.
6. In the image processing apparatus according to any one of 1 to 5,
It also has an input receiving means for receiving start instruction input from the user.
The imaging means starts generating the captured image in response to the start instruction input.
The recognition means starts the analysis of the captured image in response to the generation of the captured image.
The display image generation means starts generating the display image in response to the generation of the analysis result of the captured image.
The display means is an image processing device that starts displaying the display image in response to the generation of the display image.
7. In the image processing apparatus according to any one of 1 to 6,
The display means is an image processing device including a transmissive display and displaying the displayed image on the transmissive display.
8. In the image processing apparatus according to any one of 1 to 7.
The display means is an image processing device including a head-mounted display and displaying the displayed image on the head-mounted display.
9. The computer
Display image generation process to generate display image and
A display process for displaying the display image over the user's field of view, and
An imaging process that generates an image to include the user's field of view,
A recognition step of analyzing the captured image and identifying an identification code included in the captured image,
And
In the display image generation step,
An image processing method for generating the display image in which the highlighted information is displayed at a position corresponding to the specified identification code in the user's field of view.
9-2. In the image processing method according to 9.
In the recognition step, a process of recognizing the specified identification code is performed.
In the display image generation step,
An image processing method for generating the display image capable of distinguishing the recognized identification code and the unrecognized identification code.
9-3. In the image processing method described in 9 or 9-2,
In the recognition step, when the captured image contains a plurality of identification codes, the plurality of identification codes are identified.
In the display image generation step, an image processing method for generating the display image in which the emphasis information is displayed at a position corresponding to each of the plurality of specified identification codes in the user's field of view.
9-4. In the image processing method according to any one of 9 to 9-3,
The computer further executes an input receiving process of receiving a start instruction input from the user.
In the imaging step, the generation of the captured image is started in response to the start instruction input.
In the recognition step, the analysis of the captured image is started in response to the generation of the captured image.
In the display image generation step, generation of the display image is started according to the generation of the analysis result of the captured image.
In the display step, an image processing method that starts displaying the display image in response to the generation of the display image.
9-5. In the image processing method according to any one of 9 to 9-4,
In the display step, an image processing method for displaying the displayed image on a transmissive display.
9-6. In the image processing method according to any one of 9 to 9-5,
In the display step, an image processing method for displaying the displayed image on a head-mounted display.
10. Computer,
Display image generation means for generating display images,
A display means for displaying the display image over the user's field of view,
An imaging means that generates an image to include the user's field of view,
A recognition means that analyzes the captured image and identifies an identification code included in the captured image.
To function as
In the display image generation means,
A program that generates a display image in which highlighted information is displayed at a position corresponding to the specified identification code in the user's field of view.
10-2. In the program described in 10.
The recognition means is made to perform a process of recognizing the specified identification code.
In the display image generation means,
A program that generates the display image that can distinguish the recognized identification code and the unrecognized identification code.
10-3. In the program described in 10 or 10-2
When the recognition means includes a plurality of identification codes in the captured image, the recognition means is made to identify the plurality of identification codes.
A program that causes the display image generation means to generate the display image in which the emphasis information is displayed at a position corresponding to each of the plurality of specified identification codes in the user's field of view.
10-4. In the program described in any of 10 to 10-3,
The computer is further made to function as an input receiving means for receiving a start instruction input from the user.
The imaging means is started to generate the captured image in response to the start instruction input.
The recognition means is made to start the analysis of the captured image in response to the generation of the captured image.
The display image generation means is started to generate the display image according to the generation of the analysis result of the captured image.
A program that causes the display means to start displaying the display image in response to the generation of the display image.
10-5. In the program described in any of 10 to 10-4,
A program that causes the display means to display the displayed image on a transmissive display.
10-6. In the program described in any of 10 to 10-5,
A program that causes the display means to display the display image on a head-mounted display.
11. The computer
Display image generation process to generate display image and
A display process for displaying the display image over the user's field of view, and
An imaging process that generates an image to include the user's field of view,
A recognition step of analyzing the captured image, identifying an identification code included in the captured image, and performing a process of recognizing the identified identification code.
And
In the display image generation step,
An image processing method for generating the display image in which highlighted information is displayed at a position corresponding to the recognized identification code or a position corresponding to the unrecognized identification code in the user's field of view.
11-2. In the image processing method according to 11.
In the recognition step, when a plurality of identification codes are included in the captured image, a process of identifying the plurality of identification codes and recognizing each of the identification codes is performed.
In the display image generation step, the highlighted information is displayed at a position corresponding to each of the plurality of recognized identification codes or a position corresponding to each of the plurality of unrecognized identification codes in the user's field of view. An image processing method for generating the display image.
11-3. In the image processing method according to 11 or 11-2,
The computer further executes an input receiving process of receiving a start instruction input from the user.
In the imaging step, the generation of the captured image is started in response to the start instruction input.
In the recognition step, the analysis of the captured image is started in response to the generation of the captured image.
In the display image generation step, generation of the display image is started according to the generation of the analysis result of the captured image.
In the display step, an image processing method that starts displaying the display image in response to the generation of the display image.
11-4. In the image processing method according to any one of 11 to 11-3,
In the display step, an image processing method for displaying the displayed image on a transmissive display.
11-5. In the image processing method according to any one of 11 to 11-4,
In the display step, an image processing method for displaying the displayed image on a head-mounted display.
12. Computer,
Display image generation means for generating display images,
A display means for displaying the display image over the user's field of view,
An imaging means that generates an image to include the user's field of view,
A recognition means that analyzes the captured image, identifies an identification code included in the captured image, and performs a process of recognizing the identified identification code.
To function as
In the display image generation means,
A program that generates a display image in which highlighted information is displayed at a position corresponding to the recognized identification code or a position corresponding to the unrecognized identification code in the user's field of view.
12-2. In the program described in 12.
When the recognition means includes a plurality of identification codes in the captured image, the recognition means is made to identify the plurality of identification codes and perform a process of recognizing each of the identification codes.
In the display image generation means, the highlighted information is displayed at a position corresponding to each of the plurality of recognized identification codes or a position corresponding to each of the plurality of unrecognized identification codes in the user's field of view. A program that generates the display image.
12-3. In the program described in 12 or 12-3
The computer is further made to function as an input receiving means for receiving a start instruction input from the user.
The imaging means is started to generate the captured image in response to the start instruction input.
The recognition means is made to start the analysis of the captured image in response to the generation of the captured image.
The display image generation means is started to generate the display image according to the generation of the analysis result of the captured image.
A program that causes the display means to start displaying the display image in response to the generation of the display image.
12-4. In the program described in any of 12 to 12-3,
A program that causes the display means to display the displayed image on a transmissive display.
12-5. In the program described in any of 12 to 12-4,
A program that causes the display means to display the display image on a head-mounted display.
１Ａ ＣＰＵ
２Ａ ＲＡＭ
３Ａ ＲＯＭ
４Ａ 表示制御部
５Ａ ディスプレイ
６Ａ 操作受付部
７Ａ 操作部
８Ａ 通信部
９Ａ 補助記憶装置
１０Ａ カメラ
１１Ａ バス
１０ 画像処理装置
１１ 表示画像生成部
１２ 表示部
１３ 撮像部
１４ 認識部
１５ 入力受付部
２０ レンズ部分
２１ カメラ
２２ 処理装置
Ａ 識別コード
Ｂ 強調情報
Ｃ 強調情報
1A CPU
2A RAM
3A ROM
4A Display control
Claims (8)
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
を有し、
前記表示手段は、特定されかつ認識された前記識別コードと、特定されかつ認識されなかった前記識別コードと、特定されなかった前記識別コードとを区別可能な前記表示画像を表示する画像処理装置。 A display means for displaying a display image over the user's field of view,
An imaging means that generates an captured image so as to include the user's field of view,
A recognition means that identifies an identification code included in the captured image and performs a process of recognizing the identified identification code.
Have,
The display means is an image processing device that displays the display image capable of distinguishing the specified and recognized identification code, the specified and unrecognized identification code, and the unspecified identification code.
前記表示手段は、ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報を表示する画像処理装置。 In the image processing apparatus according to claim 1,
The display means is an image processing device that displays highlighted information at a position corresponding to the recognized identification code or a position corresponding to the unrecognized identification code in the user's field of view.
前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行い、
前記表示手段は、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報を表示する画像処理装置。 In the image processing apparatus according to claim 2,
When the captured image contains a plurality of identification codes, the recognition means identifies the plurality of identification codes and performs a process of recognizing each of the identification codes.
The display means is an image processing device that displays the highlighted information at a position corresponding to each of the plurality of recognized identification codes or a position corresponding to each of the plurality of unrecognized identification codes in the user's field of view. ..
ユーザから開始指示入力を受付ける入力受付手段と、
前記表示画像を生成する表示画像生成手段と、をさらに有し、
前記撮像手段は、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識手段は、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成手段は、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示手段は、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理装置。 In the image processing apparatus according to claim 2 or 3.
Input receiving means for receiving start instruction input from the user,
Further having a display image generation means for generating the display image,
The imaging means starts generating the captured image in response to the start instruction input.
The recognition means starts the analysis of the captured image in response to the generation of the captured image.
The display image generation means starts generating the display image in response to the generation of the analysis result of the captured image.
The display means is an image processing device that starts displaying the display image in response to the generation of the display image.
前記表示手段は、透過型ディスプレイを備え、当該透過型ディスプレイに前記表示画像を表示する画像処理装置。 In the image processing apparatus according to any one of claims 1 to 4.
The display means is an image processing device including a transmissive display and displaying the displayed image on the transmissive display.
前記表示手段は、ヘッドマウントディスプレイを備え、当該ヘッドマウントディスプレイに前記表示画像を表示する画像処理装置。 In the image processing apparatus according to any one of claims 1 to 5,
The display means is an image processing device including a head-mounted display and displaying the displayed image on the head-mounted display.
ユーザの視野に重ねて表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
を実行し、
前記表示工程では、特定されかつ認識された前記識別コードと、特定されかつ認識されなかった前記識別コードと、特定されなかった前記識別コードとを区別可能な前記表示画像を表示する画像処理方法。 The computer
A display process that displays a display image overlaid on the user's field of view,
An imaging process that generates an image to include the user's field of view,
A recognition step of identifying an identification code included in the captured image and performing a process of recognizing the identified identification code.
And
In the display step, an image processing method for displaying the display image capable of distinguishing the specified and recognized identification code, the specified and unrecognized identification code, and the unspecified identification code.
ユーザの視野に重ねて表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
として機能させ、
前記表示手段は、特定されかつ認識された前記識別コードと、特定されかつ認識されなかった前記識別コードと、特定されなかった前記識別コードとを区別可能な前記表示画像を表示するプログラム。 Computer,
A display means that displays a display image over the user's field of view,
An imaging means that generates an image to include the user's field of view,
A recognition means that identifies an identification code included in the captured image and performs a process of recognizing the identified identification code.
To function as
The display means is a program that displays the display image capable of distinguishing the specified and recognized identification code, the specified and unrecognized identification code, and the unspecified identification code.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019075354A JP6879329B2 (en) | 2019-04-11 | 2019-04-11 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019075354A JP6879329B2 (en) | 2019-04-11 | 2019-04-11 | Image processing device, image processing method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015059088A Division JP6511893B2 (en) | 2015-03-23 | 2015-03-23 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019160326A JP2019160326A (en) | 2019-09-19 |
| JP6879329B2 true JP6879329B2 (en) | 2021-06-02 |
Family
ID=67994056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019075354A Active JP6879329B2 (en) | 2019-04-11 | 2019-04-11 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6879329B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001028033A (en) * | 1999-07-14 | 2001-01-30 | Oki Electric Ind Co Ltd | Display method for bar code recognition result and bar code recognition device |
| JP2011134079A (en) * | 2009-12-24 | 2011-07-07 | Panasonic Corp | Collation inspection device and collation inspection method |
| JP2015141215A (en) * | 2014-01-27 | 2015-08-03 | 村田機械株式会社 | Head-mounted display device |
-
2019
- 2019-04-11 JP JP2019075354A patent/JP6879329B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019160326A (en) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016152891A1 (en) | Image processing device, image processing method, and program | |
| US11257143B2 (en) | Method and device for simulating a virtual out-of-box experience of a packaged product | |
| US10176521B2 (en) | Augmented reality virtual product for display | |
| JP4192847B2 (en) | Code reader and program | |
| JP4588098B2 (en) | Image / sound monitoring system | |
| US9251411B2 (en) | Augmented-reality signature capture | |
| US20160180594A1 (en) | Augmented display and user input device | |
| US20160042241A1 (en) | Interactive indicia reader | |
| JP6439566B2 (en) | Multilingual display device, multilingual display system, multilingual display method, and multilingual display program | |
| EP4303758A2 (en) | Mobile device having an improved user interface for reading code symbols | |
| CN107273004B (en) | Image display device, image display control method, and recording medium | |
| US20060238550A1 (en) | Hands-free data acquisition system | |
| JP2023001179A (en) | Method for processing multiple decodable indicia | |
| US20190197275A1 (en) | Eye gaze detection controlled indicia scanning system and method | |
| JP6662264B2 (en) | Display system | |
| JP5215328B2 (en) | Label display device, label display method, and program thereof | |
| JP6879329B2 (en) | Image processing device, image processing method, and program | |
| JP2020095537A (en) | Learning dataset automatic generation system, server, and learning dataset automatic generation program | |
| JP2011048426A (en) | Cooking auxiliary terminal and program | |
| JP5310040B2 (en) | Imaging processing apparatus and program | |
| JP6404526B2 (en) | Captured image sharing system, captured image sharing method, and program | |
| JP7333971B2 (en) | Function execution system | |
| WO2016135471A1 (en) | Interactive information system | |
| GB2535727A (en) | Interactive information system | |
| JP4474348B2 (en) | Information processing apparatus, information processing method, program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190411 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200512 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200710 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210208 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210208 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210215 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210412 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6879329 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |