JPWO2019150531A1 - Image display device and image display method - Google Patents
Image display device and image display method Download PDFInfo
- Publication number
- JPWO2019150531A1 JPWO2019150531A1 JP2019568503A JP2019568503A JPWO2019150531A1 JP WO2019150531 A1 JPWO2019150531 A1 JP WO2019150531A1 JP 2019568503 A JP2019568503 A JP 2019568503A JP 2019568503 A JP2019568503 A JP 2019568503A JP WO2019150531 A1 JPWO2019150531 A1 JP WO2019150531A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image display
- unit
- image data
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
Abstract
ＡＲ画像を表示する端末装置などを不要としながら複数の被説明者に対してリアルタイムに物品に係る情報を提示する。画像表示装置１は、携帯情報端末２および該携帯情報端末２から出力される画像データを投射する。携帯情報端末２は、カメラ２０６，２０７、ディスプレイ２１２、および画像処理制御部を有する。カメラ２０６，２０７は、画像を撮影する。ディスプレイ２１２は、カメラ２０６，２０７が撮影した画像を表示する。画像処理制御部は、ＣＰＵ２０３、無線ＬＡＮインタフェース２０２、および画像処理プロセッサ２０８などからなり、ディスプレイ２１２に表示される画像から選択された物品が具備する通信機能部に対して画像データを送信させる。プロジェクタ３は、携帯情報端末２が受信した画像データから情報画像を投射する。Information related to goods is presented to a plurality of people to be explained in real time without the need for a terminal device for displaying AR images. The image display device 1 projects the mobile information terminal 2 and the image data output from the mobile information terminal 2. The mobile information terminal 2 has cameras 206 and 207, a display 212, and an image processing control unit. The cameras 206 and 207 take an image. The display 212 displays images taken by the cameras 206 and 207. The image processing control unit includes a CPU 203, a wireless LAN interface 202, an image processing processor 208, and the like, and causes the communication function unit of an article selected from the images displayed on the display 212 to transmit image data. The projector 3 projects an information image from the image data received by the mobile information terminal 2.
Description
本発明は、画像表示装置および画像表示方法に関し、特に、展示あるいは陳列されている物品などの理解促進に有効な技術に関する。 The present invention relates to an image display device and an image display method, and more particularly to a technique effective for promoting understanding of an article displayed or displayed.
近年、ＡＲ（Augmented Reality：拡張現実）を利用したサービスの提案がされている。ＡＲは、ＡＲトリガと呼ばれる２次元画像をデジタルカメラあるいはスマートフォンに内蔵されるカメラなどにて撮影して、ＡＲトリガで紐付けしている情報の画像をカメラ撮影画像にリアルタイムに合成表示させる。 In recent years, services using AR (Augmented Reality) have been proposed. AR captures a two-dimensional image called an AR trigger with a digital camera or a camera built in a smartphone, and displays an image of information associated with the AR trigger in real time on the image captured by the camera.
ＡＲを利用したサービスを提供する技術として、例えば合成表示されるＡＲ画像を画像共有データベースに蓄積させて、サービス提供サーバを介してＡＲ画像を提供することにより、ユーザ以外の他ユーザにもＡＲ画像の観閲を可能とするものがある（例えば特許文献１参照）。 As a technology for providing a service using AR, for example, by accumulating a composite display AR image in an image sharing database and providing the AR image via a service providing server, the AR image can be provided to users other than the user. There is something that enables viewing of (see, for example, Patent Document 1).
上述したように特許文献１の技術では、合成表示されるＡＲ画像を画像共有データベースに蓄積させるためにＡＲ画像を複数のユーザ間においてリアルタイムに共有することができない。
As described above, in the technique of
複数のユーザによりＡＲ画像を共有するためには、各々のユーザに該ＡＲ画像を表示する端末装置がそれぞれ必要となる。すなわち、ＡＲ画像を表示する端末装置をユーザ数分用意しなければならず、ユーザ数が多い場合には、ＡＲ画像の共有が困難である。 In order to share an AR image among a plurality of users, a terminal device for displaying the AR image is required for each user. That is, it is necessary to prepare terminal devices for displaying AR images for the number of users, and when the number of users is large, it is difficult to share the AR images.
本発明の目的は、ＡＲ画像を表示する端末装置を不要としながら複数の被説明者に対してリアルタイムに物品に係る情報を提示することができる技術を提供することにある。 An object of the present invention is to provide a technique capable of presenting information related to an article to a plurality of people to be explained in real time without requiring a terminal device for displaying an AR image.
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。 The above and other purposes and novel features of the present invention will become apparent from the description and accompanying drawings herein.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。 A brief description of typical inventions disclosed in the present application is as follows.
すなわち、代表的な画像表示装置は、携帯情報端末および画像表示部を備える。携帯情報端末は、外部から送信される物品に係る情報である画像データを受信する。画像表示部は、携帯情報端末から出力される画像データから生成他情報画像を投射する。 That is, a typical image display device includes a mobile information terminal and an image display unit. The mobile information terminal receives image data which is information related to an article transmitted from the outside. The image display unit projects a generated other information image from the image data output from the mobile information terminal.
携帯情報端末は、カメラ部、表示部、および画像処理制御部を有する。カメラ部は、画像を撮影する。表示部は、カメラ部が撮影した画像を表示する。画像処理制御部は、選択された物品から画像データを取得して、取得した画像データを画像表示部に出力する。 The mobile information terminal has a camera unit, a display unit, and an image processing control unit. The camera unit captures an image. The display unit displays an image taken by the camera unit. The image processing control unit acquires image data from the selected article and outputs the acquired image data to the image display unit.
そして、画像処理制御部は、表示部に表示される画像から選択された物品が具備する通信機能部に対して画像データを送信させる。 Then, the image processing control unit causes the communication function unit of the article selected from the images displayed on the display unit to transmit the image data.
特に、画像処理制御部は、カメラ部から出力される距離データから検出した平坦部を投射領域として設定して、設定した投射領域に情報画像を投射するように画像表示部を制御する。また、画像処理制御部は、投射領域の背景色を検出して、投射領域に投射される情報画像と検出した背景色とのコントラストが強まるように画像データを補正する。 In particular, the image processing control unit sets a flat portion detected from the distance data output from the camera unit as a projection area, and controls the image display unit so as to project an information image on the set projection area. Further, the image processing control unit detects the background color of the projection area and corrects the image data so that the contrast between the information image projected on the projection area and the detected background color is strengthened.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, the effects obtained by representative ones will be briefly described as follows.
（１）複数の被説明者に対してリアルタイムに物品に係る情報を提示することができる。 (1) Information related to an article can be presented to a plurality of people to be explained in real time.
（２）上記（１）により、利用者の利便性を向上させることができる。 (2) According to the above (1), the convenience of the user can be improved.
実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。 In all the drawings for explaining the embodiment, the same members are, in principle, given the same reference numerals, and the repeated description thereof will be omitted.
（実施の形態１）
以下、実施の形態を詳細に説明する。(Embodiment 1)
Hereinafter, embodiments will be described in detail.
〈画像表示装置の構成例〉
図１は、本実施の形態１による画像表示装置１における構成の一例を示す説明図である。<Configuration example of image display device>
FIG. 1 is an explanatory diagram showing an example of a configuration in the
画像表示装置１は、図１に示すように携帯情報端末２およびプロジェクタ３を有する。携帯情報端末２は、モバイル通信インタフェース２０１、無線ＬＡＮインタフェース２０２、ＣＰＵ（Central Processing Unit）２０３、ＲＡＭ（Random Access Memory）２０４、フラッシュＲＯＭ（Read Only Memory）２０５、カメラ２０６、カメラ２０７、画像処理プロセッサ２０８、センサ２０９、ビデオプロセッサ２１０、グラフィックプロセッサ２１１、ディスプレイ２１２、音声通話用のマイク／スピーカ２１３、外部インタフェース２１４、外部端子２１５、ビーコン送受信部２１６などを有する。上記した各機能ブロックは、共通バス２１７により相互に接続されている。
The
画像表示部であるプロジェクタ３は、外部端子２１５を介し、携帯情報端末２に接続されている。プロジェクタ３の投射口である投射レンズ面は、カメラ２０６およびカメラ２０７がそれぞれ有するレンズ面とおおよそ同じ方向を向くように設置されている。また、設置の調整を行う機構を採用してもよい。
The
説明者は、画像表示装置１を手に持ち、カメラ２０６，２０７のレンズ面を被写体である物品（以下、商品という）に向けて撮影を行う。カメラ部であるカメラ２０６，２０７は、例えばステレオカメラである。ステレオカメラは、２つのカメラの視差を利用して、被写体を撮影するのに加えて、被写体とカメラ間の距離を測距する。
The explainer holds the
この他に、カメラ２０６，２０７のいずれか一方のカメラを被写体を撮影するカメラとして用いて、他方のカメラをＴＯＦ（Time Of Flight）やＳＰ（Structured Patter）などの方式によって被写体との距離を測距する専用のカメラとしてもよい。
In addition, one of the
画像処理プロセッサ２０８は、カメラ２０６，２０７の撮影画像および距離データの処理を行う。ＣＰＵ２０３、無線ＬＡＮインタフェース２０２、および画像処理プロセッサ２０８などによって画像処理制御部が構成されている。
The
また、センサ２０９は、例えばジャイロセンサなどであり、カメラ２０６，２０７の撮影時における手振れなどを検知して、撮影時の手振れ補正を行い、安定した被写体の撮影を可能とさせる。
Further, the
モバイル通信インタフェース２０１は、３Ｇ（Generation）あるいは４Ｇと称されるモバイル通信機能を担い、無線ＬＡＮインタフェース２０２は、Ｗｉ−ｆｉ（登録商標）などに代表される無線ＬＡＮ（Local Area Network）機能を担う。無線ＬＡＮインタフェース２０２には、無線ＬＡＮだけでなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）などに例示される通信機能を含んでもよい。
The
モバイル通信インタフェース２０１および無線ＬＡＮインタフェース２０２は、周囲の通信環境に応じて相補的に動作する。例えば屋内では無線ＬＡＮインタフェース２０２が選択され、屋外ではモバイル通信インタフェース２０１が選択される。
The
被写体である商品についても、画像表示装置１との通信を行う図２に示す通信機能部３００を備えている。この通信機能部３００は、通信機能の他に該商品に係る情報である画像データあるいは後述する個体情報などのデータなどを格納する図示しない格納部などを有している。以下、画像表示装置１は、商品に備えられる通信機能部３００を通じて通信可能な商品を選択して、選択した商品と通信を行い、該商品に係る情報を得る。
The product, which is the subject, also includes the
ＣＰＵ２０３は、フラッシュＲＯＭ２０５に格納されているアプリケーションやＯＳ（オペレーティングシステム）などのプログラムを実行する。実行に当たっては、フラッシュＲＯＭ２０５のプログラムは、揮発性半導体メモリであるＲＡＭ２０４に展開される。
The
フラッシュＲＯＭ２０５は、データを書き換えすることができる不揮発性半導体メモリであり、プログラムのほか、商品に係る情報、および商品に係る情報の画像のデータなどを保持する。これらデータについてもＲＡＭ２０４に展開される。
The
また、ＣＰＵ２０３が実行するプログラムは、アプリケーションやＯＳに加えて、共通バス２１７に繋がる画像処理プロセッサ２０８、ビデオプロセッサ２１０、およびグラフィックプロセッサ２１１などの制御プログラムなどを含む。
Further, the program executed by the
上述した商品に係る情報、すなわち画像データは、ＣＰＵ２０３、ビデオプロセッサ２１０、およびグラフィックプロセッサ２１１にて処理され、プロジェクタ３によって投射可能な画像である情報画像に変換される。
The information related to the above-mentioned product, that is, image data is processed by the
商品に係る情報がＭＰＥＧ（Moving Picture Experts Group）やＪＰＥＧ（Joint Photographic Experts Group）などの圧縮された画像データである場合には、ビデオプロセッサ２１０により復号が行われる。ハイパーテキストなどのデータである場合には、グラフィックプロセッサ２１１が画像データに変換する。得られた画像データは、外部インタフェース２１４および外部端子２１５を介してプロジェクタ３に送出される。
When the information related to the product is compressed image data such as MPEG (Moving Picture Experts Group) or JPEG (Joint Photographic Experts Group), the
ディスプレイ２１２は、例えばタッチパネルを有しており、カメラ２０６，２０７の撮影画像、あるいはアプリケーションの実行画面を表示する。また、必要に応じてユーザの入力操作を促して、画像表示装置１でのインタラクティブ操作を可能とさせる。
The
ビーコン送受信部２１６は、商品に向けてビーコン信号を送信するとともに、商品から送信されるビーコン信号を受信する。ビーコン信号は、画像表示装置１の周辺にある商品の存在を検知する際に用いられる。
The beacon transmission /
〈画像表示装置の利用例〉
図２は、図１の画像表示装置１の利用の一例を示す説明図である。<Example of using an image display device>
FIG. 2 is an explanatory diagram showing an example of using the
この図２では、画像表示装置１がスマートフォンからなる例を示したものであり、スマートフォンには、プロジェクタ３が内蔵されている。また、図２では、商品としてスーツケース６を説明する例を示している。
FIG. 2 shows an example in which the
図２において、商品であるスーツケース６を説明する説明者４は、画像表示装置１を保持して、カメラ２０６，２０７のレンズ面をスーツケース６に向けて撮影する。撮影画像は、ディスプレイ２１２に表示される。そして、ディスプレイ２１２の表示画面上にて、説明者４は、説明する商品を選択する。商品の選択は、例えば説明者が説明するスーツケース６の画像をタッチすることなどによって行われる。
In FIG. 2, the
説明する商品であるスーツケース６が選択されると、画像表示装置１とスーツケース６が有する通信機能部３００とが通信信号２１ａ，２１ｂを用いてそれぞれ通信を行う。これにより、画像表示装置１は、選択したスーツケース６から該スーツケース６に係る情報を得る。
When the
さらに、画像表示装置１は、通信から得るスーツケース６に係る情報である画像データを情報画像に変換して、スーツケース６に対して投射することによりて、情報画面である投射画面３０を被説明者５ａ，５ｂ，５ｃに提示する。
Further, the
これにより、被説明者５ａ，５ｂ，５ｃは、スーツケース６と投射画面３０とを同時に見ながら説明者４が行う説明を受けることができる。このように、複数の被説明者によって商品の情報を観閲する際に、個々の被説明者５ａ，５ｂ，５ｃが商品の情報を閲覧するＡＲ（Augmented Reality）ヘッドマウントディスプレイや表示装置などの端末装置をそれぞれ用意しなくてもよいので、装置コストを低減しながら、利用者の利便性を向上させることができる。
As a result, the person to be explained 5a, 5b, 5c can receive the explanation given by the person to be explained 4 while simultaneously looking at the
〈画像処理プロセッサの処理例〉
図３は、図１の画像表示装置１が有する画像処理プロセッサ２０８の処理例を示す説明図である。この図３では、画像処理プロセッサ２０８による処理の一例としたが、以下に示す処理は、画像処理プロセッサ２０８とＣＰＵ２０３とによって行うものであってもよい。<Processing example of image processor>
FIG. 3 is an explanatory diagram showing a processing example of the
画像処理プロセッサ２０８は、第１の処理、第２の処理、および第３の処理をそれぞれ実行する。第１の処理は、商品認識および商品決定操作受信を行う処理である。第２の処理は、距離データ受信、平坦部検出、および投射領域決定を行う処理である。第３の処理は、投射画像データ受信、投射画像データ補正、および投射画像データ送出を行う。
The
第１の処理において、商品認識では、カメラ２０６，２０７の撮影画像を画像処理して商品を認識する（ステップＳ１０１）。商品認識に関しては、予めビーコン送受信部２１６によるビーコン通信を用いて、近くにある商品の存在を検知する。
In the first process, in the product recognition, the captured images of the
ビーコン送受信部２１６は、特定の商品に向けて発信するものでないので、画像表示装置１の周辺にビーコン信号に応答する商品が複数ある場合には、複数の商品が検知される。あるいはカメラ２０６，２０７の撮影画像から物体の画像認識を行い、その結果に基づいて、商品を判別するようにしてもよい。ビーコン通信によって予め商品の存在が絞り込まれているため、画像認識の計算負荷が軽減される。
Since the beacon transmission /
検知された商品は、ディスプレイ２１２に選択候補として提示する。この場合、ディスプレイ２１２に表示されるカメラ２０６，２０７の撮影画像において、選択候補の商品、すなわち検出した商品を識別マークである枠などによって囲む表示などを行うことによって、説明者４に選択候補であることを認識させる。
The detected product is presented on the
説明者４は、カメラ２０６，２０７の撮影画像の表示画面で、商品の画像をタッチするなどの操作を行い、説明の対象とする商品を決定する。商品決定操作受信では、画像処理プロセッサ２０８が説明の対象とする商品を決定した際の決定指示を受信する（ステップＳ１０２）。
The
第２の処理において、距離データ受信では、カメラ２０６，２０７から距離データを受信する（ステップＳ１０３）。距離データは、例えばカメラ２０６，２０７の撮影画像の画素単位に付随するものである。平坦部検出では、該距離データを用いて、距離の変動偏差が予め設定される基準値以内の領域を平坦部として判定する（ステップＳ１０４）。
In the second process, in the distance data reception, the distance data is received from the
投射領域決定では、平坦部として判定された領域から、投射領域を決定する（ステップＳ１０５）。投射領域は、ひとつの平坦部を選択してもよいが、複数の平坦部の組み合わせとして選択してもよい。 In the projection area determination, the projection area is determined from the area determined as the flat portion (step S105). The projection region may be selected as one flat portion, or may be selected as a combination of a plurality of flat portions.
第３の処理において、投射画像データ受信では、ビデオプロセッサ２１０およびグラフィックプロセッサ２１１にて得る商品に係る情報の画像データを選択したスーツケース６、すなわちステップＳ１０２の処理にて決定した商品から受信する（ステップＳ１０６）。
In the third process, in the projected image data reception, the image data of the information related to the product obtained by the
投射画像データ補正は、図２に示したように商品であるスーツケース６に投射画面３０を投射する際に投射領域の背景色、投射領域の形状などを考慮して、投射画像データの色合い変更あるいは形状変換などを行う（ステップＳ１０７）。これにより、投射画面が見やすくなるように修正される。
In the projection image data correction, as shown in FIG. 2, when the
投射画像データ送出では、投射画像データ補正の処理にて修正された投射画像データを図１の外部インタフェース２１４などを介してプロジェクタ３に送出する（ステップＳ１０８）。
In the projected image data transmission, the projected image data corrected by the projection image data correction process is transmitted to the
なお、図３では、上述した第１の処理、第２の処理、および第３の処理をそれぞれ順番に処理する例を示したが、これらの処理の順番は、これに限定されるものではない。例えば第１の処理と第２の処理、第２処理と第３の処理、第１の処理と第３の処理、あるいは第１の処理〜第３の処理までを並列に処理するようにしてもよい。 Note that FIG. 3 shows an example in which the above-mentioned first process, second process, and third process are processed in order, but the order of these processes is not limited to this. .. For example, even if the first process and the second process, the second process and the third process, the first process and the third process, or the first process to the third process are processed in parallel. Good.
〈画像表示装置と商品との通信例〉
図４は、図１の画像表示装置１による商品との通信シーケンスの一例を示す説明図である。<Example of communication between an image display device and a product>
FIG. 4 is an explanatory diagram showing an example of a communication sequence with a product by the
まず、画像表示装置１は、説明する商品を検出するためにビーコン送受信部２１６からビーコン信号を送信する（ステップＳ２０１）。このビーコン信号は、上述したように特定の商品に向けて発信するものでない。
First, the
よって、ビーコン信号を受信した画像表示装置１の周辺にある複数の商品が該ビーコン信号を受信したことを示すビーコン応答を返す（ステップＳ２０２）。このビーコン応答には、例えば商品を特定する商品コードあるいは型番などの個体情報が含まれている。
Therefore, a beacon response indicating that a plurality of products around the
また、ステップＳ２０２の処理であるビーコン応答は、ビーコン信号に替えて、例えば無線ＬＡＮインタフェース２０２などによるブロードキャスト通信などを用いてもよい。
Further, the beacon response, which is the process of step S202, may use, for example, broadcast communication by a
画像表示装置１において、画像処理プロセッサ２０８は、周辺にある商品からの応答を確認して、商品を説明する商品を決定する（ステップＳ２０３）。ステップＳ２０３の処理では、説明者４が図３の商品決定操作受信（ステップＳ１０２）において選択した商品を説明する商品として決定する。
In the
商品が決定された際、画像処理プロセッサ２０８は、画像認識処理によって決定した商品の個体情報を取得する。この場合、例えばフラッシュＲＯＭ２０５などに各商品の特徴点および該特徴点に紐付いた個体情報などを示すテーブルが格納されている。画像処理プロセッサ２０８は、このテーブルに基づいて、決定された商品の個体情報を取得する。
When the product is determined, the
続いて、ＣＰＵ２０３は、取得した個体情報に合致する商品に対してデータリクエストを送信する（ステップＳ２０４）。この場合、ビーコン応答に含まれる個体情報を検索し、商品の決定の際に取得した個体情報と一致する商品を検索する。
Subsequently, the
そして、ビーコン応答に含まれる個体情報と取得した個体情報とが一致する商品に対してデータリクエストを送信する。このデータリクエストは、例えば無線ＬＡＮインタフェース２０２などによって送信される。
Then, a data request is transmitted to the product in which the individual information included in the beacon response and the acquired individual information match. This data request is transmitted by, for example, the
商品６は、画像表示装置１からのデータリクエストに応えて、商品に係る情報のデータを送信する（ステップＳ２０５）。画像処理装置１は、無線ＬＡＮインタフェース２０２を介して商品に係る情報のデータを受信する。
The
〈平坦部検出の検出例〉
図５は、図３の平坦部検出における検出例を示す説明図である。<Detection example of flat part detection>
FIG. 5 is an explanatory diagram showing a detection example in the flat portion detection of FIG.
カメラ２０６，２０７の撮影画像は２次元の画像であり、対応する距離データも２次元のデータであるが、図５では、説明を簡単にするために１次元にて示している。図５（ａ）および図５（ｂ）において、横軸は、画素の位置を示したものであり、縦軸は距離の大きさを示したものである。また、図５（ａ）の実線８４１ａおよび図５（ｂ）の実線８４１ｂは、距離データをそれぞれプロットしたものである。
The captured images of the
図５（ａ）の場合には、実線８４１ａに示すように、画素位置が位置Ｘ１〜位置Ｘ２の範囲もおいて距離の偏差がδに収まっている平坦部が検出できる。また、図５（ｂ）の場合には、実線８４１ｂに示すように画素位置が位置Ｘ３〜位置Ｘ４の範囲において、距離が単調に増加しているものの、傾斜分を控除した偏差がδに収まっている傾斜付き平坦部が検出できる。傾斜つき平坦部においても、投射領域として選択することができる。
In the case of FIG. 5A, as shown by the
〈投射画像データ補正の処理例〉
図６は、図３の投射画像データ補正における処理の一例を示す説明図である。<Processing example of projected image data correction>
FIG. 6 is an explanatory diagram showing an example of processing in the projection image data correction of FIG.
この図６では、投射画像データ補正として、色明度補正、形状補正、および奥行き補正の３つの補正を行う例を示している。 FIG. 6 shows an example in which three corrections, color brightness correction, shape correction, and depth correction, are performed as projection image data correction.
色明度補正は、背景色検出および文字色補正を実行する。形状補正は、投射領域形状検出および画像データ形状補正を実行する。奥行き補正は、投射領域奥行き検出および画像データ奥行き補正を実行する。 The color brightness correction executes background color detection and character color correction. The shape correction executes projection area shape detection and image data shape correction. Depth correction executes projection area depth detection and image data depth correction.
まず、背景色検出において、カメラ２０６，２０７の撮影画像の投射領域の背景色を検出する（ステップＳ３０１）。そして、文字色補正にて、投射画像データに含まれる文字などの色補正および明度補正を行う（ステップＳ３０２）。これにより、背景とのコントラストを強めて投射画像の視認性を改善する。
First, in the background color detection, the background color of the projection area of the captured images of the
続いて、投射領域形状検出にて、投射領域が例えば台形である場合、曲面である場合、あるいは分離されて構成されている場合などの投射領域の形状を検出する（ステップＳ３０３）。 Subsequently, in the projection region shape detection, the shape of the projection region is detected, for example, when the projection region is trapezoidal, curved, or separated (step S303).
その後、画像データ形状補正において、検出された投射領域の形状に合わせて、投射画像データの形状補正を行い、投射画像を投射領域の範囲に収める（ステップＳ３０４）。 After that, in the image data shape correction, the shape of the projected image data is corrected according to the shape of the detected projection region, and the projected image is within the range of the projection region (step S304).
そして、投射領域奥行き検出にて、投射領域の奥行き形状を検出する（ステップＳ３０５）。この処理は、例えば距離データに傾斜があるような場合などに実行される。 Then, the depth shape of the projection area is detected by the projection area depth detection (step S305). This process is executed, for example, when the distance data has a slope.
続いて、画像データ奥行き補正にて、検出された奥行き形状に対する画像補正を行う（ステップＳ３０６）。この補正は、例えば投射領域の奥の方ほど文字を大きくするなどの補正である。これにより、表示される文字の歪みなどを低減することができる。 Subsequently, the image data depth correction performs image correction for the detected depth shape (step S306). This correction is, for example, a correction such as making the characters larger toward the back of the projection area. As a result, distortion of displayed characters can be reduced.
〈カメラ撮影画像の表示例〉
図７は、図１の画像表示装置１のディスプレイ２１２に表示されるカメラ撮影画像の一例を示す説明図である。<Display example of camera shot image>
FIG. 7 is an explanatory diagram showing an example of a camera-photographed image displayed on the
図７（ａ）は、説明者が説明する商品がスーツケース６であり、該スーツケース６の外観が撮影された場合の例を示している。 図７（ｂ）は、図７（ａ）の商品であるスーツケース６の蓋が開かれた状態にて撮影された場合の例を示している。
FIG. 7A shows an example in which the product described by the explainer is a
図７（ａ）および図７（ｂ）において、ディスプレイ２１２には、商品であるスーツケース６の撮影画像に商品ポインタ６２が表示されている。説明者４は、例えばディスプレイ２１２に表示される商品ポインタ６２をタッチすることにより、商品ポインタ６２直下にあるスーツケース６が選択される。
In FIGS. 7A and 7B, the
図７（ａ）および図７（ｂ）に示したように、スーツケース６が閉じられている状態あるいはスーツケース６の蓋が開けられている状態など、たとえ同じ商品であっても状態が異なる場合がある。
As shown in FIGS. 7 (a) and 7 (b), the states of the same product are different, such as the state in which the
このように、画像表示装置１は、商品の様々な状態に応じて最適な情報を選択して提供することができる。
As described above, the
〈商品情報の表示例〉
図８は、図１の画像表示装置１による商品情報における表示の一例を示す説明図である。<Display example of product information>
FIG. 8 is an explanatory diagram showing an example of display in product information by the
図８（ａ）は、図７（ａ）のカメラ２０６，２０７の撮影画像に対する情報の投射例を示している。すなわちスーツケース６を閉じた状態の外観に情報画像、すなわち該スーツケース６に係る情報の画像３１ａを投射している例を示している。
FIG. 8A shows an example of projecting information on the captured images of the
図８（ｂ）は、図７（ｂ）のカメラ２０６，２０７の撮影画像に対する情報の投射例を示している。すなわちスーツケース６の蓋を開いた状態にて、開いた蓋の内側に情報画像、すなわち該スーツケース６に係る情報の画像３１ｂを投射している例を示している。
FIG. 8B shows an example of projecting information on the captured images of the
図８（ａ）および図８（ｂ）に示すように、商品の状態に応じて情報となる画像３１ａ，３１ｂの内容が異なるように表示される。言い換えれば、同じ商品であっても、その状態によって、商品に係る情報の内容が異なるように表示される。
As shown in FIGS. 8 (a) and 8 (b), the contents of the
スーツケース６の状態が図８（ａ）であることを画像処理プロセッサ２０８が認識すると、ＣＰＵ２０３は、図８（ａ）の状態に応じた画像データを送信するようにデータリクエストする。
When the
また、スーツケース６が図８（ｂ）であることを画像処理プロセッサ２０８が認識すると、ＣＰＵ２０３は、図８（ｂ）の状態に応じた画像データを送信するようにデータリクエストする。
Further, when the
あるいは、すべての状態の画像データを一括にて、該スーツケース６から予め取得しておき、スーツケース６の状態に応じた画像データをＣＰＵ２０３が取り出してプロジェクタ３に出力するようにしてもよい。この場合も、スーツケース６の状態は、カメラ２０６，２０７によって撮影された画像によって画像処理プロセッサ２０８が認識する。
Alternatively, the image data of all the states may be collectively acquired from the
これにより、被説明者は、より商品の特徴を把握しやすくなる。 This makes it easier for the person to be explained to understand the characteristics of the product.
〈商品情報の表示の他の例１〉
図９は、図１の画像表示装置１による画像表示の他の例を示す説明図である。<Other example of displaying
FIG. 9 is an explanatory diagram showing another example of image display by the
この図９は、洋服の販売に画像表示装置１を適用した例を示したものである。
FIG. 9 shows an example in which the
まず、図９の右側に示す商品である洋服を着ているモデル６４を画像表示装置１によって撮影する。ここで、モデル６４は、マネキンなどであってもよい。この撮影画像の一部を切り出し、さらにその一部である顔の部分を被説明者の顔３３に置き換えて、図９の左側に示すようにプロジェクタ３により情報画像である投射画像３２を投射する。
First, the
被説明者の顔画像３３は、例えばモデル６４をカメラ撮像する前に撮影する。撮影画像は、例えば画像表示装置１のフラッシュＲＯＭ２０５あるいはＲＡＭ２０４などに格納される。そして、格納された顔画像３３をモデル６４のカメラ撮影画像と合成する。これにより、商品の実体とＡＲのようなバーチャル画像を比較することができるという利点がある。
The
〈商品情報の表示の他の例２〉
図１０は、図９の他の例を示す説明図である。<Other example of displaying
FIG. 10 is an explanatory diagram showing another example of FIG.
この図１０は、家屋の部屋６６の説明に画像表示装置１を適用し例を示したものである。図１０（ａ）は、部屋６６に設けられた窓６７から差し込む光を網掛けにて示す情報画像である投射画像３４ａ，３４ｂとして表示する例を示しいる。
FIG. 10 shows an example in which the
例えば不動産業者による物件の案内において、部屋６６内部における１日の日照の動きを投射画像として高速で表示して、被説明者に提示することによりタイムラプス表示が可能となる。この場合、日照の動きのデータは、予めフラッシュＲＯＭ２０５などに格納されており、フラッシュＲＯＭ２０５などに格納された日照の動きのデータに基づいて、ＣＰＵ２０３およびグラフィックプロセッサ２１１などが日照の１日の動きを高速で表示する投射画像を生成してプロジェクタ３によって投射される。
For example, in the guidance of a property by a real estate agent, a time-lapse display is possible by displaying the movement of the daily sunshine inside the
図１０（ｂ）は、部屋６６に設置されたエアコン６８の風向きおよび風量を情報画像である矢印３５ａ，３５ｂ，３５ｃとして投射画像する例を示している。矢印３５ａ，３５ｂ，３５ｃの向きは、風向きを示しており、矢印３５ａ，３５ｂ，３５ｃの大きさは、風量を示している。例えば表示される矢印が大きくなるほど、風量が多くなるものとする。
FIG. 10B shows an example in which the wind direction and the air volume of the
この場合、画像表示装置１は、例えばエアコン６８を制御するリモートコントローラに適用する。エアコン６８を多数の被説明者で共有している場合などにおいて、エアコン６８の風の様子をわかりやすく伝えることができ、被説明者全員が納得する状態にエアコン６８の風向きや風量などを制御することができる。
In this case, the
なお、エアコンの制御に関する応用は、業務用途以外にも民生用途にも適用可能である。家庭用エアコンの場合でも、図１０（ｂ）は適用可能であり、例えば家庭用エアコンのリモートコントローラに適用することができる。 The application related to the control of the air conditioner can be applied not only to commercial use but also to consumer use. FIG. 10B is applicable even in the case of a home air conditioner, and can be applied to, for example, a remote controller of a home air conditioner.
さらに、民生用途としては、冷蔵庫などにも適用可能である。冷蔵庫に収納されている食品リストを商品に係る情報として提供するようにして、該情報の画像を冷蔵庫の壁面に投射して、家族間で共有する。 Furthermore, for consumer use, it can also be applied to refrigerators and the like. The food list stored in the refrigerator is provided as information related to the product, and an image of the information is projected on the wall surface of the refrigerator to be shared among the family.
この場合、投射される情報から食品を選択して、料理や調理方法の情報サイトにリンクするようにしておけば、ユーザの利便性を向上させることができる。 In this case, if food is selected from the projected information and linked to an information site for cooking and cooking methods, the convenience of the user can be improved.
続いて、カメラ２０６，２０７およびプロジェクタ３の切り替え技術について説明する。
Subsequently, the switching technique of the
〈カメラおよびプロジェクタの同期動作例〉
図１１は、図１の画像表示装置１による動き検出、カメラ撮影状態、およびプロジェクタ投射状態の関係を示す説明図である。<Camera and projector synchronization operation example>
FIG. 11 is an explanatory diagram showing the relationship between motion detection by the
図１１において、上方から下方にかけては、動き検出、カメラ撮影、およびプロジェクタ投影をそれぞれ示しており、横軸は、時刻を示している。動き検出は、センサ２０９による携帯情報端末２の動きの検出結果であり、「有」が動き検出したことを示し、「無」が動きを検出していないことを示している。
In FIG. 11, motion detection, camera shooting, and projector projection are shown from above to below, and the horizontal axis represents time. The motion detection is the result of detecting the motion of the
カメラ撮影は、カメラ２０６，２０７による撮影状態を示したものであり、「ＯＮ」は撮影状態、すなわちカメラ２０６，２０７が起動している状態であることを示しており、「ＯＦＦ」は、撮影状態でないこと、すなわちカメラ２０６，２０７が起動していない状態であることを示している。
The camera shooting indicates the shooting state by the
プロジェクタ投影は、プロジェクタ３の投射状態であり、「ＯＮ」はプロジェクタ３による投射が行われている状態であることを示しており、「ＯＦＦ」は、プロジェクタ３による投射が行われていない状態であることを示している。
The projector projection is the projection state of the
カメラ２０６，２０７およびプロジェクタ３は、同期動作をする。図１１に示す縦の点線の間隔は、映画像の１フレーム、もしくは数フレームであり（以下、画像フレームと記す）、カメラ２０６，２０７とプロジェクタ３とは、画像フレームを基準単位として動作のＯＮ／ＯＦＦが切り替えられる。
The
図１１において、カメラ２０６，２０７によるカメラ撮影が開始された状態において、左側の時刻ｔ０を経由して、時刻ｔ１と時刻ｔ２との間まで、センサ２０９が動きを検出している。この動きは、前述したようにジャイロセンサであるセンサ２０９が携帯情報端末２の動きを検出する。
In FIG. 11, the
センサ２０９が動きを検出した状態、すなわち図１１の動き検出が有の状態では、例えば説明者４が携帯情報端末２を動かして、被写体の商品などを捉えようとしている期間である。そして、被写体の商品を捉えてカメラ２０６，２０７による撮影時には、携帯情報端末２の動きが止まり、カメラ２０６，２０７による撮影が実行される。
In the state in which the
このとき、プロジェクタ投射は、非実行、すなわちＯＦＦとなる。プロジェクタ投射では、プロジェクタ３から強い光が投射されるので、カメラ撮影の支障となることがある。
At this time, the projector projection is not executed, that is, it is turned off. In projector projection, strong light is projected from the
よって、カメラ撮影期間、すなわちセンサ２０９が動きを検出してから被写体の商品を捉えて撮影されるまでの期間においては、プロジェクタ３をＯＦＦさせることにより、カメラ撮影を良好に行うことができる。
Therefore, during the camera shooting period, that is, the period from when the
時刻ｔ１と時刻ｔ２との間において、動き検出状態が無に遷移すると、カメラ２０６，２０７は、時刻ｔ２から時刻ｔ３の画像フレーム期間にてカメラ撮影を実行して、該期間のカメラ撮影画像を携帯情報端末２に保存する。そして、図３の商品認識（ステップＳ１０１）および商品決定操作受信（ステップＳ１０２）を実行して、商品に係る情報の画像データを準備する。
When the motion detection state transitions to nothing between the time t1 and the time t2, the
時刻ｔ３に移行すると、プロジェクタ投射がＯＮとなり、商品に係る情報の画像データを投射するプロジェクタ投射期間となる。この時、カメラ撮影はＯＦＦである。カメラ撮影期間およびプロジェクタ投射期間は、例えばＣＰＵ２０３が判定してカメラ２０６，２０７およびプロジェクタ３の動作を制御する。
When the time shifts to t3, the projector projection is turned on, and the projector projection period for projecting the image data of the information related to the product is reached. At this time, the camera shooting is OFF. For example, the
時刻ｔ４〜ｔ５に示すように、動き検出が無の状態の任意の画像フレームにて、カメラ撮影をＯＮ、プロジェクタ投射をＯＦＦに切り替えることができる。例えば説明者４の操作により、商品を切り替える場合である。
As shown at times t4 to t5, the camera shooting can be switched on and the projector projection can be switched off at any image frame in the state where motion detection is not performed. For example, it is a case where the product is switched by the operation of the
時刻ｔ６から再び動き検出が有の状態に遷移すると、動き検出の遷移に連動して、カメラ撮影がＯＮ、プロジェクタ投射がＯＦＦに切り替えられる。このように、ジャイロセンサなどのセンサ２０９の動き検出を用いることによって、説明者４が携帯情報端末２を動かして被写体の商品を捉えようとしている期間の自動的な検出を容易にすることができる。
When the state with motion detection is changed again from the time t6, the camera shooting is switched on and the projector projection is switched off in conjunction with the motion detection transition. In this way, by using the motion detection of the
以上により、説明者が説明対象とする商品の上もしくは商品の近傍に商品に係る情報の画像を投射し、商品に係る情報を被説明者にリアルタイムに提示することができる。商品情報を提示する際には、被説明者がそれぞれ端末装置などを所持していなくてもよく、利便性を向上することができる。 As described above, the explainer can project an image of the information related to the product on or near the product to be explained, and present the information related to the product to the explained person in real time. When presenting the product information, the person to be explained does not have to have a terminal device or the like, and the convenience can be improved.
また、商品に係る情報の画像を、商品の上、もしくは商品の近傍に投射して、商品の実体と関連する情報を同時に複数の被説明者が見ることができるので、商品特徴の理解を促進することができる。さらに、説明者は別の商品の説明を行うときに、対象の商品を選択し、投影領域を変更することが可能になる。 In addition, an image of information related to the product can be projected onto the product or in the vicinity of the product so that a plurality of persons to be explained can see the information related to the substance of the product at the same time, thereby promoting understanding of the product features. can do. Further, the explainer can select the target product and change the projection area when explaining another product.
（実施の形態２）
〈画像表示装置１の構成例〉
図１２は、本実施の形態２による画像表示装置１における構成の一例を示す説明図である。(Embodiment 2)
<Configuration example of
FIG. 12 is an explanatory diagram showing an example of the configuration in the
前記実施の形態１では、図１に示すように画像表示装置１が携帯情報端末２とプロジェクタ３とが一体となった構成であったが、本実施の形態１においては、図１２に示すように、携帯情報端末２とプロジェクタ３とが分離された構成となっている。
In the first embodiment, as shown in FIG. 1, the
分離した構成の携帯情報端末２およびプロジェクタ３は、例えばネットワーク接続されている。ネットワークは、例えば無線ＬＡＮなどの無線ネットワークであり、アクセスポイント７を介してそれぞれ無線接続される。
The personal
このように、プロジェクタ３を携帯情報端末２から分離して設けることにより、プロジェクタ３の選択の自由度が高くなり、例えばより高輝度なプロジェクタなどを選択することが可能になる。
By providing the
以上により、前記実施の形態１の効果に加えて、明るい環境下などであっても、視認性に優れた投射画像を提供することができる。 As described above, in addition to the effect of the first embodiment, it is possible to provide a projected image having excellent visibility even in a bright environment or the like.
（実施の形態３）
〈画像表示装置１の構成例〉
図１３は、本実施の形態３による画像表示装置１における構成の一例を示す説明図である。(Embodiment 3)
<Configuration example of
FIG. 13 is an explanatory diagram showing an example of the configuration in the
画像表示装置１は、図１３に示すように、携帯情報端末２、プロジェクタ３、およびカメラ８，８ａ，８ｂを有しており、これらは、個々に分離された構成からなる。携帯情報端末２、プロジェクタ３、およびカメラ８，８ａ，８ｂは、例えばアクセスポイント７を介して無線ＬＡＮなどの無線ネットワークによって無線接続されている。カメラ８，８ａ，８ｂは、例えばネットワークカメラなどである。あるいはカメラ８，８ａ，８ｂは、ＰＴＺ（Pan Tilt Zoom）制御が可能なＰＴＺカメラなどであってもよい。
As shown in FIG. 13, the
図１２は、カメラ８，８ａ，８ｂがＰＴＺカメラである例を示しており、これらカメラ８，８ａ，８ｂによって商品などが撮影される。携帯情報端末２は、前記実施の形態１の図３にて示した処理シーケンスによって商品などと対応付けを行う。
FIG. 12 shows an example in which the
ＰＴＺカメラなどは、建物などの固定物に取り付けられているので、手ぶれなどの影響を受けることなく、安定したカメラ撮像を行うことができるなる。また、ＰＴＺカメラは、商品のカメラ撮影での位置、アングル、および大きさを自由度高く変えることができる。さらに、分離されているプロジェクタ３を安定した場所などに設置するようにすれば、投射画面の安定化を図ることができる。
Since the PTZ camera or the like is attached to a fixed object such as a building, stable camera imaging can be performed without being affected by camera shake or the like. In addition, the PTZ camera can change the position, angle, and size of the product in camera shooting with a high degree of freedom. Further, if the separated
以上により、前記第２の実施形態の効果に加えて、より安定したカメラ撮影画像を得ることができる。 As described above, in addition to the effect of the second embodiment, a more stable camera-captured image can be obtained.
（実施の形態４）
〈画像表示システムの構成例〉
図１４は、本実施の形態４による画像表示装置１を用いた画像表示システム５０における構成の一例を示す説明図である。(Embodiment 4)
<Configuration example of image display system>
FIG. 14 is an explanatory diagram showing an example of the configuration in the
画像表示システム５０は、図１４に示すように、例えば画像表示装置１、アクセスポイント７、およびサーバ９によって構成されている。画像表示装置１は、前記実施の形態１の図１と同様であるので、説明は省略する。
As shown in FIG. 14, the
アクセスポイント７は、画像表示装置１がＷＡＮ（Wide Area Network）１０を介してサーバ９にアクセスするために設けられる。アクセスポイント７と画像表示装置１とは、例えば無線ＬＡＮなどによって接続される。
The
商品決定におけるプロセスは、前記実施の形態１の図３および図４に示したものと同じであるが、画像表示装置１は、図４のステップＳ２０３の処理における商品決定処理の後にサーバ９に対してデータリクエストを送信する。データリクエストを受けたサーバ９は、リクエストされた商品に係る情報を画像表示装置１に送信する。これによって、画像表示装置１は、説明する商品などに係る情報を得ることができる。
The process in the product determination is the same as that shown in FIGS. 3 and 4 of the first embodiment, but the
商品に係る情報は、商品の状態、すなわち上述したように図８のスーツケース６の場合には蓋が開かれた状態や蓋が閉じられた状態などによって異なるが、商品などの状態が多岐に渡る場合には、それに伴い、商品にかかる情報量も多くなることが考えられる。その場合、商品との通信によって該商品の情報を取得するには、商品との通信負荷が重くなりすぎることがある。
The information related to the product differs depending on the state of the product, that is, the state in which the lid is opened or the lid is closed in the case of the
一方、図１４に示した画像表示システム５０の場合には、商品に係る情報がサーバ９に蓄えられており、該サーバ９から画像表示装置１に情報を送出するので、上述した問題は解消される。
On the other hand, in the case of the
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 Although the invention made by the present inventor has been specifically described above based on the embodiment, the present invention is not limited to the embodiment and can be variously modified without departing from the gist thereof. Needless to say.
例えば実施の形態１〜４では、携帯情報端末２が有するディスプレイ２１２にカメラ撮影画像を、プロジェクタ３の投射画面に商品などに係る情報の画像データをそれぞれ映し出す場合を説明したが、プロジェクタ３の投射画面にカメラ撮影画像と商品に係る情報の画像データを時間的に切り替えて映し出すことも可能である。
For example, in the first to fourth embodiments, the case where the image captured by the camera is projected on the
また、説明者が被説明者に対して商品の説明をする例を示したが、画像表示装置１を使用する目的はこれに限定されるものではなく、任意の製品に関する情報を、それ自体もしくはその近辺に表示する場合であれば、同様の使い方が可能である。
Further, although an example in which the explainer explains the product to the person to be explained is shown, the purpose of using the
また、携帯情報端末２の機能などは、それらの一部または全部を、例えば集積回路にて設計するなどによりハードウェア実装してもよい。また、マイクロプロセッサユニット、ＣＰＵなどがそれぞれの機能などを実現する動作プログラムを解釈して実行するソフトウェア実装であってもよい。ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアとを併用してもよい。
Further, the functions of the
１ 画像表示装置
２ 携帯情報端末
３ プロジェクタ
７ アクセスポイント
８ カメラ
８ａ カメラ
８ｂ カメラ
９ サーバ
５０ 画像表示システム
６２ 商品ポインタ
２０１ モバイル通信インタフェース
２０２ 無線ＬＡＮインタフェース
２０３ ＣＰＵ
２０４ ＲＡＭ
２０５ フラッシュＲＯＭ
２０６ カメラ
２０７ カメラ
２０８ 画像処理プロセッサ
２０９ センサ
２１０ ビデオプロセッサ
２１１ グラフィックプロセッサ
２１２ ディスプレイ
２１３ マイク／スピーカ
２１４ 外部インタフェース
２１５ 外部端子
２１６ ビーコン送受信部
２１７ 共通バス1
204 RAM
205 flash ROM
Claims (14)
前記携帯情報端末から出力される前記画像データから生成した情報画像を投射する画像表示部と、
を備え、
前記携帯情報端末は、
画像を撮影するカメラ部と、
前記カメラ部が撮影した画像を表示する表示部と、
選択された物品から前記画像データを取得して、取得した前記画像データを前記画像表示部に出力する画像処理制御部と、
を有し、
前記画像処理制御部は、前記表示部に表示される前記画像から選択された物品が具備する通信機能部に対して前記画像データを送信させる、画像表示装置。A mobile information terminal that receives image data, which is information related to articles transmitted from the outside,
An image display unit that projects an information image generated from the image data output from the mobile information terminal, and an image display unit.
With
The mobile information terminal is
The camera unit that takes images and
A display unit that displays an image taken by the camera unit and
An image processing control unit that acquires the image data from the selected article and outputs the acquired image data to the image display unit.
Have,
The image processing control unit is an image display device that transmits the image data to a communication function unit included in an article selected from the image displayed on the display unit.
前記カメラ部が有するレンズ面は、前記画像表示部が有する投射レンズ面と同一面に設けられる、画像表示装置。In the image table apparatus according to claim 1,
An image display device in which the lens surface of the camera unit is provided on the same surface as the projection lens surface of the image display unit.
前記画像処理制御部は、前記カメラ部から出力される距離データから検出した平坦部を投射領域として設定し、
前記画像表示部は、前記画像処理制御部が設定した前記投射領域に前記画像データから生成した前記情報画像を投射する、画像表示装置。In the image table apparatus according to claim 1,
The image processing control unit sets a flat portion detected from the distance data output from the camera unit as a projection region.
The image display unit is an image display device that projects the information image generated from the image data onto the projection area set by the image processing control unit.
前記画像処理制御部は、前記投射領域の背景色を検出して、前記投射領域に投射される前記情報画像と検出した前記背景色とのコントラストが強まるように前記画像データを補正する、画像表示装置。In the image table apparatus according to claim 3,
The image processing control unit detects the background color of the projection region and corrects the image data so that the contrast between the information image projected on the projection region and the detected background color is enhanced. apparatus.
前記画像処理制御部は、前記投射領域の形状を検出して、検出した前記投射領域の形状に合わせて投射される前記情報画像の形状を補正する、画像表示装置。In the image table apparatus according to claim 3,
The image processing control unit is an image display device that detects the shape of the projection region and corrects the shape of the information image projected according to the detected shape of the projection region.
前記携帯情報端末は、前記物品を検索するビーコン信号の送信および前記ビーコン信号に対する応答信号であるビーコン応答信号の受信を行うビーコン送受信部を有し、
前記画像処理制御部は、前記画像に前記ビーコン応答信号を送信した物品が表示されているか否かを判定して、表示されていると判定した前記物品であることを識別する識別マークを前記画像に表示する、画像表示装置。In the image table apparatus according to claim 1,
The mobile information terminal has a beacon transmission / reception unit that transmits a beacon signal for searching the article and receives a beacon response signal that is a response signal to the beacon signal.
The image processing control unit determines whether or not the article to which the beacon response signal is transmitted is displayed on the image, and attaches an identification mark for identifying the article that is determined to be displayed. An image display device that displays on.
前記画像処理制御部は、前記カメラ部が撮影した前記画像から選択された前記物品の形態を検出して、検出した前記物品の形態に見合った前記画像データが送信されるように選択された前記物品の前記通信機能部に要求する、画像表示装置。In the image table apparatus according to claim 1,
The image processing control unit detects the form of the article selected from the image taken by the camera unit, and is selected so that the image data corresponding to the detected form of the article is transmitted. An image display device required for the communication function unit of an article.
前記画像処理制御部は、前記カメラ部が撮影した撮影画像の一部を加工あるいは置換した前記画像データを前記画像表示部に出力する、画像表示装置。In the image table apparatus according to claim 1,
The image processing control unit is an image display device that outputs the image data obtained by processing or replacing a part of the captured image taken by the camera unit to the image display unit.
前記携帯情報端末は、前記カメラ部および前記画像表示部の動作を制御する動作制御部を有し、
前記動作制御部は、前記カメラ部が撮影状態にあると判定した際に前記画像表示部による前記情報画像の投射を停止させる、画像表示装置。In the image table apparatus according to claim 1,
The mobile information terminal has an operation control unit that controls the operations of the camera unit and the image display unit.
The motion control unit is an image display device that stops projection of the information image by the image display unit when it is determined that the camera unit is in a shooting state.
前記携帯情報端末は、通信網に接続する通信部を有し、
前記画像処理制御部は、前記通信部を通じて、前記通信網に接続されるサーバに対して認識した前記物品に係る前記画像データを要求して取得する、画像表示装置。In the image table apparatus according to claim 1,
The mobile information terminal has a communication unit connected to a communication network, and has a communication unit.
The image processing control unit is an image display device that requests and acquires the image data related to the article recognized by the server connected to the communication network through the communication unit.
前記カメラ部が、画像を撮影するステップと、
前記画像処理制御部が、前記カメラ部によって撮影された前記画像から選択された物品が具備する通信機能部に対して前記物品に係る前記画像データを要求して受信するステップと、
前記画像表示部が、前記画像処理制御部が受信した前記画像データから生成した前記情報画像を投射するステップと、
を有する、画像表示方法。The mobile information terminal including a camera unit for capturing an image, a display unit for displaying an image captured by the camera unit, and an image processing control unit for outputting acquired image data, and the image output from the mobile information terminal. An image display method using an image display device including an image display unit that projects an information image generated from data.
When the camera unit takes an image,
A step in which the image processing control unit requests and receives the image data related to the article from the communication function unit included in the article selected from the image taken by the camera unit.
A step in which the image display unit projects the information image generated from the image data received by the image processing control unit.
An image display method having.
前記画像データを投射するステップは、
前記カメラ部から出力される距離データから平坦部を検出するステップと、
検出した平坦部を投射領域として決定して、決定した前記投射領域に前記画像データを投射するように前記画像表示部を制御するステップと、
を有する、画像表示方法。In the image display method according to claim 11,
The step of projecting the image data is
A step of detecting a flat portion from the distance data output from the camera unit, and
A step of determining the detected flat portion as a projection region and controlling the image display unit so as to project the image data onto the determined projection region.
An image display method having.
前記物品に係る前記画像データを投射するステップは、
前記カメラ部から出力される距離データから平坦部を検出するステップと、
検出した平坦部を投射領域として決定して、決定した前記投射領域の背景色を検出するステップと、
前記投射領域に投射される前記画像データと検出した前記背景色とのコントラストが強まるように前記画像データを補正するステップと、
を有する、画像表示方法。In the image display method according to claim 11,
The step of projecting the image data relating to the article is
A step of detecting a flat portion from the distance data output from the camera unit, and
A step of determining the detected flat portion as a projection region and detecting the background color of the determined projection region,
A step of correcting the image data so that the contrast between the image data projected on the projection region and the detected background color is enhanced.
An image display method having.
前記物品に係る前記画像データを投射するステップは、
前記カメラ部から出力される距離データから平坦部を検出するステップと、
検出した平坦部を投射領域として決定して、決定した前記投射領域の形状を検出するステップと、
検出した前記投射領域の形状に合わせて投射される前記画像データの形状を補正するステップと、
を有する、画像表示方法。In the image display method according to claim 11,
The step of projecting the image data relating to the article is
A step of detecting a flat portion from the distance data output from the camera unit, and
A step of determining the detected flat portion as a projection region and detecting the shape of the determined projection region,
A step of correcting the shape of the image data projected according to the detected shape of the projection region, and
An image display method having.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022154897A JP7410246B2 (en) | 2018-02-01 | 2022-09-28 | Information processing terminal and image processing method |
| JP2023215565A JP2024038005A (en) | 2018-02-01 | 2023-12-21 | Information processing terminal and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/003446 WO2019150531A1 (en) | 2018-02-01 | 2018-02-01 | Image display device and image display method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022154897A Division JP7410246B2 (en) | 2018-02-01 | 2022-09-28 | Information processing terminal and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019150531A1 true JPWO2019150531A1 (en) | 2021-02-18 |
| JP7150755B2 JP7150755B2 (en) | 2022-10-11 |
Family
ID=67478102
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019568503A Active JP7150755B2 (en) | 2018-02-01 | 2018-02-01 | Image display device and image display method |
| JP2022154897A Active JP7410246B2 (en) | 2018-02-01 | 2022-09-28 | Information processing terminal and image processing method |
| JP2023215565A Pending JP2024038005A (en) | 2018-02-01 | 2023-12-21 | Information processing terminal and image processing method |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022154897A Active JP7410246B2 (en) | 2018-02-01 | 2022-09-28 | Information processing terminal and image processing method |
| JP2023215565A Pending JP2024038005A (en) | 2018-02-01 | 2023-12-21 | Information processing terminal and image processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (3) | JP7150755B2 (en) |
| WO (1) | WO2019150531A1 (en) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004120698A (en) * | 2002-09-30 | 2004-04-15 | Sony Corp | Information processing terminal and method, and program |
| JP2005184624A (en) * | 2003-12-22 | 2005-07-07 | Seiko Epson Corp | Commodity sale/management method, commodity sale/management system, and server |
| JP2007116306A (en) * | 2005-10-19 | 2007-05-10 | Casio Comput Co Ltd | Projector and projection method |
| JP2007310882A (en) * | 2007-05-14 | 2007-11-29 | Tsukuba Multimedia:Kk | Web camera shopping system |
| JP2009032156A (en) * | 2007-07-30 | 2009-02-12 | Casio Hitachi Mobile Communications Co Ltd | Electronic device and program |
| JP2009134479A (en) * | 2007-11-29 | 2009-06-18 | Toshiba Tec Corp | Article sales data processor and computer program |
| JP2011175201A (en) * | 2010-02-25 | 2011-09-08 | Sanyo Electric Co Ltd | Projection image display device |
| JP2013064827A (en) * | 2011-09-16 | 2013-04-11 | Seiko Epson Corp | Electronic apparatus |
| JP2013218019A (en) * | 2012-04-05 | 2013-10-24 | Casio Comput Co Ltd | Projection device, projection method and program |
| JP2013219457A (en) * | 2012-04-05 | 2013-10-24 | Casio Comput Co Ltd | Display controller, display control method, and program |
| WO2016125359A1 (en) * | 2015-02-03 | 2016-08-11 | ソニー株式会社 | Information processing device, information processing method and program |
| JP2017058531A (en) * | 2015-09-17 | 2017-03-23 | キヤノン株式会社 | Information processing device, information processing method, computer program and recording medium |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITUA20162729A1 (en) | 2016-04-20 | 2017-10-20 | Cefla Soc Cooperativa | METHOD FOR A CORRECT IMPLEMENTATION OF THE PLANOGRAM WITHIN SALE POINTS |
-
2018
- 2018-02-01 WO PCT/JP2018/003446 patent/WO2019150531A1/en active Application Filing
- 2018-02-01 JP JP2019568503A patent/JP7150755B2/en active Active
-
2022
- 2022-09-28 JP JP2022154897A patent/JP7410246B2/en active Active
-
2023
- 2023-12-21 JP JP2023215565A patent/JP2024038005A/en active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004120698A (en) * | 2002-09-30 | 2004-04-15 | Sony Corp | Information processing terminal and method, and program |
| JP2005184624A (en) * | 2003-12-22 | 2005-07-07 | Seiko Epson Corp | Commodity sale/management method, commodity sale/management system, and server |
| JP2007116306A (en) * | 2005-10-19 | 2007-05-10 | Casio Comput Co Ltd | Projector and projection method |
| JP2007310882A (en) * | 2007-05-14 | 2007-11-29 | Tsukuba Multimedia:Kk | Web camera shopping system |
| JP2009032156A (en) * | 2007-07-30 | 2009-02-12 | Casio Hitachi Mobile Communications Co Ltd | Electronic device and program |
| JP2009134479A (en) * | 2007-11-29 | 2009-06-18 | Toshiba Tec Corp | Article sales data processor and computer program |
| JP2011175201A (en) * | 2010-02-25 | 2011-09-08 | Sanyo Electric Co Ltd | Projection image display device |
| JP2013064827A (en) * | 2011-09-16 | 2013-04-11 | Seiko Epson Corp | Electronic apparatus |
| JP2013218019A (en) * | 2012-04-05 | 2013-10-24 | Casio Comput Co Ltd | Projection device, projection method and program |
| JP2013219457A (en) * | 2012-04-05 | 2013-10-24 | Casio Comput Co Ltd | Display controller, display control method, and program |
| WO2016125359A1 (en) * | 2015-02-03 | 2016-08-11 | ソニー株式会社 | Information processing device, information processing method and program |
| JP2017058531A (en) * | 2015-09-17 | 2017-03-23 | キヤノン株式会社 | Information processing device, information processing method, computer program and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7410246B2 (en) | 2024-01-09 |
| WO2019150531A1 (en) | 2019-08-08 |
| JP7150755B2 (en) | 2022-10-11 |
| JP2024038005A (en) | 2024-03-19 |
| JP2022191295A (en) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8957913B2 (en) | Display apparatus, display control method, and storage medium storing program | |
| US9811910B1 (en) | Cloud-based image improvement | |
| US20180367732A1 (en) | Visual cues for managing image capture | |
| KR20200028481A (en) | Imaging apparatus, image display system and operation method | |
| US9264679B2 (en) | Maintaining distortion-free projection from a mobile device | |
| US9392248B2 (en) | Dynamic POV composite 3D video system | |
| US20120307091A1 (en) | Imaging apparatus and imaging system | |
| US20140354874A1 (en) | Method and apparatus for auto-focusing of an photographing device | |
| KR20120051209A (en) | Method for providing display image in multimedia device and thereof | |
| US11006042B2 (en) | Imaging device and image processing method | |
| JP2019012881A (en) | Imaging control device and control method of the same | |
| US11062422B2 (en) | Image processing apparatus, image communication system, image processing method, and recording medium | |
| KR20160024848A (en) | Remote control programming using images | |
| CN110928509B (en) | Display control method, display control device, storage medium, and communication terminal | |
| US11265529B2 (en) | Method and apparatus for controlling image display | |
| JP6374535B2 (en) | Operating device, tracking system, operating method, and program | |
| US11003062B2 (en) | Information processing device, method of information processing, and image display system | |
| JP7410246B2 (en) | Information processing terminal and image processing method | |
| JP2004289779A (en) | Mobile body imaging method and mobile body imaging system | |
| KR20190061165A (en) | System and method for generating 360 degree video including advertisement | |
| JP2015159460A (en) | Projection system, projection device, photographing device, method for generating guide frame, and program | |
| CN107426522B (en) | Video method and system based on virtual reality equipment | |
| JP2020198501A (en) | Photographing device, program, and photographing method | |
| US11889237B2 (en) | Setting method and a non-transitory computer-readable storage medium storing a program | |
| JP2019140530A (en) | Server device, display device, video display system, and video display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211022 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220610 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220928 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7150755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |