WO2011158401A1 - 入力装置、判定方法及び判定プログラム - Google Patents

入力装置、判定方法及び判定プログラム Download PDF

Info

Publication number
WO2011158401A1
WO2011158401A1 PCT/JP2011/001167 JP2011001167W WO2011158401A1 WO 2011158401 A1 WO2011158401 A1 WO 2011158401A1 JP 2011001167 W JP2011001167 W JP 2011001167W WO 2011158401 A1 WO2011158401 A1 WO 2011158401A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
indicator
distance
projection
image
Prior art date
Application number
PCT/JP2011/001167
Other languages
English (en)
French (fr)
Inventor
信 佐藤
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011158401A1 publication Critical patent/WO2011158401A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Definitions

  • the present invention relates to an input device, a determination method, and a determination program.
  • Mobile terminal manufacturers have launched a series of models that are conscious of business use, such as browsing of word processor software and spreadsheet software as well as browsing of e-mails and browsers as well as schedule management, and in the latest mobile terminals, A portable terminal equipped with a projector function has been announced.
  • the portable terminal equipped with the projector function at the present time is a device in which the projector function is only mounted as it is in the portable terminal, and its operability is not easy to use.
  • the user when the user tries to operate the presentation screen (page feed etc.), the user or another operator operates the portable terminal or an operating device (personal computer etc.) connected to the portable terminal. There is a need to.
  • Patent Document 1 proposes a system for instructing control of a presentation screen such as page turning, zooming, and highlighting by performing a specific operation with a laser pointer toward an image projected by a projector. There is.
  • Patent Document 2 proposes a system capable of instructing a presentation screen by irradiating a light beam pointer to an image such as an icon or a command menu projected on a large display system.
  • Patent Document 3 in a work teaching support system equipped with a portable projector with a camera, even when there are a plurality of projection targets (projection surfaces) in the work place, the positional relationship between each of the projector with the camera and the plurality of projection surfaces is We have proposed a system that can grasp and project an appropriate image on an appropriate projection plane.
  • Patent Document 1 Patent Document 1
  • Patent Document 2 Patent Document 2
  • Patent Document 3 Patent Document 3
  • Patent Document 1 when an instruction operation using a laser pointer is performed on a presentation screen projected by a projector or the like, the screen can be directly operated.
  • a predetermined pointing operation such as a gesture with a laser pointer for screen operation, it is necessary to remember different pointing operations for each manufacturer and model to be manufactured.
  • Patent Document 2 when an icon or a command menu displayed in advance on a presentation screen is irradiated with a laser pointer (light beam pointer), Patent Document 2 performs an operation instruction associated with the icon or command menu. Can. However, when moving the laser pointer or the like, there is a high possibility that the icon or command menu is erroneously pointed to, and there is a problem in the method of operation itself.
  • a laser pointer light beam pointer
  • Patent Document 3 can present the display contents to the user in an easy-to-understand manner for each of a plurality of projection planes, but the operability such as how to perform screen operations is not mentioned. .
  • the present invention has been made in view of such conventional problems, and a user who is projecting an image such as a presentation using an input device such as a portable terminal is in the process of projecting an image such as a presentation.
  • the most natural action being used specifically a touch action such as touching a projected image such as a presentation screen, is detected, and the projected plane of the image is used like a touch panel to operate the presentation screen Etc. It is intended to improve the operability of input such as.
  • an input device includes: a projection unit that projects an image on a projection plane; an imaging unit that captures an image projected by the projection unit; An image processing unit that searches for an indicator from an image, obtains coordinates of the searched indicator using a conversion matrix, and estimates the distance between the imaging unit and the indicator from the determined coordinates of the indicator; A distance measurement unit that measures a distance between the imaging unit and the pointer; a distance between the imaging unit and the pointer estimated by the image processing unit; and the imaging unit and pointer measured by the distance measurement unit And a determination unit that determines that the indicator is in contact with the projection surface when the distances of and substantially match each other.
  • the input device determines whether the projection plane projected by the projection unit is in contact with a part of the body such as the user's fingertip or a pointer such as a pointing rod. This determination can be made and it can be determined whether the user has instructed the operation of the presentation screen.
  • the input device of this invention has the structure provided with the control part which performs a predetermined
  • the user can perform predetermined input operation using the projection surface, and the user touches the input device of the present invention or a control device such as a personal computer connected to the input device of the present invention.
  • the presentation screen can be operated with an operation feeling like a touch panel on the image projected on the projection plane.
  • the distance measurement unit is a camera.
  • the input device of the present invention includes a receiving unit that wirelessly receives data necessary for projection, and a data storage unit that stores data, and the control unit decodes the received data received by the receiving unit. And stores the decoded data in the data storage unit.
  • the input device of the present invention includes a transmission unit that transmits a processing result by wireless, and the control unit controls the contents of control to the projection unit, the reception unit, and the transmission unit according to the judgment result of the judgment unit. Has a configuration to change.
  • the data to be changed is not stored in the input device of the present invention, but is stored away. Even data that has been sent can be changed.
  • the projection unit projects an image on a projection plane
  • the imaging unit captures an image projected by the projection step
  • the imaging unit captures an image.
  • An image processing step of searching for an indicator in an image determining coordinates of the searched indicator using a conversion matrix, and estimating a distance between the imaging unit and the indicator from the determined coordinates of the indicator, and a distance measuring unit
  • the distance measurement step of measuring the distance between the imaging unit and the indicator by actually measuring, the distance between the imaging unit and the indicator estimated by the image processing step by the determination unit, and the distance measurement step And a determination step of determining that the indicator is in contact with the projection surface when the measured distance between the imaging unit and the indicator substantially matches.
  • the determination method determines whether the projection plane projected by the projection step is in contact with a part of the body such as the user's fingertip or a pointer such as a pointing rod is in contact. It can be determined, and it can be determined whether the user instructs the operation of the presentation screen.
  • a projection step of projecting an image on a projection plane on an input device an imaging step of imaging an image projected by the imaging step by the imaging step, and an image imaged by the imaging portion
  • Search the pointer find the coordinates of the searched indicator using the transformation matrix, and estimate the distance between the imaging unit and the indicator from the determined coordinates of the indicator
  • the distance measurement unit measures To measure the distance between the imaging unit and the pointer, the distance between the imaging unit and the pointer estimated in the image processing step, and the imaging unit measured in the distance measuring step;
  • the determination program determines whether the projection plane projected by the projection step is in contact with a part of the body such as the user's fingertip or an indicator such as a pointing rod. It can be determined, and it can be determined whether the user instructs the operation of the presentation screen.
  • a user who makes a presentation using the projector function of the input device uses the contact operation between the projection surface and a pointer such as a finger or a pointing rod, which is a natural operation used during the presentation. It becomes possible to operate the screen, and the operability of the input device can be enhanced.
  • Schematic block diagram of the image projector in the embodiment of the present invention Flow chart for explaining the operation of the image projection apparatus in the embodiment of the present invention Diagram for explaining the perspective transformation matrix of the imaging unit and the perspective transformation matrix of the projection unit A diagram for explaining the projection of the calibration image Diagram to explain distance measurement to projection plane Diagram for generating distance matrix R dist A diagram for explaining comparison of estimated distance D exp and measured distance D point
  • FIG. 1 is a block diagram showing a schematic configuration of an image projection apparatus in the present embodiment.
  • an image projection apparatus includes an imaging unit 1, an image processing unit 2, a distance measurement unit 3, a determination unit 4, a projection unit 5, a reception unit 6, a transmission unit 7, a control unit 8, and data storage. And a unit 9.
  • the image projection apparatus is an example of the “input device”.
  • the imaging unit 1 has, for example, a CCD camera, and monitors the positional relationship between the user and the projection plane on which the image is projected.
  • the image processing unit 2 has basic image processing functions such as deformation processing such as enlargement and rotation, search for corresponding points of two images, coordinate conversion, etc., and uses the image of the imaging unit 1 as an input value.
  • the pointing operation is detected, and the distance between the imaging unit 1 and the projection plane when the point pointed by the user is on the projection plane projected by the projection unit 5 is estimated.
  • the distance measurement unit 3 receives the output value of the imaging unit 1 and performs a distance measurement method using a camera and image analysis, and measures the distance between the imaging unit 1 and the point pointed by the user.
  • the range The distance may be measured by using a distance measurement method using a finder method, a distance measurement method using a sound wave, a distance measurement method using a laser, or the like.
  • the determination unit 4 is a distance between the imaging unit 1 and the projection plane when the point pointed by the user estimated by the image processing unit 2 is on the projection plane projected by the projection unit 5; The distance between the imaging unit 1 measured by the distance measuring unit 3 and the point pointed by the user is compared, and it is determined whether the point pointed by the user is in contact with the projection plane.
  • the projection unit 5 displays an image or a video by projecting it onto a projection plane when the image projection apparatus is used.
  • the receiving unit 6 includes an antenna and a receiving circuit for communicating with an external network, and a mechanism for reading data recorded in a recording medium, for example, a mechanism capable of reading and writing an optical disk such as a DVD and a CD. Receive data necessary for projection.
  • the transmitting unit 7 includes an antenna and a transmitting circuit for communicating with an external network, and a mechanism for writing data to a recording medium, and transmits data according to a user's instruction.
  • the control unit 8 determines the content to be projected to the projection unit 5 based on the result determined by the determination unit 4 and performs projection control, and also, for example, a storage medium placed in an environment connected to an external network From the recording medium or the like, the reception unit 6 and the transmission unit 7 are used to control transmission and reception of data necessary for projection.
  • the data storage unit 9 includes data specified by the control unit 8, for example, processing results of the imaging unit 1, the image processing unit 2, and the distance measurement unit 3, and data acquired by the reception unit 6 through communication with an external network. Store.
  • the power switch or the like of the image projection apparatus is operated to start.
  • the control unit 8 instructs the projection unit 5 to project the calibration image on the projection plane, and the imaging unit 1 captures an image so that the calibration image projected on the projection plane can be monitored by the projection unit 5
  • the imaging direction of the unit 1 is adjusted (step S110).
  • control unit 8 can monitor the coordinate system (PRJ coordinate system) of the calibration image projected on the projection plane by the projection unit 5 and the calibration image projected on the projection plane by the projection unit 5 installed in, generates the imaging unit 1 of the camera coordinate system (CAM coordinate system) the pseudo conversion PRJ coordinate system ⁇ CAM coordinate system perspective transformation matrix (R trs), stored in the data storage unit 9 (step S120).
  • PRJ coordinate system the coordinate system of the calibration image projected on the projection plane by the projection unit 5 and the calibration image projected on the projection plane by the projection unit 5 installed in, generates the imaging unit 1 of the camera coordinate system (CAM coordinate system) the pseudo conversion PRJ coordinate system ⁇ CAM coordinate system perspective transformation matrix (R trs), stored in the data storage unit 9 (step S120).
  • step S110 PRJ coordinate system ⁇ CAM coordinate system perspective transformation matrix in step S120 (R trs)
  • R prj a perspective transformation matrix of the world coordinate system meaning the absolute coordinates in the three-dimensional space and the PRJ coordinate system
  • step S 120 a perspective transformation matrix (R cam ) between the world coordinate system and the CAM coordinate system is generated.
  • R cam perspective transformation matrix between the world coordinate system and the CAM coordinate system
  • control unit 8 measures the distance from the imaging unit 1 to the projection plane at a plurality of coordinates in the calibration image projected on the projection plane by the projection unit 5 using the distance measurement unit 3 and projects A distance matrix Rdist capable of estimating the distance from the imaging unit 1 to the projection plane is generated using the coordinates of the calibration image projected on the projection plane by the unit 5 as an input value, and stored in the data storage unit 9 (Step S130).
  • a calibration image is projected on a projection surface in the absence of an obstacle (FIG. 4).
  • the calibration image projected here is, for example, a grid-like image that regularly divides the projection plane into M rows and N columns vertically and horizontally.
  • the distance D c from the imaging unit 1 to the representative point on the projection plane is measured.
  • the representative point is assumed to be a lower left orthogonal point of the grid in the Kth row and the Lth column of the calibration image.
  • the representative point to be selected may be the center point of the grid, the upper right orthogonal point, the lower right orthogonal point, the lower left orthogonal point or the like (FIG. 5).
  • a matrix of M rows and N columns (distance matrix Rdist) is prepared, and the distance D c to the lower left orthogonal point of the grid of K rows and L columns of the projected calibration image is K rows L of the distance matrix Rdist.
  • D KL element of column
  • step S130 By performing step S130 and generating the distance matrix Rdist in advance, the imaging unit 1 and its specific coordinates at specific coordinate values of the image (PRJ coordinate system) projected onto the projection surface by the projection unit 5 It is possible to estimate the expected value D exp of the distance up to a small cost.
  • a distance measurement method using a stereo camera methods such as a distance measurement method using a stereo camera, a distance measurement method using a laser, a distance measurement method using a range finder method, and a distance measurement method using a sonar may be used.
  • the image processing unit 2 uses the image of the imaging unit 1 as an input value, and starts searching for a part of the body such as the user's fingertip or a pointer such as a pointing stick (step S140).
  • the image processing unit 2 sets the coordinates of the indicator in the coordinate system (CAM coordinate system) of the imaging unit 1 searched in step S140 as an input value, and the PRJ coordinates stored in the data storage unit 9 in step S120. using the system ⁇ CAM coordinate system perspective conversion matrix R trs, estimates the position of the indicator in the PRJ coordinate system (step S150).
  • the image processing unit 2 determines from the distance matrix Rdist stored in the data storage unit 9 in step S130 the imaging unit 1 and the indicator The expected value D exp of the distance to the projection plane pointed to is estimated (step S160).
  • the distance measuring unit 3 measures the distance D point between the imaging unit 1 and the pointer by measuring the distance with one camera using, for example, the difference in refractive index of a transparent plate or the like.
  • this measurement method for example, a known method described in the journal of the Information Processing Society of Japan, Vol. 47, No. SIG 10 is used (step S170).
  • a distance measurement method using a stereo camera methods such as a distance measurement method using a stereo camera, a distance measurement method using a laser, a distance measurement method using a range finder method, and a distance measurement method using a sonar may be used.
  • the determination unit 4 determines the expected value D exp of the distance between the imaging unit 1 estimated in step S160 and the projection surface indicated by the pointer, and the imaging actually measured in step S170.
  • the distance D point between the part 1 and the indicator is compared (step S180).
  • the determination unit 4 is an expected value D exp of the distance between the imaging unit 1 estimated in step S160 and the projection plane pointed to by the indicator, and the imaging unit 1 measured in step S170 and the indicator If it is determined that the distance D point matches (YES in step S180), the control unit 8 determines that the user has performed a touch operation on the screen, and the page linked to the contact position An operation defined in advance such as feeding or animation is performed (step S210).
  • step S310 the control unit 8 performs an operation in the case where there is no contact defined in advance (step S310). That is, based on the determination result of the determination unit, the control unit 8 performs predetermined input processing such as, for example, controlling an image to be projected on the projection unit.
  • control unit 8 determines whether to perform the next operation or not (step S320).
  • step S320 when the control unit 8 determines that the next process is to be performed (YES in step S320), the process returns to step S140, and the image processing unit 2 uses the image of the imaging unit 1 as an input value. Resumes the process of searching for a part of the body such as a fingertip or a pointer such as a pointing stick.
  • the control unit 8 determines that the next process is not to be performed (NO in step S320)
  • the end process is performed, and the system is stopped.
  • the user who gives a presentation using the projector function of the image projection apparatus can operate naturally during the presentation.
  • operability in the determination method can be enhanced.
  • the present invention can also be applied to a determination program for causing an image projection apparatus or the like to perform the above-described processing.
  • a user who makes a presentation using the projector function of an image projection apparatus uses a contact operation between a projection surface and a pointer such as a finger or a pointing rod, which is a natural operation used during a presentation. It becomes possible to operate the screen, and the operability of the image projection apparatus can be enhanced. Therefore, the present invention is useful as an image projection apparatus, a determination method, a determination program, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

　プレゼンテーションを行う使用者が、プレゼンテーション中に利用されている最も自然な動作、具体的にはプレゼンテーション画面に触れるなどの接触動作を検知し、投影された投影面をタッチパネルのように用いて、プレゼンテーション画面の操作ができる画像投影装置等を提供する。　画像投影装置は、投影面に画像を投影する投影部５と、投影部５によって投影された画像を撮像する撮像部１と、撮像部１で撮像された画像から指示体を探索して、探索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から撮像部１と指示体との距離を推定する画像処理部２と、撮像部１と指示体との距離を実測する距離計測部３と、画像処理部２で推定した撮像部１と指示体との距離と、距離計測部３で測定した撮像部１と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定部４と、を備える。

Description

入力装置、判定方法及び判定プログラム
　本発明は入力装置、判定方法及び判定プログラムに関する。
　近年、携帯端末にはさまざまな機能が投入されており、ビジネスライフをサポートする最もポピュラーな要素技術の１つになっている。
　携帯端末メーカー各社は、メールやブラウザ閲覧はもとより、ワードプロセッサソフトや表計算ソフトの閲覧、スケジュール管理に至るまで、ビジネスユースを意識した機種を次々と市場投入しており、最新の携帯端末においては、プロジェクタ機能が搭載された携帯端末が発表された。
　しかしながら、現時点でのプロジェクタ機能が搭載された携帯端末は、プロジェクタ機能がそのまま携帯端末に搭載されただけの機器であり、その操作性に関しては、使い勝手がよいものとは言いがたい。
　例えば、使用者がプレゼンテーション画面の画面操作（ページ送り等）を行おうとした場合、使用者自身、もしくは、別の操作者が携帯端末、もしくは携帯端末につながれた操作機器（パーソナルコンピュータ等）を操作する必要がある。
　一方で、携帯性に優れたプロジェクタの操作性の向上を目的とした以下のような文献が挙げられる。
　特許文献１は、プロジェクタによって投影された映像に向けて、レーザポインタで特定の動作を行うことで、プレゼンテーション資料のページ送り、ズーミング、ハイライトなどのプレゼンテーション画面の制御を指示するシステムを提案している。
　特許文献２は、大型ディスプレイシステム上に投影された、アイコンやコマンドメニューなどの画像に対して、光線ポインタを照射することで、プレゼンテーション画面への指示が可能なシステムを提案している。
　特許文献３では、持ち運びが可能なカメラ付プロジェクタを搭載した作業教示サポートシステムにおいて、作業場に複数の投影目標（投影面）が存在する場合でも、カメラ付プロジェクタと複数の投影面それぞれの位置関係を把握し、適切な投影面に適切な映像を投影できるシステムを提案している。
日本国特開２００１－１２５７３８号公報 日本国特開平９－２２２９５１号公報 日本国特開２００８－９０８０７号公報
　しかしながら、先に挙げた特許文献１、特許文献２、特許文献３を含め、現状の技術では操作性、殊に操作のわかりやすさ、という点に関しては不十分である。
　例えば、特許文献１は、プロジェクタなどで投影されたプレゼンテーション画面上で、レーザポインタを用いた指示動作を行うと、画面を直接操作することができる。しかしながら、画面操作のために、レーザポインタでジェスチャのような決められた指示動作を行う必要があるため、製造するメーカーや機種ごとに異なる指示動作を覚える必要がある。
　例えば、特許文献２は、プレゼンテーション画面の上に、あらかじめ表示されているアイコンやコマンドメニューなどを、レーザポインタ（光線ポインタ）で照射すると、そのアイコンやコマンドメニューに紐付けられた操作指示を行うことができる。しかしながら、レーザポインタの移動等の際に、誤ってアイコンやコマンドメニューを指し示してしまう可能性が高く、操作の手法そのものに課題がある。
　例えば、特許文献３は、複数の投影面それぞれに対して、表示内容をユーザにわかりやすく提示することは可能だが、どのようにして画面操作を行うのか、などの操作性については触れられていない。
　理想的な操作感を得るには、従来技術でなされてきたような特殊な動作を使って、指示を行うような方法ではなく、実際のプレゼンテーション中に利用されている自然な動作を利用するのが好ましい。
　例えば、使用者が投影されたプレゼンテーション画面のページめくりボタンに触れると、画面が次のページに遷移するなど、タッチパネルのような操作感で投影したプレゼンテーション画面を使って操作することができれば、操作性の向上につながる。
　また、操作性の向上のために重要な要素としては、即応性を重視する必要がある。殊に携帯端末のような小型の処理装置を利用する場合、使用者がプレゼンテーション画面に触れたか触れていないかの判定をするための処理は、極力軽減することが望ましい。
　本発明は、このような従来の問題に鑑みてなされたものであり、携帯端末などの入力装置を使ってプレゼンテーションなどの画像の投影を行っている使用者が、プレゼンテーションなどの画像の投影中に利用されている最も自然な動作、具体的にはプレゼンテーション画面などの投影された画像に触れるなどの接触動作を検知し、画像の投影された投影面をタッチパネルのように用いて、プレゼンテーション画面の操作などの入力の操作性を向上させようとするものである。
　前記従来の課題を解決するために、本発明の入力装置は、投影面に画像を投影する投影部と、前記投影部によって投影された画像を撮像する撮像部と、前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から前記撮像部と指示体との距離を推定する画像処理部と、実測することにより、前記撮像部と指示体との距離を測定する距離計測部と、前記画像処理部で推定した前記撮像部と指示体との距離と、前記距離計測部で測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定部と、を備えた構成を有する。
　これにより、本発明における入力装置は、前記投影部によって投影された投影面と、使用者の指先などの体の一部、もしくは指し棒などの指示体とが、接触状態にあるか否かを判定でき、使用者がプレゼンテーション画面の操作を指示しているか否かの判断することができる。
　また、本発明の入力装置は、前記判定部の判定結果に基づいて、所定の入力処理を行う制御部、を備えた構成を有する。
　これにより使用者は、投影面を使って所定の入力操作を行うことができるようになり、使用者は本発明の入力装置、もしくは本発明の入力装置に接続されたパソコンなどの制御装置に触れることなく、前記投影面に投影された画像に対して、タッチパネルのような操作感覚で、プレゼンテーション画面を操作できる。
　また、本発明の入力装置は、前記距離計測部が、カメラである構成を有する。
　これにより、使用者と入力装置の間の距離を測定することができる。
　また、本発明の入力装置は、投影に必要なデータを無線により受信する受信部と、データを記憶するデータ記憶部と、を備え、前記制御部は、前記受信部で受信した受信データを復号し、復号したデータを前記データ記憶部に記憶する構成を有する。
　これにより、投影しようとする画像が本発明の入力装置内に保存されたものではなく、離れた場所に保存されたデータであっても、投影することができる。
　また、本発明の入力装置は、処理結果を無線により送信する送信部を備え、前記制御部が、前記判定部の判断結果によって、前記投影部、前記受信部および前記送信部への制御内容を変更する構成を有する。
　これにより、使用者がプレゼンテーション中に投影面に投影された画像の変更を余儀なくされた場合に、変更しようとするデータが本発明の入力装置内に保存されたものではなく、離れた場所に保存されたデータであっても、データを変更することができる。
　また、本発明の判定方法は、投影部が、投影面に画像を投影する投影ステップと、撮像部が、前記投影ステップによって投影された画像を撮像する撮像ステップと、前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から前記撮像部と指示体との距離を推定する画像処理ステップと、距離計測部が、実測することにより、前記撮像部と指示体との距離を測定する距離計測ステップと、判定部が、前記画像処理ステップで推定した前記撮像部と指示体との距離と、前記距離計測ステップで測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定ステップと、を備えた構成を有する。
　これにより、本発明における判定方法は、前記投影ステップによって投影された投影面と、使用者の指先などの体の一部、もしくは指し棒などの指示体とが、接触状態にあるか否かを判定でき、使用者がプレゼンテーション画面の操作を指示しているか否かの判断ができるようになる。
　また、本発明の判定プログラムは、入力装置に、投影面に画像を投影する投影ステップと、撮像部が前記投影ステップによって投影された画像を撮像する撮像ステップと、前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から前記撮像部と指示体との距離を推定する画像処理ステップと、距離計測部が実測することにより、前記撮像部と指示体との距離を測定する距離計測ステップと、前記画像処理ステップで推定した前記撮像部と指示体との距離と、前記距離計測ステップで測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定ステップと、を実行させるための判定プログラムである。
　これにより、本発明における判定プログラムは、前記投影ステップによって投影された投影面と、使用者の指先などの体の一部、もしくは指し棒などの指示体とが、接触状態にあるか否かを判定でき、使用者がプレゼンテーション画面の操作を指示しているか否かの判断ができるようになる。
　本発明によれば、入力装置のプロジェクタ機能を使ってプレゼンテーションを行う使用者が、プレゼンテーション中に利用される自然な動作である、投影面と指先や指示棒などの指示体との接触動作を使って画面の操作を行うことができるようになり、入力装置の操作性を高めることができる。
本発明の実施の形態における画像投影装置の概略構成図 本発明の実施の形態における画像投影装置の動作を説明するフローチャート 撮像部の透視変換行列と投影部の透視変換行列を説明する図 キャリブレーション画像の投影を説明する図 投影面までの距離計測を説明する図 距離マトリクスＲdist生成を説明する図 推定距離Ｄexpと実測距離Ｄpointの比較を説明する図
　（実施の形態）
　以下、本発明の実施の形態を説明する。
　図１は、本実施の形態における画像投影装置の概略構成を示すブロック図である。
　図１において、本実施の形態における画像投影装置は、撮像部１、画像処理部２、距離計測部３、判定部４、投影部５、受信部６、送信部７、制御部８、データ記憶部９とから構成されている。なお、この画像投影装置は、「入力装置」の一例である。
　撮像部１は、例えばＣＣＤカメラを有し、使用者と投影した投影面との位置関係の監視を行う。
　画像処理部２は、拡大・回転などの変形処理や、２つの画像の対応点検索、座標変換などの基本的な画像処理機能を有し、撮像部１の画像を入力値として、使用者の指示動作を検出し、使用者が指し示したポイントが、前記投影部５によって投影された投影面上にあった場合の撮像部１と投影面との距離の推定を行う。
　距離計測部３は、撮像部１の出力値を入力としてカメラと画像解析を用いた距離計測方法を行い、撮像部１と使用者が指し示しているポイントとの距離を計測する。
　なお、今回は撮像部１の出力値を入力としてカメラと画像解析を用いて距離計測を行っているが、撮像部１と使用者の指し示しているポイントの距離計測が可能であるならば、レンジファインダー方式による距離計測方法、音波による距離計測方法、レーザを用いた距離計測方法等を用いることにより距離を計測してもよい。
　判定部４は、前記画像処理部２において推定された、使用者が指し示したポイントが、前記投影部５によって投影された投影面上にあった場合の撮像部１と投影面との距離と、距離計測部３で計測された撮像部１と使用者が指し示しているポイントとの距離を比較し、使用者が指し示しているポイントが投影面に接しているかどうかの判定を行う。
　投影部５は、画像投影装置の使用時において、画像や映像を投影面に投影することにより表示する。
　受信部６は、外部ネットワークと通信するためのアンテナおよび受信回路と、記録メディアに記録されたデータを読み取る機構、例えばＤＶＤやＣＤなどの光ディスクの読み書きが可能な機構と、を備え、プレゼンテーション画面の投影に必要なデータを受信する。
　送信部７は、外部ネットワークと通信するためのアンテナおよび送信回路と、記録メディアにデータを書き出す機構と、を備え、使用者の指示によってデータを送信する。
　制御部８は、判定部４で判定された結果によって、投影部５に対して投影する内容を決定、投影制御を行い、また、例えば、外部ネットワークと接続された環境に置かれた記憶媒体や記録メディアなどから、受信部６、送信部７を用いて投影に必要なデータの送受信を制御する。
　データ記憶部９は、制御部８が指定するデータ、例えば、撮像部１、画像処理部２、距離計測部３の処理結果と、受信部６によって外部ネットワークとの通信で取得したデータと、を格納する。
　次に、本実施の形態について、その動作を、図２を用いて説明する。
　まず、画像投影装置の電源スイッチ等を操作し、スタートする。
　制御部８は、投影部５に対して投影面上にキャリブレーション画像の投影を指示し、撮像部１に対して投影部５によって投影面上に投影されたキャリブレーション画像を監視できるように撮像部１の撮像方向を調整をする（ステップＳ１１０）。
　次に、制御部８は、投影部５によって投影面上に投影されたキャリブレーション画像の座標系（ＰＲＪ座標系）と、投影部５によって投影面上に投影されたキャリブレーション画像を監視できるように設置された、撮像部１のカメラ座標系（ＣＡＭ座標系）を擬似的に変換するＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列（Ｒtrs）を生成し、データ記憶部９に格納する（ステップＳ１２０）。
　ここでステップＳ１１０～ステップＳ１２０のＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列（Ｒtrs）の生成処理について、図３を用いて詳しく説明する。まず、3次元空間の絶対的な座標を意味するワールド座標系とＰＲＪ座標系との透視変換行列（Ｒprj）を生成する。次にワールド座標系とＣＡＭ座標系との透視変換行列（Ｒcam）を生成する。このＣＡＭ座標系の透視変換行列（Ｒcam）とＰＲＪ座標系の透視変換行列（Ｒprj）とを変形することにより、ＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列（Ｒtrs）を生成することができる。また、このＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列（Ｒtrs）の生成によって、撮像部１のカメラ座標上の特定の座標は、少ないコストで、投影部５によって投影面上に投影された画像の特定の座標に、変換することができる。
　次に、制御部８は、投影部５によって投影面に投影されたキャリブレーション画像中の複数の座標における、撮像部１から投影面までの距離を、距離計測部３を用いて計測し、投影部５によって投影面に投影されたキャリブレーション画像の座標を入力値として、撮像部１から投影面までの距離を推定することが可能な、距離マトリクスＲdistを生成し、データ記憶部９に格納する（ステップＳ１３０）。
　ここで、このステップＳ１３０で生成される距離マトリクスＲdistの生成について、図４～図６を用いて説明する。
　まず、遮蔽物がない状態でキャリブレーション画像を投影面に投影する（図４）。ここで投影されたキャリブレーション画像は、例えば、規則正しく投影面を縦横にＭ行Ｎ列に分割する格子状の画像であるものとする。
　次に、撮像部１から投影面上の代表点までの距離Ｄcを計測する。例えば、代表点はキャリブレーション画像のＫ行Ｌ列目の格子の左下の直交点とする。この際、選択する代表点は、格子の中心点、右上の直交点、右下の直交点、左下の直交点などでもよい（図５）。
　次に、Ｍ行Ｎ列の行列（距離マトリクスＲdist）を用意し、投影されたキャリブレーション画像のＫ行Ｌ列の格子の左下の直交点までの距離Ｄcを、距離マトリクスＲdistのＫ行Ｌ列目の要素(ＤKL)に入れる（図６）。この計測操作をすべての格子に対して行う。すなわち、投影されるキャリブレーション画像のすべての格子の代表点に対する距離を計測し、距離マトリクスＲdistを生成する。
　前記ステップＳ１３０を行い、距離マトリクスＲdistをあらかじめ生成しておくことによって、投影部５によって投影面上に投影された画像（ＰＲＪ座標系）の特定の座標値における、撮像部１とその特定の座標までの距離の期待値Ｄexpを少ないコストで推定することができる。
　なお、この距離計測方法については、ステレオカメラを用いた距離計測方法、レーザーを用いた距離計測方法、レンジファインダ方式による距離計測方法、ソナーを用いた距離計測方法などの手法を用いてもよい。
　次に、画像処理部２は、撮像部１の画像を入力値として、使用者の指先などの体の一部、もしくは指し棒などの指示体の探索処理を開始する（ステップＳ１４０）。
　次に、画像処理部２は、ステップＳ１４０において探索された、撮像部１の座標系（ＣＡＭ座標系）における指示体の座標を入力値とし、ステップＳ１２０においてデータ記憶部９に格納されたＰＲＪ座標系⇔ＣＡＭ座標系透視変換行列Ｒtrsを用いて、ＰＲＪ座標系における指示体の位置を推定する（ステップＳ１５０）。
　次に、画像処理部２は、ステップＳ１５０において推定されたＰＲＪ座標系における指示体の位置を入力値として、ステップＳ１３０においてデータ記憶部９に格納された距離マトリクスＲdistから、撮像部１と指示体が指し示している投影面までの距離の期待値Ｄexpを推定する（ステップＳ１６０）。
　次に、距離計測部３は、撮像部１と指示体との距離Ｄpointを、例えば、透明板などの屈折率の違いを用いて、カメラ1台で距離を計測することにより測定する。なお、この測定方法としては、例えば、情報処理学会誌Vol47 No. SIG 10 に記載された公知の方法を用いる（ステップＳ１７０）。
　なお、この距離計測方法については、ステレオカメラを用いた距離計測方法、レーザーを用いた距離計測方法、レンジファインダ方式による距離計測方法、ソナーを用いた距離計測方法などの手法を用いてもよい。
　次に、図７で示すように、判定部４は、ステップＳ１６０において推定された撮像部１と指示体が指し示している投影面までの距離の期待値Ｄexpと、ステップＳ１７０において実測された撮像部１と指示体との距離Ｄpointを比較する（ステップＳ１８０）。
　ここで、判定部４が、ステップＳ１６０において推定された撮像部１と指示体が指し示している投影面までの距離の期待値Ｄexpと、ステップＳ１７０において実測された撮像部１と指示体との距離Ｄpointが一致していると判断した場合（ステップＳ１８０、ＹＥＳ）、制御部８は、使用者が画面に対して、接触動作を行ったものと判断し、接触位置に紐付けられたページ送りやアニメーションなどのあらかじめ規定している動作を行う（ステップＳ２１０）。
　一方、判定部４が、ステップＳ１６０において推定された撮像部１と指示体が指し示している投影面までの距離の期待値Ｄexpと、ステップＳ１７０において実測された撮像部１と指示体との距離Ｄpointが一致していないと判断した場合（ステップＳ１８０、ＮＯ）、制御部８は、あらかじめ規定している接触しない場合の動作を行う（ステップＳ３１０）。すなわち、制御部８は、前記判定部の判定結果に基づいて、例えば、前記投影部に投影する画像を制御する、などの所定の入力処理を行う。
　次に、制御部８は、次の動作を行うか、行わないかを判断する（ステップＳ３２０）。
　ここで、制御部８が、次の処理を行うと判断した場合（ステップＳ３２０、ＹＥＳ）、ステップＳ１４０の処理に戻り、画像処理部２は、撮像部１の画像を入力値として、使用者の指先などの体の一部、もしくは指し棒などの指示体の探索処理を再開する。一方、制御部８が、次の処理を行わないと判断した場合（ステップＳ３２０、ＮＯ）、終了処理を行い、システムを停止する。
　以上で説明したように、本発明の実施の形態の画像投影装置及び画像投影方法によれば、画像投影装置のプロジェクタ機能を使ってプレゼンテーションを行う使用者が、プレゼンテーション中に利用される自然な動作である、投影面と指先や指示棒などの指示体との接触動作を使って画面の操作を行うことができるようになり、画像投影装置の操作性を高めることができる。またその判定方法における操作性を高めることができる。
　また、本発明は、画像投影装置等に上記の処理を行わせるための判定プログラムに適用することもできる。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、2010年6月17日出願の日本特許出願No.2010-137950に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、画像投影装置のプロジェクタ機能を使ってプレゼンテーションを行う使用者が、プレゼンテーション中に利用される自然な動作である、投影面と指先や指示棒などの指示体との接触動作を使って画面の操作を行うことができるようになり、画像投影装置の操作性を高めることができる。このため、本発明は、画像投影装置、判定方法、判定プログラム等として有用である。
　１　撮像部
　２　画像処理部
　３　距離計測部
　４　判定部
　５　投影部
　６　受信部
　７　送信部
　８　制御部
　９　データ記憶部

Claims (7)

  1. 　投影面に画像を投影する投影部と、
    　前記投影部によって投影された画像を撮像する撮像部と、
    　前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から前記撮像部と指示体との距離を推定する画像処理部と、
    　実測することにより、前記撮像部と指示体との距離を測定する距離計測部と、
    　前記画像処理部で推定した前記撮像部と指示体との距離と、前記距離計測部で測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定部と、
    　を備える入力装置。
  2. 　前記判定部の判定結果に基づいて、所定の入力処理を行う制御部
    　を備える請求項１に記載の入力装置。
  3. 　前記距離計測部は、カメラであることを特徴とする請求項１又は請求項２に記載の入力装置。
  4. 　投影に必要なデータを無線により受信する受信部と、
    　データを記憶するデータ記憶部と、を備え、
    　前記制御部は、前記受信部で受信した受信データを復号し、復号したデータを前記データ記憶部に記憶することを特徴とする請求項２に記載の入力装置。
  5. 　処理結果を無線により送信する送信部を備え、
    　前記制御部は、前記判定部の判断結果によって、前記投影部、前記受信部および前記送信部への制御内容を変更することを特徴とする請求項４に記載の入力装置。
  6. 　投影部が、投影面に画像を投影する投影ステップと、
    　撮像部が、前記投影ステップによって投影された画像を撮像する撮像ステップと、
    　画像処理部が、前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から前記撮像部と指示体との距離を推定する画像処理ステップと、
    　距離計測部が、実測することにより、前記撮像部と指示体との距離を測定する距離計測ステップと、
    　判定部が、前記画像処理ステップで推定した前記撮像部と指示体との距離と、前記距離計測ステップで測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定ステップと、
    　を備える判定方法。
  7. 　入力装置に、
    　投影面に画像を投影する投影ステップと、
    　撮像部が前記投影ステップによって投影された画像を撮像する撮像ステップと、
    　前記撮像部で撮像された画像から指示体を探索し、検索した指示体の座標を変換行列を用いて求め、求めた指示体の座標から前記撮像部と指示体との距離を推定する画像処理ステップと、
    　距離計測部が実測することにより、前記撮像部と指示体との距離を測定する距離計測ステップと、
    　前記画像処理ステップで推定した前記撮像部と指示体との距離と、前記距離計測ステップで測定した前記撮像部と指示体との距離と、が実質的に一致している場合に、指示体が投影面に接触していると判定する判定ステップと、
    　を実行させるための判定プログラム。
PCT/JP2011/001167 2010-06-17 2011-02-28 入力装置、判定方法及び判定プログラム WO2011158401A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-137950 2010-06-17
JP2010137950A JP4858631B2 (ja) 2010-06-17 2010-06-17 画像投影装置、判定方法及び判定プログラム

Publications (1)

Publication Number Publication Date
WO2011158401A1 true WO2011158401A1 (ja) 2011-12-22

Family

ID=45347819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001167 WO2011158401A1 (ja) 2010-06-17 2011-02-28 入力装置、判定方法及び判定プログラム

Country Status (2)

Country Link
JP (1) JP4858631B2 (ja)
WO (1) WO2011158401A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639212B2 (en) 2013-09-25 2017-05-02 Kabushiki Kaisha Toshiba Information processor, processing method, and projection system
US11614835B2 (en) 2019-02-14 2023-03-28 Sony Group Corporation Information processing device that projects drawing information according to ratio of distances, information processing method, and recording medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6167529B2 (ja) 2013-01-16 2017-07-26 株式会社リコー 画像投影装置、画像投影システム、制御方法およびプログラム
JP6337558B2 (ja) * 2014-01-21 2018-06-06 セイコーエプソン株式会社 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP6723814B2 (ja) 2016-04-28 2020-07-15 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
CN108549187A (zh) * 2018-04-24 2018-09-18 歌尔科技有限公司 一种交互式投影灯的控制方法、装置及交互式投影灯

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320921A (ja) * 1995-05-25 1996-12-03 Oki Electric Ind Co Ltd ポインティングシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320921A (ja) * 1995-05-25 1996-12-03 Oki Electric Ind Co Ltd ポインティングシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639212B2 (en) 2013-09-25 2017-05-02 Kabushiki Kaisha Toshiba Information processor, processing method, and projection system
US11614835B2 (en) 2019-02-14 2023-03-28 Sony Group Corporation Information processing device that projects drawing information according to ratio of distances, information processing method, and recording medium

Also Published As

Publication number Publication date
JP2012003521A (ja) 2012-01-05
JP4858631B2 (ja) 2012-01-18

Similar Documents

Publication Publication Date Title
KR101749933B1 (ko) 이동 단말기 및 그 제어방법
KR102051418B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
JP5962403B2 (ja) 情報処理装置、表示制御方法及びプログラム
WO2011158401A1 (ja) 入力装置、判定方法及び判定プログラム
US9507428B2 (en) Electronic device, control method, and control program
US20140160045A1 (en) Terminal and method for providing user interface using a pen
US10073585B2 (en) Electronic device, storage medium and method for operating electronic device
JP5446769B2 (ja) ３次元入力表示装置
JP6000797B2 (ja) タッチパネル式入力装置、その制御方法、および、プログラム
KR20150103240A (ko) 깊이 기반 사용자 인터페이스 제스처 제어
CN102681958A (zh) 使用物理姿势传输数据
KR102072509B1 (ko) 그룹 리코딩 방법, 저장 매체 및 전자 장치
US10140002B2 (en) Information processing apparatus, information processing method, and program
US20110250929A1 (en) Cursor control device and apparatus having same
JP6727081B2 (ja) 情報処理システム、拡張入力装置、および情報処理方法
CN104038715A (zh) 图像投影装置、系统以及图像投影方法
WO2019102825A1 (ja) レンダリング装置及びレンダリング方法
KR20170059815A (ko) 롤러블 이동 단말기
CN111225107B (zh) 音量调节方法及装置、电子设备、存储介质
US20160077551A1 (en) Portable apparatus and method for controlling portable apparatus
KR20180040955A (ko) 이동 단말기 및 그 제어방법
KR101586914B1 (ko) 이동 단말기
TWI607343B (zh) 資訊科技裝置輸入系統及相關方法
JP2016119019A (ja) 情報処理装置、情報処理方法、プログラム
JP2012221219A (ja) 携帯端末

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11795309

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11795309

Country of ref document: EP

Kind code of ref document: A1