JP7231257B2 - Mirror unit and program for a full-length mirror and a full-length mirror - Google Patents
Mirror unit and program for a full-length mirror and a full-length mirror Download PDFInfo
- Publication number
- JP7231257B2 JP7231257B2 JP2021035906A JP2021035906A JP7231257B2 JP 7231257 B2 JP7231257 B2 JP 7231257B2 JP 2021035906 A JP2021035906 A JP 2021035906A JP 2021035906 A JP2021035906 A JP 2021035906A JP 7231257 B2 JP7231257 B2 JP 7231257B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- camera
- mirror
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
- Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、動画撮影用のカメラを含む撮影ユニットと表示部を含むミラーユニットとの組み合わせによって、表示部の前にいる利用者自身の画像を表示部に映し出す装置（以下、「姿見装置」という。）に関する。 The present invention is a device for projecting an image of a user in front of a display unit (hereinafter referred to as a "full-length mirror device") by combining a photographing unit including a camera for capturing moving images and a mirror unit including a display unit. .) regarding.
従前より、利用者の背後や側方に配備されたカメラと、利用者の前方に配備されてカメラにより生成された画像を表示する表示装置とによって、通常の鏡では確認することができない方向からの自分の姿（後頭部や横顔など）を正面視により確認できるようにする姿見装置が発案されている。 Conventionally, cameras are installed behind and to the side of the user, and a display device is installed in front of the user and displays images generated by the camera. A full-length mirror device has been devised that allows people to check their own appearance (back of the head, profile, etc.) from the front.
たとえば、特許文献１には、撮影用のカメラをアーム型の保持手段を介して表示装置に連結することによって、表示装置の前にいる利用者の頭上や背後にカメラを保持し、かつカメラの位置や視線方向を調整できるようにした構成の姿見装置（特許文献１では「複合表示システム」と記載。）が開示されている。
For example, in
特許文献２には、ハーフミラーの背後に表示装置を設けると共に、ハーフミラーの正面位置の左右にそれぞれカメラを設けることによって、利用者の正面の鏡像と左右の画像とが同時にハーフミラーに映し出されるようにした姿見装置が開示されている。
In
上記の特許文献１，２に記載されている姿見装置では、カメラからの画像はケーブルを介してミラーユニットに送信されているようであるが、昨今の通信技術によれば、カメラで生成された動画像を無線によりミラーユニットに送信しても、大きな遅延なく画像を表示することができると思われる。そうすると、各ユニットの設置作業が簡単になり、より自由度を高めることができる。また、無線機能を有する小型のカメラやスマートフォンを撮影ユニットとして使用することが可能になり、ミラーユニットにもスマートフォンやタブレット型端末装置を使用することができるので、エンドユーザの手持ちの情報通信機器を活用することが可能になる。そうすると、場合によっては、２種類の汎用の情報通信機器にソフトウェアをインストールするだけで、それらの組み合わせを姿見装置として機能させることが可能になる。
In the full-length mirror devices described in
しかし、姿見装置は、カメラを利用者以外のものに向けることによって、利用者の姿を映すという本来の目的以外に使用することも可能であり、安易に普及させることは危険である。特に、無線通信により動画像が送信されるようにすると、カメラを表示装置からかなり離れた場所に移動させてその場所の画像を表示することが可能になるため、盗撮などの不正目的に利用されるおそれが高まる。 However, by directing the camera toward something other than the user, the full-length mirror device can be used for purposes other than the original purpose of capturing the image of the user. In particular, when moving images are transmitted by wireless communication, it becomes possible to move the camera to a location far away from the display device and display the image at that location, so it can be used for illegal purposes such as voyeurism. increase the risk of
本発明は、上記の問題をふまえて、表示画面の正面にいる利用者の姿を映すという目的に適した関係をもってミラーユニットと撮影ユニットとが位置合わせされるまでカメラからの動画像がミラーユニットに表示されないようにすると共に、この位置合わせを簡単な作業により行うことができる姿見装置を提供することを、課題とする。 In view of the above-mentioned problems, the present invention provides a mirror unit for displaying a moving image from a camera until the mirror unit and the photographing unit are aligned in a relationship suitable for the purpose of projecting the image of the user in front of the display screen. It is an object of the present invention to provide a full-length mirror device that prevents the display from being displayed on the screen and allows the alignment to be performed by a simple operation.
さらに本発明は、上記の目的を逸脱しない範囲で利用者の希望に応じてカメラの位置や視線方向を変更できるようにすることを、第２の課題とする。 A second object of the present invention is to change the camera position and line-of-sight direction according to the user's wishes without departing from the above object.
本発明による姿見装置は、動画撮影用のカメラを含む撮影ユニットと表示部を含むミラーユニットとを備え、撮影ユニットとミラーユニットとの間での通信を可能とした構成のものである。上記のデータ送信は無線により行われるのが望ましいが、撮影ユニットとミラーユニットとを通信ケーブルで接続し、その通信ケーブルを介してデータを伝送する構成を採用してもよい。 A full-length mirror apparatus according to the present invention includes a photographing unit including a camera for photographing moving images and a mirror unit including a display section, and is configured to enable communication between the photographing unit and the mirror unit. Although it is preferable that the data transmission described above is performed wirelessly, a configuration in which the photographing unit and the mirror unit are connected by a communication cable and the data is transmitted via the communication cable may be employed.
上記の撮影ユニットは、カメラにより生成された動画像をミラーユニットにリアルタイムに送信する動画送信手段を備える。 The photographing unit described above includes moving image transmission means for transmitting moving images generated by the camera to the mirror unit in real time.
上記のミラーユニットは、撮影ユニットと通信できる状態になったことに応じて当該撮影ユニットからその時点で送信可能な情報以外の情報による画面を表示部に表示し、表示中の情報に適合する情報を撮影ユニットから受信したことを条件として、表示部の画面を当該撮影ユニットから受信する動画像の表示に切り替える。
なお、「撮影ユニットと通信できる状態」とは、撮影ユニットとの通信が既に開始されている状態のみならず、通信は行われていないがミラーユニットが起動して撮影ユニットからのアクセスを受け付けることが可能になっている状態も含まれるものとする。
When the mirror unit becomes able to communicate with the imaging unit, it displays on the display screen a screen containing information other than information that can be transmitted from the imaging unit at that time, and information that matches the information being displayed. is received from the imaging unit, the screen of the display unit is switched to display the moving image received from the imaging unit.
It should be noted that "a state in which communication with the imaging unit is possible" means not only a state in which communication with the imaging unit has already started, but also a state in which the mirror unit is activated and accepts access from the imaging unit even though communication is not being performed. It shall include the state in which
上記の構成によれば、ミラーユニットが撮影ユニットからの動画像を受信できる状態になっても、撮影ユニットからの動画像はすぐには表示されず、撮影ユニットからは送信できない情報による画面が表示される。しかし、表示部の画面に撮影ユニットのカメラを正対させ、表示部とカメラとの間に利用者や他の物体が入らない状態下で当該画面を撮影することで、撮影ユニットが画面に表示されている情報を取得し、その情報に適合する情報を撮影ユニットからミラーユニットに送信することができれば、表示部の画面をカメラにより生成された動画像の表示に切り替えることができる。 According to the above configuration, even when the mirror unit becomes ready to receive moving images from the imaging unit, the moving images from the imaging unit are not immediately displayed, and a screen containing information that cannot be transmitted from the imaging unit is displayed. be done. However, by facing the camera of the shooting unit directly to the screen of the display unit and shooting the screen in a state where the user or other objects do not come between the display unit and the camera, the shooting unit can be displayed on the screen. If it is possible to acquire the information stored in the camera and transmit information matching the information from the photographing unit to the mirror unit, the screen of the display unit can be switched to display a moving image generated by the camera.
たとえば、ミラーユニットが所定の特徴パターンを含む画像を表示部に表示し、撮影ユニットのカメラを表示画面に正対させて画面を撮影し、その撮影により生成された画像をミラーユニットに送信すれば、ミラーユニットは、受信した画像から表示中の特徴パターンに整合するパターンを検出できたことによって、表示部の画面を撮影ユニットから受信する動画像の表示に切り替えることができる。 For example, if the mirror unit displays an image including a predetermined characteristic pattern on the display unit, the camera of the imaging unit faces the display screen, captures the screen, and transmits the image generated by the capture to the mirror unit. , the mirror unit can switch the screen of the display unit to display the moving image received from the photographing unit by detecting a pattern that matches the characteristic pattern being displayed from the received image.
また、ミラーユニットにおいて所定の文字またはコードを表すパターン（文字画像や２次元コードなど）を表示部に表示し、撮影ユニットにおいて、表示画面に正対させたカメラにより撮影された画像中のパターンから文字またはコードを読み取って、その読取り結果に相当する文字情報またはコード情報をミラーユニットに送信すれば、ミラーユニットは、撮影ユニットから表示中のパターンに適合する文字情報またはコード情報を受信したことをもって、表示部の画面を撮影ユニットから受信する動画像の表示に切り替えることができる。 In the mirror unit, a pattern (character image, two-dimensional code, etc.) representing a predetermined character or code is displayed on the display unit. If a character or code is read and the character information or code information corresponding to the reading result is transmitted to the mirror unit, the mirror unit receives the character information or code information that matches the pattern being displayed from the photographing unit. , the screen of the display unit can be switched to display a moving image received from the photographing unit.
表示部の画面が動画像の表示に切り替えられた後は、表示部と撮影ユニットとの間の空間（以下、「利用空間」という。）に利用者が入ることによって、利用者をその背後から撮影した画像を表示部に表示することができる。よって、利用者は、自分の後頭部や背部など、本来は正面視できない箇所を正面視により確認することができる。 After the screen of the display unit is switched to the display of moving images, the user enters the space between the display unit and the imaging unit (hereafter referred to as the "usable space") so that the user can be seen from behind. A captured image can be displayed on the display unit. Therefore, the user can check the parts such as the back of the head and the back of the user that cannot be viewed from the front by viewing from the front.
上記の構成によれば、撮影ユニットからミラーユニットに送信される情報に基づきミラーユニットの表示部にカメラが正対していることを確認することができるので、ミラーユニットと撮影ユニットとの位置関係を厳密に定めなくとも、表示部の正面の適所に撮影ユニットを配置してカメラの視野を画面に合わせることによって、動画像の表示を開始することができる。 According to the above configuration, it is possible to confirm that the camera is facing the display section of the mirror unit based on the information transmitted from the photographing unit to the mirror unit. Even if it is not strictly defined, it is possible to start displaying a moving image by arranging the photographing unit at an appropriate position in front of the display section and aligning the field of view of the camera with the screen.
前述した文字情報やコード情報の受信をミラーユニットにおける動画像の表示開始の条件にする場合には、この条件が成立したことに応じてミラーユニットから撮影ユニットに所定のフォーマットによる通知を送信し、この通知を受信したことに応じて撮影ユニットからミラーユニットへの動画像の送信を開始する仕様にすることもできる。 When the reception of the character information or code information described above is used as a condition for starting display of a moving image on the mirror unit, the mirror unit transmits a notification in a predetermined format to the photographing unit in response to the establishment of this condition, It is also possible to have a specification in which transmission of moving images from the photographing unit to the mirror unit is started in response to receiving this notification.
さらに上記構成の撮影ユニットには、自装置とミラーユニットとの距離を測定するための測定手段と、測定手段により測定された距離があらかじめ定めた適正範囲に入るか否かを示す情報または測定された距離を表す情報をミラーユニットに送信する測定結果送信手段とを付加することができる。この場合のミラーユニットの表示制御手段は、測定結果送信手段から撮影ユニットと自装置との距離が前記適正範囲に入ることを示す情報または当該適正範囲内の距離を表す情報を受信したことに応じて、表示部の画面を撮影ユニットから受信している動画像の表示に切り替える。 Further, the photographing unit configured as described above includes measuring means for measuring the distance between the self apparatus and the mirror unit, and information indicating whether or not the distance measured by the measuring means falls within a predetermined appropriate range. measurement result transmitting means for transmitting information representing the distance to the mirror unit. In this case, the display control means of the mirror unit receives, from the measurement result transmission means, information indicating that the distance between the photographing unit and its own device falls within the proper range or information indicating the distance within the proper range. to switch the screen of the display unit to display the moving image received from the imaging unit.
上記の付加構成を有する姿見装置によれば、利用者を撮影する目的に照らしてミラーユニットと撮影ユニットとの距離の適正範囲を定めることによって、利用者を撮影するのに適さないほどミラーユニットから離れた場所に撮影ユニットが配置された場合や、利用者がミラーユニットと撮影ユニットとの間に入ることが困難なほど両ユニットが接近して配置された場合に、動画像の表示を禁じることができる。 According to the full-length mirror device having the additional configuration described above, by determining the appropriate range of the distance between the mirror unit and the photographing unit in light of the purpose of photographing the user, the distance from the mirror unit to the extent that is not suitable for photographing the user is eliminated. Prohibit display of moving images when the shooting unit is placed in a distant place, or when both units are placed so close that it is difficult for the user to get between the mirror unit and the shooting unit. can be done.
さらに本発明において、カメラの位置および視線方向の変化を検出する検出手段を具備する撮影ユニットを用いる場合には、ミラーユニットの表示制御手段に、撮影ユニットからの動画像を表示部に表示する制御が行われている状態下でカメラの位置または視線方向にあらかじめ定めた適正範囲を逸脱する変化が生じていることを示す検出データを当該撮影ユニットから受信したことに応じて、当該撮影ユニットから受信する動画像の表示部への表示を中止する機能を設けることができる。
この機能に関して、以下の２つの実施形態を採用することができる。
Further, in the present invention, when a photographing unit equipped with detection means for detecting changes in the camera position and line-of-sight direction is used, the display control means of the mirror unit is controlled to display the moving image from the photographing unit on the display section. Received from the camera unit in response to detection data indicating that the position of the camera or the line-of-sight direction deviates from the predetermined appropriate range while the camera is being performed It is possible to provide a function of stopping the display of moving images on the display unit.
Regarding this function, the following two embodiments can be adopted.
第１の実施形態では、撮影ユニットに、上記の検出手段の検出結果を表す検出データをミラーユニットに送信する検出データ送信手段が設けられる。合わせて、ミラーユニットの表示制御手段には、撮影ユニットからの動画像が表示部に表示されている状態下で撮影ユニットから受信する検出データによりカメラの位置または視線方向にあらかじめ定めた適正範囲を逸脱する変化が生じていないかどうかを監視し、当該適正範囲を逸脱する変化が生じていると判別したことに応じて、当該撮影ユニットから受信する動画像の表示部への表示を中止する機能が付加される。 In the first embodiment, the photographing unit is provided with detection data transmission means for transmitting detection data representing the detection result of the detection means to the mirror unit. In addition, the display control means of the mirror unit determines a predetermined appropriate range in the position of the camera or in the line-of-sight direction based on the detection data received from the photographing unit while the moving image from the photographing unit is being displayed on the display unit. A function that monitors whether a change that deviates from the appropriate range has occurred, and stops displaying the moving image received from the imaging unit on the display unit in response to determining that a change that deviates from the appropriate range has occurred. is added.
上記の撮影ユニットから送信される検出データは、検出手段により検出されたカメラの位置および視線方向の変化を表すデータそのものであってもよい（たとえば、加速度データや角速度データ）が、撮影ユニットが当該データを用いた演算により求めたカメラの位置および視線方向を表すデータ（たとえば、カメラの代表点の空間座標や基準の方向に対する視線方向の回転角度）を検出データとしてミラーユニットに送信することもできる。 The detection data transmitted from the photographing unit may be data representing changes in camera position and line-of-sight direction detected by the detecting means (for example, acceleration data and angular velocity data). Data representing the camera position and line-of-sight direction (for example, the spatial coordinates of the representative point of the camera and the angle of rotation of the line-of-sight direction with respect to the reference direction) obtained by calculation using the data can also be sent to the mirror unit as detection data. .
第２の実施形態では、ミラーユニットの表示制御手段に、表示部に表示中の情報に適合する情報を撮影ユニットから受信したことに応じて撮影ユニットに所定のフォーマットによる通知を送信する手段が含められる。撮影ユニットには、上記の検出手段と共に、ミラーユニットから上記の通知を受信した時点より後の検出手段による検出結果を監視し、その監視によりカメラの位置または視線方向にあらかじめ定めた適正範囲を逸脱する変化を検出したときに当該変化が検出されたことを示す検出データをミラーユニットに送信する監視手段が設けられる。ミラーユニットの表示制御手段は、上記の通知を送信した後の撮影ユニットからカメラの位置または視線方向に適正範囲を逸脱する変化が検出されたことを示す検出データを受信したときに、動画像の表示部への表示を中止する。 In the second embodiment, the display control means of the mirror unit includes means for transmitting a notification in a predetermined format to the imaging unit in response to receiving from the imaging unit information matching the information being displayed on the display section. be done. In addition to the detection means, the photographing unit monitors the results of detection by the detection means after receiving the notification from the mirror unit. Monitoring means are provided for transmitting detection data to the mirror unit indicating that a change has been detected when the change is detected. When the display control means of the mirror unit receives detection data indicating that a change in the position of the camera or the line-of-sight direction outside the proper range has been detected from the photographing unit after the above notification has been sent, Cancels display on the display.
上記２つの実施形態によれば、撮影ユニットからの動画像の表示が開始された後にカメラの位置または視線方向が利用者を撮影する目的に適さない状態になったときに、表示部への動画像の表示を中止することができる。しかし、あらかじめ定められた条件を逸脱しない範囲であれば、カメラの位置や視線方向を変更し（たとえば、カメラの高さを変更したり、利用者を左斜め方向または右斜め方向から撮影する状態にする。）、その変更後の撮影による動画像を表示することができる。 According to the above two embodiments, when the position or line-of-sight direction of the camera becomes unsuitable for the purpose of photographing the user after the display of the moving image from the photographing unit is started, the moving image is displayed on the display unit. The display of the image can be discontinued. However, as long as it does not deviate from the predetermined conditions, the camera position and line-of-sight direction can be changed (for example, the height of the camera can be changed, or the user can be photographed from an oblique left or right direction). ), and the moving image captured after the change can be displayed.
ミラーユニットに、表示部に表示中の情報に適合する情報を撮影ユニットから受信したことに応じて当該撮影ユニットに所定のフォーマットによる通知を送信する場合には、この通知を受信した撮影ユニットの側で、当該通知を受信した時点より後の検出手段による検出結果を監視し、その監視によりカメラの位置または視線方向に適正範囲を逸脱する変化を検出したことに応じてミラーユニットへの動画像の送信を中止することもできる。 When the mirror unit receives a notification in a predetermined format in response to receiving from the imaging unit information that matches the information being displayed on the display unit, the imaging unit receiving this notification monitor the results of detection by the detection means after the notification is received , and send moving images to the mirror unit in response to detection of changes that deviate from the appropriate range in the camera position or line-of-sight direction through that monitoring. You can also cancel the transmission.
本発明によるミラーユニットは、表示部となる表示装置と、この表示装置に表示用データを送信して画面に表示させる機能と当該表示装置以外の機器との通信機能とを備える情報処理装置に、上述した表示制御用のプログラムを組み込むことによって得ることができる。情報処理装置は、表示装置が一体になった形態の装置（タブレット端末やタッチパネルディスプレイなど）を使用することもできるし、表示装置とは別体の装置とすることもできる。 A mirror unit according to the present invention comprises a display device serving as a display unit, an information processing device having a function of transmitting display data to the display device and displaying it on a screen, and a function of communicating with devices other than the display device. It can be obtained by incorporating the display control program described above. The information processing device may be a device integrated with a display device (such as a tablet terminal or a touch panel display), or may be a device separate from the display device.
本発明による撮影ユニットは、動画撮影用のカメラと通信機能とを備えた情報処理装置に、撮影ユニットとしての機能に関するプログラムを組み込むことによって得ることができる。このプログラムによれば、市販のカメラ、スマートフォン、タブレット型端末などを撮影ユニットとして活用することができる。 A photographing unit according to the present invention can be obtained by incorporating a program relating to functions as a photographing unit into an information processing apparatus having a camera for photographing moving images and a communication function. According to this program, commercially available cameras, smartphones, tablet terminals, etc. can be used as shooting units.
本発明によれば、ミラーユニットと撮影ユニットとが正対する関係をもって配置されるまで、撮影ユニットの撮影による動画像がミラーユニットに表示されることがないので、これらの機器がミラーユニットの正面にいる利用者の姿を表示すること以外の目的に使用されることを防ぐことができる。 According to the present invention, since the moving image captured by the imaging unit is not displayed on the mirror unit until the mirror unit and the imaging unit are arranged facing each other, these devices are placed in front of the mirror unit. It is possible to prevent it from being used for purposes other than displaying the appearance of the user who is
また、ミラーユニットと撮影ユニットとの位置関係や向きの関係を調べる処理や厳密な位置合わせをしなくとも、表示部に表示された情報に適合する情報を撮影ユニットから送信できたことをもって、撮影ユニットが適切な場所に配置されていると判定し、撮影ユニットからの動画像の表示部への表示を開始することができる。また、ミラーユニットの表示部に撮影ユニットを正対させて表示部の画面をカメラにより撮影する、という簡単な作業により姿見装置の利用を開始することができるので、デジタル機器の操作に不慣れな人でも容易に作業内容を理解して、利用を開始することができる。 In addition, the fact that information matching the information displayed on the display unit can be transmitted from the image capturing unit without processing to check the positional relationship and orientation relationship between the mirror unit and the image capturing unit and without performing strict alignment, makes it possible to capture images. It can be determined that the unit is placed in an appropriate location, and display of the moving image from the imaging unit on the display section can be started. In addition, since the use of the full-length mirror can be started by a simple operation of placing the photographing unit facing the display section of the mirror unit and photographing the screen of the display section with the camera, people who are unfamiliar with the operation of digital equipment can start using it. However, you can easily understand the work content and start using it.
さらに本発明では、撮影ユニットのカメラの位置または視線方向がミラーユニットの正面にいる利用者を撮影するのに適していない状態になったときに、ミラーユニットの表示部への動画像の表示を中止することによって、利用者の姿を映すという目的以外に使用されることを高い確度で防ぐことができる。また、この表示中止の条件から逸脱しない範囲であれば、利用者は、カメラの位置や視線方向を変更して自身の所望の箇所を正面視により確認することができる。 Furthermore, in the present invention, when the position or line-of-sight direction of the camera of the photographing unit becomes unsuitable for photographing the user in front of the mirror unit, the moving image is displayed on the display section of the mirror unit. By canceling it, it is possible to prevent with a high degree of certainty that it is used for purposes other than the purpose of reflecting the user's appearance. In addition, within a range that does not deviate from the conditions for stopping display, the user can change the position of the camera and the line-of-sight direction and check the desired part of himself/herself from the front view.
＜第１実施例＞
図１は、本発明が適用された姿見装置の構成例を表すブロック図である。
この実施例の姿見装置は、それぞれ独立した筐体を備えるミラーユニット１と撮影ユニット２とを主要構成とする。他の無線通信機器に頼らずに双方向通信を行うことができるように、ミラーユニット１にＷｉ－Ｆｉダイレクト方式の通信処理部１２が設けられ、撮影ユニット２にＷｉ－Ｆｉ方式の通信処理部２２が設けられている。
<First embodiment>
FIG. 1 is a block diagram showing a configuration example of a full-length mirror device to which the present invention is applied.
The full-length mirror apparatus of this embodiment mainly comprises a
ミラーユニット１の筐体には、通信処理部１２のほか、動画表示用の表示部１０，制御部１１，人感センサ１３，処理完了を報知する音や警告音を出力するためのスピーカー１４，表示部１０の通電／非通電を切り替えるための切替えスイッチ１５などが設けられる。なお、制御部１１でも表示部１０の通電／非通電を切り替えることができる。
In addition to the
表示部１０は、利用者の少なくとも頭部全体に対向させることができる大きさ（１５インチ以上の大きさであることが望ましい。）の表示パネルであって、その画面をミラーユニット１の前面に臨ませて配備される。また表示部１０の画面にはハーフミラーフィルムが貼られており、切替えスイッチ１５によって表示部１０が非通電状態になったとき、またはミラーユニット１の主電源がオフになったときには、表示部１０を普通の鏡として機能させることができる。
The
人感センサ１３は人体からの赤外線を検出するセンサであって、ミラーユニット１の前面の表示部１０の周辺適所に検出面を臨ませて配備される。
The
制御部１１は、専用のプログラムが組み込まれたコンピュータであって、通信処理部１２を介して撮影ユニット２と通信を行うことで動画像や検出データを取得する機能や、人感センサ１３により得た検出値に基づき自装置の正面の所定範囲にヒトがいるか否かを判別する機能や、その判別結果や撮影ユニット２から得た検出データに基づき表示部１０の表示動作を制御する機能などが設けられる。
The
撮影ユニット２の筐体には、通信処理部２２のほか、動画撮影用のカメラ２０，制御部２１，加速度センサ２３，角速度センサ２４，距離センサ２５，撮影範囲の確認用の表示部２６，倍率等を調整するための操作部２７などが設けられる。
In addition to the
加速度センサ２３は前後・左右・上下の３軸の加速度を検出する機能を有し、角速度センサ２４も上記３軸の角速度を検出する機能を有する。距離センサ２５はレーザまたは超音波を使用する測距センサであって、撮影ユニット２の前方にある物体（具体的にはミラーユニット１を想定する。）との距離を測定する目的に使用される。
なお、加速度センサ２３，角速度センサ２４については、両者の機能を合わせ持つ一体型のセンサを使用することもできる。
The
As for the
制御部２１も専用のプログラムが組み込まれたコンピュータであって、上記の各センサ２３，２４，２５による検出値を一定の単位時間ごとにサンプリングしてそれらの検出値を所定の形式の検出データにまとめる機能や、カメラ２０の撮影動作を制御する機能や、通信処理部２２を介してミラーユニット１と通信を行うことで動画像や検出データをリアルタイムにミラーユニット１に送信する機能を有する。
The
上記の検出データには、加速度センサ２３により検出された３軸の加速度の組み合わせ（以下、「加速度データ」という。）、角速度センサ２４により検出された３軸の回転角度の組み合わせ（以下、「回転角度データ」という。）、および距離センサ２５の検出値が示す距離データが含まれる。
The above detection data includes a combination of three-axis acceleration detected by the acceleration sensor 23 (hereinafter referred to as "acceleration data"), and a combination of three-axis rotation angles detected by the angular velocity sensor 24 (hereinafter referred to as "rotational data"). angle data”), and distance data indicated by the detection value of the
さらに撮影ユニット２には筐体を所定の高さ位置で支える支持部材（図示せず。）が含まれている。この支持部材の設置位置や筐体の支持位置の高さを変更することによって、撮影ユニット２の空間位置を変更することができる。また支持部材と撮影ユニット２の連結部を回動させることによって、撮影ユニット２の向きも自由に変更することができる。
Further, the photographing
図２は、ミラーユニット１に対する撮影ユニット２の相対位置および視線方向の例を俯瞰する説明図である。この図では、撮影ユニット２の配置例を６通り示すと共に、点Ｑ１～Ｑ６により各例の撮影ユニット２のカメラ２０の位置を表し、矢印ｆ１～ｆ６により各例の撮影ユニット２のカメラ２０の視線方向を表している。
なお、以下の説明では、ミラーユニット１に近づく方向を前方と表現し、ミラーユニット１から遠ざかる方向を後方と表現する（図２中の右手の矢印を参照。）。
FIG. 2 is an explanatory diagram for bird's-eye view of an example of the relative position and line-of-sight direction of the photographing
In the following description, the direction toward the
この実施例では、ミラーユニット１は設置された場所から動かず、そのミラーユニット１に利用者が正対していると想定して、あらかじめ定めた範囲内で撮影ユニット２の位置を自由に変更して撮影を行い、その撮影により生成された動画像をミラーユニット１に表示する。
In this embodiment, assuming that the
具体的にこの実施例では、ミラーユニット１の前面に対向する範囲のうちミラーユニット１から所定距離Ｌ１だけ離れた位置からミラーユニット１までの空間を、利用者が表示部１０の画面を見るために利用する空間（利用空間）とし、この利用空間内の後部に利用者が位置すると仮定している。そして、利用者の身体が入ると想定した範囲の中心位置（図２中で点Ｐにより表す位置）より後方の空間（利用空間に入る部分を除く。）に撮影ユニット２を設置可能な領域（図中のドットパターンを付した領域）を設定する。以下、この領域を「撮影可能領域」という。
Specifically, in this embodiment, the user can view the screen of the
図２中の点Ｑ１，Ｑ２の位置およびｆ１，ｆ２の方向により示すように、撮影ユニット２が利用空間に視線方向を向けて撮影可能領域内に配置されている場合には、ミラーユニット１の表示部１０にはカメラ２０により生成されてミラーユニット２に送信された動画像が表示される。しかし、カメラ２０の視線がミラーユニット１の正面にいる利用者を撮影するのに適した方向から大きくずれた（たとえば図２中のＱ３，Ｑ４の位置でｆ３，ｆ４で示す方向に向けられた）場合や、撮影ユニット２が撮影可能領域の外（たとえば図２中の点Ｑ５，Ｑ６の位置）に出た場合には、動画像の表示は中止される。
As indicated by the positions of points Q1 and Q2 and the directions of f1 and f2 in FIG. A moving image generated by the
図２の例から明らかなように、利用者に撮影するのに適したカメラ２０の視線方向は撮影ユニット２の位置によって変動する。したがって、上述した表示制御を可能にするためには、撮影ユニット２からの加速度データおよび角速度データに基づきカメラ２０の位置や向きを認識する処理のほか、カメラ２０の位置の変化に応じて視線方向の適正範囲を変更し、その範囲に実際の視線方向が含まれるか否かを判別する必要がある。
As is clear from the example of FIG. 2, the line-of-sight direction of the
図３は、動画像の表示を開始する条件が整ったときの撮影ユニット２とミラーユニット１との関係と共に、カメラ２０の位置や向きを判別するためにミラーユニット１の制御部１１に登録される情報を表したものである。
FIG. 3 shows the relationship between the photographing
この実施例で撮影可能領域を具体的に定める主要な設定データは、ミラーユニット１から撮影可能領域の前端位置までの距離Ｌ０，ミラーユニット１から利用空間の後端位置までの距離Ｌ１，ミラーユニット１から撮影可能領域の後端位置までの距離Ｌ２，利用空間の幅Ｗ１，撮影可能領域の幅中心線から左右の境界位置までの距離Ｗ２，および撮影可能領域の高さ範囲を決めるデータ（後述する基準座標系の原点から撮影可能領域の上下の境界位置までの距離）である。これらの設定データはミラーユニット１の制御部１１に登録される。
In this embodiment, the main setting data that specifically determine the photographable area are the distance L0 from the
Ｗ１以外の設定データは、ミラーユニット１に対して利用者や撮影ユニット２が取り得る位置関係を想定して定められるが、最も大きいＬ２でも２ｍ前後の値までに収まると予想される。
Setting data other than W1 are determined by assuming possible positional relationships between the user and the photographing
図３中の点Ａ，Ｂの位置に示すように、この実施例では、ミラーユニット１の表示部１０の幅中央部にカメラ２０が正対するように撮影ユニット２の位置や向きを調整する。そして、この調整が完了したときの撮影ユニット２からミラーユニット１までの距離Ｌ（撮影ユニット２の距離センサによる検出値）に基づき以後のカメラ２０の位置および向きを判別するための基準座標系を設定する。以下、この設定処理を「カメラ合わせ」という。
As indicated by points A and B in FIG. 3, in this embodiment, the position and orientation of the photographing
図４は、カメラ合わせの作業のためにミラーユニット１の表示部１０に表示されるガイダンス画面の変遷例を表したものである。図４（Ａ）はカメラ合わせが開始されたときに表示される画面の例であって、複数の色彩で着色された図柄（図では色彩をドットや線画のパターンに置き換えて示す。）の組み合わせによる特徴パターンＰＴを含む矩形枠ＷＤと、この枠ＷＤにカメラ２０の視野を合わせるように促すメッセージとが含まれている。ミラーユニット１の制御部１１は、この画面の表示を続けながら、撮影ユニット２から受信する毎時の画像を上記の枠内の画像と照合する処理（パターンマッチング）を繰り返す。
FIG. 4 shows an example of transition of the guidance screen displayed on the
利用者がメッセージに従って特徴パターンＰＴを含む枠ＷＤ（以下、「特徴パターン枠ＷＤ」という。）がカメラ２０の視野に十分な大きさをもって入るように撮影ユニット２の位置および向きを合わせると、そのときのカメラ２０により生成された画像を受信したミラーユニット１の制御部１１において、表示中の特徴パターン枠ＷＤに適合する領域が検出される。制御部１１は、この適合領域があらかじめ定めた以上の大きさをもって上下・左右の各方向に偏りなく現れている画像が得られたことをもって、カメラ合わせが完了したと判断する。
When the user follows the message and adjusts the position and orientation of the photographing
再び図３を参照する。
ミラーユニット１の制御部１１は、パターンマッチングに成功したときのマッチング対象の画像と同時期に撮影ユニット２から送信された距離データの値を前述の距離Ｌとして認識し、この距離Ｌに該当する位置から撮影可能領域の後端位置までの距離（Ｌ２―Ｌ）を基準座標系におけるカメラ２０のｙ座標（前後方向における位置を表す座標）とする。また、基準座標系におけるカメラ２０のｘ座標（左右方向における位置）およびｚ座標（高さ方向における位置）の値を０とし、基準座標系の各軸に対するカメラ２０の回転角度もそれぞれ０度とする。
Refer to FIG. 3 again.
The
上記の設定によれば、撮影可能領域の後端中央部に基準座標系の原点Ｏが設定されることになるが、その原点Ｏの実際の位置や基準座標系の各軸の方向は、パターンマッチングに成功したときの撮影ユニット２の位置や姿勢によって変動することになる。その変動によって、ミラーユニット１と撮影可能領域との相対位置関係も変動するから、図示のように撮影ユニット２や撮影可能領域をミラーユニット１に幅中心位置でぴったりと合わせることは困難である。上下方向における撮影ユニット２および撮影可能領域とミラーユニット１との位置関係も同様に変動する。
According to the above settings, the origin O of the reference coordinate system is set at the center of the rear end of the photographable area. It varies depending on the position and posture of the photographing
しかし、特徴パターン枠ＷＤへの適合領域が十分な大きさをもって上下・左右ともに偏りなく現れる画像を得るには、撮影ユニット２のカメラ２０の視線を表示部１０の中央部付近にまっすぐに合わせることが必要である。それならば、上記のカメラ合わせにより設定された基準座標系や撮影可能領域が図３に示した位置や範囲から大きくずれることはない。また利用者のみを撮影する目的による撮影可能領域が広範な範囲に設定されることもないから、撮影可能領域が理想的な範囲から多少ずれても上記の目的による撮影に支障が生じる可能性はきわめて低い。
However, in order to obtain an image in which the suitable area for the characteristic pattern frame WD has a sufficient size and appears evenly in the vertical and horizontal directions, the line of sight of the
したがって、カメラ合わせが完了したときの撮影ユニット２のカメラ２０がミラーユニット１の中心軸の延長線上に位置し、カメラ２０の視線がミラーユニット１の画面に直交する方向に向けられていると仮定して、以後の加速度データや角速度データから撮影ユニット２の位置や視線方向を認識しても、大きな誤認が生じるおそれはない。
Therefore, it is assumed that the
また、撮影ユニット２を特定の場所に厳密に位置合わせしたり、視線方向を厳密に合わせる作業をせずに、カメラ２０の位置や視線方向を認識するための基準座標系を設定して表示制御を開始することができるので、利用者に大きな負荷をかけることもない。
In addition, display control is performed by setting a reference coordinate system for recognizing the position and line-of-sight direction of the
この実施例では、カメラ合わせの際には、図３中の点Ａの位置のような撮影可能領域より前方の利用空間内に撮影ユニット２を配置してもよいとしている。ただし、撮影可能領域より前方の位置でカメラ合わせが完了した場合には、ミラーユニット１の表示部１０に、図４（Ｂ）に示すようなガイダンス画面を表示することによって、撮影ユニット２の撮影可能領域への移動が必要であることが利用者に報知される。
In this embodiment, during camera alignment, the photographing
一方、この実施例では撮影可能領域より後方の位置でのカメラ合わせは認められず、ミラーユニット１と撮影ユニット２との距離Ｌが距離Ｌ２を上回った場合にはミラーユニット１の表示部１０に図４（Ｃ）で示すようなガイダンス画面を表示することによって、撮影ユニット２の前方に移動させることを利用者に促すようにしている。
On the other hand, in this embodiment, camera alignment at a position behind the photographable area is not permitted, and when the distance L between the
図４（Ｂ）（Ｃ）の画面では、ミラーユニット１や撮影可能領域との関係を表すマップ画像と共に撮影ユニット２の現在位置を表すマークＭ（丸印）が表示される。よって、利用者は撮影ユニット２を設置すべき場所を容易に判断して必要な作業を行うことができる。
On the screens of FIGS. 4B and 4C, a map image representing the relationship between the
カメラ合わせが完了した後のミラーユニット１の制御部１１では、動画像と共に撮影ユニット２から送信される加速度データおよび角速度データに基づき基準座標系におけるカメラ２０の位置を表す座標や基準座標系に対するカメラ２０の回転角度を求める演算を開始する。さらに制御部１１は、それらの値が適正範囲から逸脱していないかどうかを判定する。
After the camera alignment is completed, the
以下、基準座標系の座標で表されるカメラ２０の位置を「カメラ位置」といい、基準座標系の各座標軸に対するカメラ２０の対応する座標軸の回転角度をθｘ，θｙ，θｚとする。
回転角度θｘは垂直方向に対するカメラ２０の傾きの度合い（カメラが上向き姿勢または下向き姿勢になっているときの傾きの度合い）を表し、回転角度θｙはカメラ２０が横向き・縦向きのどちらの姿勢をとるかやその姿勢による視野の傾きの度合いを表す。回転角度θｚはカメラ２０がミラーユニット１に正対しているときの視線方向（基準座標系のｙ軸に沿う方向。以下、この方向を「基準の視線方向」という。）に対する実際の視線方向の水平面内における角度差に相当する。
Hereinafter, the position of the
The rotation angle θx represents the degree of inclination of the
この実施例では、０°の位置から時計回り方向を正の方向、反時計回り方向を負の方向として、上記の回転角度θｘ，θｙ，θｚがそれぞれ－１８０°～＋１８０°の範囲で変動し得ると考えている。 In this embodiment, the rotation angles θx, θy, and θz vary in the range of −180° to +180°, with the clockwise direction from the 0° position as the positive direction and the counterclockwise direction as the negative direction. I think I will get
図５は、カメラ合わせが完了した後のカメラ位置やカメラ２０の向きの適否を判断するためにミラーユニット１の制御部１１において実行される処理（以下、「カメラ位置・向きの判定処理」という。）の手順を示す。
FIG. 5 shows the processing executed in the
まず制御部１１は、最新のカメラ位置を表す座標を撮影可能領域の各境界位置の座標と照合して、カメラ位置が撮影可能領域内にあるかどうかをチェックする（ステップＳ１）。カメラ位置が撮影可能領域に含まれていることを確認できたとき（ステップＳ１が「ＹＥＳ」）は、制御部１１は、ｘ軸周りの回転角度θｘおよびｙ軸周りの回転角度θｙの値をチェックする（ステップＳ２）。θｘおよびθｙの値が共に適正範囲内であることを確認できた場合（ステップＳ２が「ＹＥＳ」）には、最も重要なｚ軸周りの回転角度θｚの適否を判断するために以下のステップＳ３およびＳ４を実行する。
First, the
ステップＳ３では、現在のカメラ位置において利用者を撮影するのに適した視線方向（以下「目標方向」という。）を表すベクトルを求め、このベクトルが基準の視線方向（基準座標系のｙ軸に沿う方向）に対してなす角度φを算出する。なお、この角度φも、０°の位置から時計回り方向を正の方向、反時計回り方向を負の方向として、＋または－の符号付きの数値として導出される。 In step S3, a vector representing the line-of-sight direction suitable for photographing the user at the current camera position (hereinafter referred to as the "target direction") is obtained, and this vector is aligned with the reference line-of-sight direction (the y-axis of the reference coordinate system). The angle φ to be formed with respect to the direction along) is calculated. This angle φ is also derived as a numerical value with a sign of + or -, with the clockwise direction from the position of 0° as the positive direction and the counterclockwise direction as the negative direction.
ステップＳ４では、算出された角度φとカメラ２０のｚ軸まわりの回転角度θｚとの差の絶対値｜φ－θｚ｜を求め、この値をあらかじめ定めた上限値Δｚと比較し、｜φ－θｚ｜がΔｚ以下であれば（ステップＳ４が「ＹＥＳ」）、判定結果を「ＯＫ」とする（ステップＳ５）。この「ＯＫ」判定によって、カメラ位置およびカメラの向きともに適正であると判断されたことになる。
In step S4, the absolute value |φ-θz| of the difference between the calculated angle φ and the rotation angle θz about the z-axis of the
一方、｜φ－θｚ｜の値がΔｚより大きい場合（ステップＳ４が「ＮＯ」）、カメラ位置が撮影可能領域に入っていなかった場合（ステップＳ１が「ＮＯ」）、または回転角度θｘもしくはθｙの値が適正範囲に入っていなかった場合（ステップＳ２が「ＮＯ」）には、制御部１１は判定結果を「ＮＧ」とする（ステップＳ６）。この「ＮＧ」判定は、カメラ位置またはカメラの向きが適正でないことを表すものとなる。
On the other hand, if the value |φ−θz| is not within the proper range ("NO" in step S2), the
ここで、図６を参照して上記ステップＳ３の演算やステップＳ４の照合処理の趣旨について補足する。
図６は、カメラ合わせ後の撮影ユニット２の配置例と共に上記の角度φ，θｚを表したものである。図中の点Ｐは、先の図２および図３で示したのと同じく、利用者の身体に対応する範囲の中心位置を表す。点Ｑはカメラ位置を表し、ｆは回転角度θｚにより定まるカメラ２０の視線方向を表す。
Here, with reference to FIG. 6, the purpose of the calculation in step S3 and the matching process in step S4 will be supplemented.
FIG. 6 shows an arrangement example of the photographing
カメラ位置・向きの判定処理のステップＳ３では、点Ｐが点Ｑと同じ高さにあるものとして、点Ｑから点Ｐに向かうベクトルＱＰにより目標方向を特定する。そして、このベクトルＱＰが基準の視線方向を表すベクトルｆ０（点Ｑから基準座標系のｙ軸方向に沿って延びるベクトル）に対してなす角度を算出し、これを角度φとする。 In step S3 of the camera position/orientation determination process, the target direction is specified by the vector QP directed from the point Q to the point P assuming that the point P is at the same height as the point Q. FIG. Then, the angle formed by this vector QP with respect to the vector f0 representing the reference line-of-sight direction (the vector extending from the point Q along the y-axis direction of the reference coordinate system) is calculated and defined as the angle φ.
角度φは、カメラ２０が現在のカメラ位置で基準の視線方向ｆ０に向けられていると仮定した場合にその視線方向を目標方向（ベクトルＱＰ）に変更するために必要なｚ軸周りの回転角度に相当する。したがって、撮影ユニット２の実際のｚ軸周りの回転角度θｚと角度φとの差の絶対値｜φ－θｚ｜を算出することによって、目標方向に対する実際の視線方向のずれ角度を求めることができる。
The angle φ is the rotation angle around the z-axis required to change the line-of-sight direction to the target direction (vector QP), assuming that the
図６の例の目標方向のベクトルＱＰや実際の視線方向ｆは、いずれも基準の視線方向ｆ０からみて負の方向に回転しているため、φおよびθｚに付される符号はともに－（マイナス）であり、｜φ－θｚ｜の値は｜φ｜と｜θｚ｜との差の絶対値となる。一方、図６にｆａで示すように、視線方向が基準の視線方向ｆ０から見て正の方向に回転してθｚに付される符号が＋（プラス）になった場合には、｜φ－θｚ｜の値は｜φ｜と｜θｚ｜とを加算した値となる。点Ｑが撮影可能領域の幅中心線より左側にあってφが正の値をとる場合も同様に、θｚが正の値であればφとθｚとの差の絶対値が｜φ－θｚ｜となり、θｚが負の値であればφとθｚの絶対値とを加算した値が｜φ－θｚ｜となる。 Both the target direction vector QP and the actual line-of-sight direction f in the example of FIG. 6 rotate in the negative direction when viewed from the reference line-of-sight direction f0. ), and the value of |φ−θz| is the absolute value of the difference between |φ| and |θz|. On the other hand, as indicated by fa in FIG. 6, when the line-of-sight direction rotates in the positive direction with respect to the reference line-of-sight direction f0 and the sign attached to θz becomes + (plus), |φ− The value of θz| is the sum of |φ| and |θz|. Similarly, when the point Q is on the left side of the width center line of the imageable area and φ takes a positive value, if θz is a positive value, the absolute value of the difference between φ and θz is |φ−θz| If θz is a negative value, the sum of φ and the absolute value of θz is |φ−θz|.
したがって、視線方向がいずれの方向に向けられても、｜φ－θｚ｜は目標方向と実際の視線方向とがなす角度、言い換えれば目標方向に対する実際の視線方向のずれ角度を表すことになる。つまり、実際の視線方向が目標方向に近づくほど｜φ－θｚ｜の値は小さくなり、実際の視線方向が目標方向から遠ざかるほど｜φ－θｚ｜の値は大きくなるから、利用者を撮影可能な範囲で目標方向に対する視線方向のずれ角度の許容範囲を定め、この許容範囲の上限値をΔｚとしてステップＳ４の判定を行うことによって、カメラ２０の視線方向の適否を判断することができる。
Therefore, |φ-θz| represents the angle formed by the target direction and the actual line-of-sight direction, in other words, the deviation angle of the actual line-of-sight direction from the target direction, regardless of which direction the line-of-sight direction is directed. That is, the closer the actual line-of-sight direction is to the target direction, the smaller the value of |φ-θz|. By determining the permissible range of the deviation angle of the line-of-sight direction with respect to the target direction within a range of .DELTA.z, and making the determination in step S4 with the upper limit of this permissible range as .DELTA.z, it is possible to determine whether the line-of-sight direction of the
カメラの視線方向はθｚだけでなく、θｘによっても上下方向における変動が生じる。しかし、視線方向が斜め上または斜め下に変更されると、利用者を正しく撮影できなくなるおそれがあり、その変更が不正な目的で行われるおそれもある。また、カメラ位置の高さの変更をある程度まで許容すれば、視線方向を斜め上や斜め下に向けなくとも目的の場所を撮影することができる。これらの点をふまえてこの実施例では、θｘの許容値を±１０°程度までにとどめ、カメラ位置が変動しても許容値の変更はせずに、ステップＳ２の判定を行うようにしている。 The line-of-sight direction of the camera fluctuates in the vertical direction not only by θz but also by θx. However, if the line-of-sight direction is changed to obliquely upward or obliquely downward, there is a risk that the user cannot be photographed correctly, and there is also a possibility that the change is made for an illegal purpose. Also, if the height of the camera position is allowed to change to some extent, it is possible to photograph the target location without directing the line of sight obliquely upward or obliquely downward. Based on these points, in this embodiment, the allowable value of θx is limited to about ±10°, and even if the camera position fluctuates, the allowable value is not changed and the determination in step S2 is performed. .
θｙについては、姿勢（横向き・縦向き）の切替えで大きく変動する可能性をふまえ、視野が明らかに斜め向きになっているといえる範囲以外の角度範囲を適正範囲とし、θｘと同様に、カメラ位置に関わらず、一定の適正範囲を適用してステップＳ２の判定を行っている。 As for θy, considering the possibility of large fluctuations due to switching of orientation (horizontal/vertical), an angle range other than the range in which the field of view is clearly oblique is set as an appropriate range. Regardless of the position, the determination in step S2 is performed by applying a certain appropriate range.
図７は、カメラ合わせの際にミラーユニット１の制御部１１により実行される処理の手順を示し、図８は、カメラ合わせの完了に応じてミラーユニット１の制御部１１により実行される表示制御の手順を示す。いずれの処理にも図５に示したカメラ位置・向きの判定処理が含まれている。
FIG. 7 shows the procedure of processing executed by the
まず図７のカメラ合わせの制御について説明する。
ミラーユニット１の制御部１１は、自装置の人感センサ１３によりヒト（利用者）が検出され、撮影ユニット２の接続が検出されたことを確認すると（ステップＳ１１，Ｓ１２が「ＹＥＳ」）、撮影ユニット２に動画像や検出データの送信を許可し、それらの受信を開始する（ステップＳ１３）。つぎに制御部１１は、表示部１０が通電状態であることを確認してから、図４（Ａ）に例示した特徴パターン枠ＷＤを含むガイダンス画面を表示部１０に表示し（ステップＳ１４，Ｓ１５）、撮影ユニット２から受信する画像に対するパターンマッチングを開始する（ステップＳ１６）。
First, control of camera alignment in FIG. 7 will be described.
When the
制御部１１がガイダンス画面の表示を続けながら、撮影ユニット２から受信する画像に対するパターンマッチングを繰り返す間に利用者が撮影ユニット２を前述した条件を満たす場所に設置したことにより、特徴パターン枠ＷＤへの適合領域が検出されると、制御部１１は連続する所定数以上のフレームでその検出状態が維持されたことをもってパターンマッチングに成功したと判定（ステップＳ１７が「ＹＥＳ」）し、ステップＳ２１に進む。ステップＳ２１では、マッチングの対象となった画像とほぼ同時期に受信した距離データの値を自装置と撮影ユニット２との距離Ｌとして認識する。
While the
上記の距離Ｌが図３に示した距離Ｌ２以下の値であれば（ステップＳ２２が「ＹＥＳ」）、制御部１１は、カメラ位置に初期値（０，Ｌ２－Ｌ，０）を設定し（ステップＳ２３）、基準座標系の各軸に対するカメラ２０の回転角度を０度に設定する（ステップＳ２４）。これらの設定完了に応じて制御部１１は、撮影ユニット１からの検出データに基づきカメラ位置および回転角度を求める処理を開始する（ステップＳ２５）。
If the distance L is equal to or less than the distance L2 shown in FIG. 3 (“YES” in step S22), the
一方、撮影ユニット２が撮影対象領域より後方に置かれて拡大撮影がされたことによりマッチングに成功した場合には、距離ＬがＬ２を上回ってステップＳ２２が「ＮＯ」となる。制御部１１は、この「ＮＯ」判定を受けてステップＳ３４に進み、スピーカー１４から所定長さの警告音を出力すると共に、図４（Ｃ）に示したガイダンス画面を表示する。さらにこの表示から数秒後に、再び特徴パターン枠ＷＤを含む画面に表示を切り替え、パターンマッチングを再開する（ステップＳ３５）。
On the other hand, if the matching is successful because the photographing
パターンマッチングの再開後、利用者がガイダンスに従って撮影可能領域の後端位置より前に撮影ユニット２を移動させ、再び特徴パターン枠ＷＤがカメラ２０の視野に適正に入るように調整すれば、ステップＳ１７の「ＹＥＳ」判定に応じて再び取得した距離ＬがＬ２以下となり、ステップＳ２２からステップＳ２３，Ｓ２４，Ｓ２５へと処理を進めることができる。
After resuming pattern matching, the user moves the photographing
ステップＳ２３～Ｓ２５が終了すると、制御部１１は、ステップＳ２１で認識した距離Ｌを距離Ｌ１と比較することにより、カメラ合わせが完了したときのカメラ位置が撮影可能領域に入っているかどうかをチェックする（ステップＳ２６）。図３中の点Ｂで示すような撮影可能領域の幅中央部に相当する位置でカメラ合わせが行われた場合（ステップＳ２６が「ＹＥＳ」）には、制御部１１はステップＳ３２に進んで、前述の警告音とは異なる音域の音によりカメラ合わせが完了したことを通知し、続くステップＳ３３で表示部１０の画面をカメラ２０から受信している動画像を表示する画面に切り替える。
After steps S23 to S25 are completed, the
一方、図３中の点Ａで示すような撮影可能領域より前方の利用空間内の位置でカメラ合わせが行われた場合（ステップＳ２６が「ＮＯ」）には、制御部１１は、警告音を出力すると共に図４（Ｂ）に示したガイダンス画面を表示する（ステップＳ２７）。この画面では、先のステップＳ２５で開始された演算の結果に基づき、カメラ２０の現在位置を表すマークＭを撮影ユニット２の実際の動きに追従させて動かすことができる。よって、動画像を表示させるための条件を理解できていない利用者でも、撮影ユニット２を移動させる必要があることや移動に適した場所を認識することができる。
On the other hand, when camera alignment is performed at a position in the usable space ahead of the photographable area as indicated by point A in FIG. Along with the output, the guidance screen shown in FIG. 4B is displayed (step S27). On this screen, the mark M representing the current position of the
制御部１１は、上記のガイダンス画面の表示から一定時間が経過するまでカメラ位置が変化するかどうかをチェックし（ステップＳ２８，Ｓ２９）、変化が検出されるとカメラ位置・向きの判定処理（図５）を実行する（ステップＳ３０）。ここでＯＫの判定が得られる（ステップＳ３１が「ＹＥＳ」）と、設定完了の通知音の出力（ステップＳ３２）の後に動画像の表示が開始される（ステップＳ３３）。
The
上記のガイダンス画面の表示から一定時間が経過しても撮影ユニット２が撮影可能領域内に動かされなかった場合（ステップＳ２８が「ＹＥＳ」）や、パターンマッチングの開始から同様の一定時間が経過しても特徴パターン枠ＷＤへの対応領域を検出することができなかった場合（ステップＳ１８が「ＹＥＳ」）には、制御部１１は警告音の出力と共にエラーメッセージを含む画面（図示せず。）を表示し（ステップＳ１９）、しかる後に撮影ユニット２との通信の接続を遮断する（ステップＳ２０）。
When the photographing
なお、距離ＬがＬ２より大きかったためにパターンマッチングに戻り、その再開から一定時間が経過してもパターンマッチングが成功しなかった場合にもステップＳ１９，Ｓ２０を実行する。また、図７のフローチャートには表していないが、距離ＬがＬ２以下の状態でパターンマッチングに成功しても、動画像の表示が開始されるより前に撮影ユニット２が動かされた場合には、ステップＳ３４→Ｓ３５→Ｓ１８→Ｓ１７の流れで進んでカメラ合わせ作業をやり直しさせる（ステップＳ２５の処理以前でも撮影ユニット１から受信する距離データや加速度データから撮影ユニット１の移動を判別できるので、ステップＳ２２からステップＳ２３に進む前に撮影ユニット１が動いた場合でも、このやり直しは可能である。）。
Steps S19 and S20 are also executed when pattern matching is resumed because the distance L is greater than L2 and the pattern matching is not successful even after a certain period of time has passed since the restart. Although not shown in the flowchart of FIG. 7, even if the pattern matching is successful when the distance L is L2 or less, if the photographing
撮影可能領域より前の位置でカメラ合わせが行われた場合でも、カメラ合わせが完了したときのカメラ２０は表示部１０の方に向けられており、撮影の対象は撮影ユニット２から表示部１０までの範囲にとどめられるので、警告処理（図７中のステップＳ２６およびＳ２７）は必ずしも必要ではなく、撮影可能領域内でカメラ合わせが行われた場合と同様に動画像の表示を開始してもよい。そのようにしても、利用者が利用空間に入るために撮影ユニット２を動かせば、その動きに応じてカメラ位置・向きの判定処理が行われ、撮影ユニット２が撮影可能領域より外に動かされた場合やカメラ２０の向きが適合範囲に入っていない場合には動画像の表示が中止されるので、不正目的に利用されるおそれはない。
Even when the camera is adjusted at a position before the photographable area, the
図８に示す画像表示制御は、上記カメラ合わせの制御のステップＳ３３で動画像の表示が開始されたことに続くもので、まず、撮影ユニット２の検出データから導出されるカメラ位置および回転角度の変化、人感センサ１３によるヒト検出結果、ならびに表示部１０の通電状態を確認する処置が行われる（ステップＳ５１，Ｓ５２，Ｓ５３）。カメラ位置や回転角度に大きな変化がなく、ヒトの検出や表示部１０の通電状態も継続されている間は、Ｓ５１～Ｓ５３のループが繰り返されることによって、撮影ユニット２から送信される動画像の表示部１０への表示が続けられる。
The image display control shown in FIG. 8 follows the start of the moving image display in step S33 of the camera alignment control. A measure for confirming the change, the human detection result by the
利用者が撮影ユニット２を動かしたことに伴ってカメラ位置または回転角度に変化が生じた場合（ステップＳ５１が「ＹＥＳ」）には、制御部１１は、カメラ位置・向きの判定処理（図５）を実行する（ステップＳ５４）。ここでＯＫの判定結果が得られた場合（ステップＳ５５が「ＹＥＳ」）には、制御部１１はステップＳ５１～Ｓ５３のループに戻ることによって動画像の表示を継続する。一方、カメラ位置・向きの判定結果がＮＧとなった場合（ステップＳ５５が「ＮＯ」）には、制御部１１はスピーカー１４から警告音を出力すると共に動画像の表示を中止する（ステップＳ５６）。
If the camera position or rotation angle changes as a result of the user moving the photographing unit 2 ("YES" in step S51), the
動画像の表示中止から一定の時間が経過するまでは、撮影ユニット２が再び動かされたことに応じてカメラ位置・向きの判定処理を実行する（ステップＳ５７，Ｓ５８，Ｓ５９）。この判定処理でＯＫの判定結果が得られた場合（ステップＳ６０が「ＹＥＳ」）には、制御部１１は人感センサ１３によりヒトが検出されているかどうかを確認し（ステップＳ６１）、検出されていると確認できたことをもって動画像の表示を再開する（ステップＳ７０）。
Until a certain period of time has passed since the display of the moving image was stopped, the camera position/orientation determination processing is executed in response to the movement of the photographing
カメラ位置や回転角度に変化がなくとも、利用者が利用空間から離れて人感センサ１３によるヒトの検出ができなくなった場合（ステップＳ５２が「ＮＯ」）には、制御部１１は表示部１０への動画像の表示を中止する（ステップＳ６２）。この場合も、一定の時間が経過するまでの間に再びヒトが検出される状態になると（ステップＳ６３が「ＮＯ」かつステップＳ６４が「ＹＥＳ」）、制御部１１は、カメラ位置・向きの判定処理を行い（ステップＳ６５）、そこでＯＫの判定結果が得られたときは動画像の表示を再開する（ステップＳ６６，Ｓ７０）。
Even if there is no change in the camera position or rotation angle, if the user leaves the space and the
なお、ステップＳ６５での判定結果がＮＧとなった場合には、ステップＳ６６からステップＳ５７～Ｓ６０のループに移行する。またステップＳ５７～Ｓ６０のループ中のカメラ位置・向きの判定処理でＯＫの判定を得た後のステップＳ６１でヒトが検出されなかった場合には、ステップＳ６３～Ｓ６４のループに移行する。 If the determination result in step S65 is NG, the process shifts from step S66 to a loop of steps S57 to S60. Also, if a human is not detected in step S61 after an OK determination is obtained in the camera position/orientation determination processing in the loop of steps S57-S60, the loop of steps S63-S64 is performed.
動画像の表示中止から一定の時間が経過しても、カメラ２０が動かされることがなかった場合や、動かされてもカメラ位置・向きの判定結果がＯＫにならなかった場合には、ステップＳ５７が「ＹＥＳ」となり、人感センサ１３が一定時間以内にヒトを検出できなかった場合にはステップＳ６３が「ＹＥＳ」となる。これらの「ＹＥＳ」判定をした場合の制御部１１は、ステップＳ７１に進んで撮影ユニット２との通信を遮断し、処理を終了する。
If the
表示部１０が通電状態から非通電状態に変化した場合（ステップＳ５３が「ＮＯ」）には、制御部１１はあらかじめ定めた長さの待機期間が経過するまで待機する。この待機期間が経過しても表示部１０が通電状態に戻らなかった場合（ステップＳ６７が「ＹＥＳ」）にも、制御部１１はステップＳ７１に進んで撮影ユニット２との通信を遮断し、処理を終了する。一方、待機期間が経過するまで撮影ユニット２が動かされることなく表示部１０が通電状態に戻った場合には、ステップＳ６７が「ＮＯ」、ステップＳ６８が「ＹＥＳ」、ステップＳ６９が「ＮＯ」となってステップＳ６１に進む。このステップＳ６１で人感センサ１３によりヒトが検出されていることが確認できれば、ステップＳ７０に進むことによって、動画像の表示が再開される。
When the
表示部１０が非通電状態になっている間に撮影ユニット２が動かされ、その後待機期間が経過する前に表示部１０が通電状態に戻った場合には、ステップＳ６７が「ＮＯ」の後にステップＳ６８およびＳ６９が「ＹＥＳ」となってステップＳ５９に進むことによって、カメラ位置・向きの判定処理を実行する。この判定結果がＯＫとなれば、制御部１１は人感センサ１３によりヒトが検出されていることを条件に動画像の表示を再開する（ステップＳ６０，Ｓ６１，Ｓ７０）。判定結果がＮＧであった場合には動画像の表示は再開されないが、一定時間が経過するまでステップＳ５７～６０のループが続けられるので、カメラ２０の位置や視線方向が条件に適合する状態になり、ヒトが検出されていれば、動画像の表示を再開することができる。なお、表示部１０が非通電状態の間に撮影ユニット２が動かされた場合には、待機期間が満了するのを待たずにカメラ位置・向きの判定処理を実行し、その結果をもって通電状態に復帰したときの対応を決定してもよい。
If the photographing
図７および図８には示していないが、ステップＳ５１，Ｓ５２，Ｓ５３のループ以外の箇所で表示部１０の非通電状態が検出された場合も、ステップＳ５３が「ＮＯ」となった場合と同様の手順が実行される。また図７のカメラ合わせ時制御の開始時に表示部１０が非通電状態で（ステップＳ１４が「ＮＯ」）、ある程度の時間まで待機しても切替えスイッチ１５が操作されない場合には、制御部１１によって表示部１０が通電状態に切り替えられる。一連の処理を実行している間に撮影ユニット２と通信ができなくなった場合には、制御部１１は表示部１０を非通電状態にして処理を終了する。
Although not shown in FIGS. 7 and 8, when the non-energized state of the
ここまでに説明した設定処理や制御によって、この実施例でミラーユニット１が外部から受信して表示できる画像は、ミラーユニット１の正面の利用空間に向けられている撮影ユニット２からの画像のみに限定される。よって、本実施例の姿見装置を利用者が自身の姿を確認すること以外の目的に使用することは極めて困難になり、盗撮などの不正行為に利用されることを高い確度で防ぐことができる。
Due to the setting processing and control described so far, the image that the
利用者は、ミラーユニット１の表示部１０に表示されたガイダンス画面の特徴パターン枠ＷＤにカメラ２０の視野を合わせるという簡単な作業によりカメラ合わせを完了させた後、撮影ユニット２０を適所に配置して利用空間に入ることによって、通常の鏡には映せない方向から自身を見た様子を表した動画像を見ることができる。先に述べたとおり、カメラ合わせの作業で撮影ユニット２の位置や向きを厳密に定める必要はなく、その後の撮影ユニット２の位置や向きも表示の条件を満たす範囲で自由に変更することができる。また、カメラ２０の視野内の特徴パターン枠ＷＤを大きくするためにカメラ２０の倍率を上げ、カメラ合わせ完了後に利用者を撮影するのに適した倍率に変更するなど、倍率の変更も自由にできる。
The user completes the camera alignment by a simple task of aligning the field of view of the
＜第１実施例の変形例＞
上記の実施例では、撮影ユニット２は動画像や検出データをミラーユニット１に送る処理を行うだけであったが、これに限らず、表示制御のための演算や判定に関わる機能を撮影ユニット２に設けることもできる。たとえば、カメラ位置や回転角度を求める演算を撮影ユニット２の制御部２１で行って、その演算結果を検出データとしてミラーユニット１に送信することもできる。
<Modified example of the first embodiment>
In the above-described embodiment, the
カメラ位置や回転角度を求める演算を撮影ユニット２で行う場合には、カメラ２０の位置や向きが適正範囲に入っているかどうかの判定処理まで撮影ユニット２で行い、その判定結果を検出データとしてミラーユニット１に送信するようにしてもよい。その場合のミラーユニット１はカメラ合わせの完了に応じて動画像の表示を開始した後に、撮影ユニット２から「ＯＫ」の判定が送信されている間は動画像の表示を維持し、「ＮＧ」の判定結果を受信したときに動画像の表示を中止する。
When the
撮影ユニット２での判定処理も先の図５に示したのと同様の手順で実施することができる。ただし、この判定処理を行うにはミラーユニット１でカメラ合わせが完了して動画像の表示を開始できるようになったとき以降のカメラ位置を基準座標系の座標により特定する必要がある。そのためには、ミラーユニット１が撮影ユニット２からの動画像を表示できる状態になったときに、撮影ユニット２に、カメラ位置を特定して判定処理を開始することを要請するために、所定のフォーマットによる通知（コマンド）を送信する必要がある。
Judgment processing in the photographing
カメラ２０の位置や向きの判定処理を撮影ユニット２で行う場合には、ＮＧ判定がされた場合にのみ、その判定結果をミラーユニット１に送信し、それを受けたミラーユニット１が動画像の表示を中止する、という方法を採用してもよい。
When the position and orientation of the
カメラ合わせにおいて距離Ｌを適正範囲と比較する処理の主体もミラーユニット１に限らず、撮影ユニット２で比較処理まで行って、その結果を示すデータをミラーユニット１に送信してもよい。たとえば、上記の実施例のように、距離Ｌを大小２つの許容値Ｌ１，Ｌ２と比較する場合には、撮影ユニット２における比較結果がＬ１≦Ｌ≦Ｌ２のときには「０」を、Ｌ＜Ｌ１のときには「１」を、Ｌ＞Ｌ２のときには「２」を、それぞれ検出データに含めてミラーユニット１に送信すれば、ミラーユニット１は受信した数値によって撮影ユニット２の位置の適否を判断することができる。
In camera alignment, the subject of the process of comparing the distance L with the appropriate range is not limited to the
＜第２実施例＞
第１実施例やその変形例は、カメラ２０の位置または視線方向があらかじめ定めた条件から逸脱しても、撮影ユニット２からの動画像の送信自体は規制されず、ミラーユニット１において動画像の表示を中止するものであった。しかし、これに限らず、撮影ユニット２においてカメラの位置や視線方向の判定処理を行い、位置または向きが適正範囲から逸脱したと判定したときにミラーユニット１への動画像の送信を中止する方法によっても、定められた条件から逸脱した撮影による動画像が表示部１０に表示されるのを防ぐことができる。
<Second embodiment>
In the first embodiment and its modifications, even if the position or line-of-sight direction of the
以下、第２実施例として、撮影ユニット２でカメラ位置・向きの判定処置を行い、その判定結果がＮＧのときに撮影ユニット２からミラーユニット１への動画像の送信を中止する場合の各ユニット１，２の処理について詳細に説明する。なお、第２実施例もハードウェア構成は第１実施例と同じであるので、引き続き図１に示した符号を使用する。
In the following, as a second embodiment, each unit in the case where camera position/orientation judgment processing is performed in the photographing
第２実施例で撮影ユニット２からミラーユニット１に送信されるのは通常は動画像だけであり、センサ２３，２４，２５により検出された加速度、角速度、距離の各データは全て撮影ユニット２の制御部２１により処理される。
In the second embodiment, only the moving image is normally transmitted from the photographing
利用空間や撮影可能領域の設定データやガイダンス画面も第１実施例と同じ（図３，図４参照。）とする。ただし、第２実施例では、利用空間や撮影可能領域の設定データは撮影ユニット２の制御部２１に登録される。
The setting data of the usable space and the photographable area and the guidance screen are also the same as in the first embodiment (see FIGS. 3 and 4). However, in the second embodiment, the setting data of the usable space and the photographable area are registered in the
図９は第２実施例のミラーユニット１でカメラ合わせの際に実施される処理の手順を表し、図１０はカメラ合わせの完了後のミラーユニット１で実施される表示制御の手順を表すものである。図１１は、ミラーユニット１からのカメラ合わせが完了した旨の通知（以下では「カメラ合わせ完了通知」という。）を受けた撮影ユニット２において実施される送信制御の手順を表したものである。
FIG. 9 shows the procedure of processing carried out in the
まず、図９または図１０と図１１とを並列で参照しながら各ユニット１，２の処理の流れについて説明する。
第２実施例のカメラ合わせも、第１実施例と同様に、表示部１０に特徴パターン枠ＷＤを含むガイダンス画面（図４（Ａ）参照。）を表示しつつ、撮影ユニット２から当該特徴パターンを含む動画像をミラーユニット１に送信できるように撮影ユニット２の位置や向きを調整する方法により行われる。ミラーユニット１における処理でも、パターンマッチングの終了までは図７（第１実施例）のステップＳ１１～１８と同様の流れで進行する（ステップＳ１０１～Ｓ１０８）。また、一定時間が経過してもパターンマッチングに成功しなかった場合にも、図７のステップＳ１９、Ｓ２０と同様の処理が実行される（ステップＳ１０９，Ｓ１１０）。
First, referring to FIG. 9 or FIG. 10 and FIG. 11 in parallel, the processing flow of each
In the camera alignment of the second embodiment, similarly to the first embodiment, while the guidance screen (see FIG. 4A) including the characteristic pattern frame WD is displayed on the
パターンマッチングに成功すると、ミラーユニット１の制御部１１から撮影ユニット２に、あらかじめ定めたフォーマットに基づくカメラ合わせ完了通知が送信される（ステップＳ１０７，Ｓ１１１）。送信後は、あらかじめ定めた一定の時間が経過または撮影ユニット２から何らかの送信を受けるまで、ステップＳ１１２→Ｓ１１３→Ｓ１１４→Ｓ１１６→Ｓ１１２の判定ループで待機する。
When the pattern matching is successful, a camera matching completion notification based on a predetermined format is transmitted from the
撮影ユニット２では、ミラーユニット１からの上記の通知を受けて図１１の処理を開始し、まず、距離センサ２５により検出された最新の距離の値をミラーユニット１からカメラ２０までの距離Ｌとして、この距離ＬをＬ２（ミラーユニット１から撮影可能領域の後端位置までの距離）と比較する（ステップＳ２０１）。
Upon receiving the above notification from the
上記の距離ＬがＬ２以下であれば（ステップＳ２０１が「ＹＥＳ」）、撮影ユニット２の制御部２１は、カメラ位置の初期値を（０，Ｌ２－Ｌ，０）に設定する処理（ステップＳ２０２）と基準の座標系に対する回転角度θｘ，θｙ，θｚに初期値の０を設置する処理（ステップＳ２０３）とを実行する。これらは、第１実施例のカメラ合わせ時にミラーユニット１の制御部１１で実施された処理（図７のステップＳ２３，Ｓ２４）と同内容であって、これらの設定によって、現在のカメラ２０の位置および姿勢に基づき基準座標系および撮影可能領域が定められる。
If the distance L is equal to or less than L2 ("YES" in step S201), the
つぎに撮影ユニット２の制御部２１は前出の距離ＬをＬ１と比較する。カメラ合わせ作業で撮影ユニット２が撮影可能領域に配置されていた場合には、ステップＳ２０４が「ＹＥＳ」となってステップＳ２０６に進み、ミラーユニット１に動画像の表示を許可する通知が送信される、この送信を受けたミラーユニット１では、ステップＳ１１６が「ＹＥＳ」となり、設定完了の通知音の出力（ステップＳ１１７）を行った後に、表示部１０への動画像の表示を開始し（ステップＳ１１８）、図１０の画像表示制御へと進む。
Next, the
図１０の画像表示制御では、動画像の受信が続いていること（ステップＳ１５１が「ＹＥＳ」）、人感センサ１３によるヒトの検出が続いていること（ステップＳ１５２が「ＹＥＳ」）、および表示部１０の通電状態が続いていること（ステップＳ１５３が「ＹＥＳ」）を確認しながら、表示部１０への動画像の表示を継続する。
In the image display control of FIG. 10, the reception of moving images continues ("YES" in step S151), the detection of humans by the
撮影ユニット２では、動画像の表示許可通知の送信（図１１のステップＳ２０６）の後は、カメラ２０の位置や回転角度に変化が生じていないことや、ミラーユニット１への接続が維持されていることを確認しながら、ミラーユニット１への動画像の送信を続ける（ステップＳ２０７～２０８）。所定の時点でカメラ２０の位置または回転角度の変化を検出すると（ステップＳ２０７が「ＹＥＳ」、撮影ユニット２の制御部２１はステップＳ２０９に進んでカメラ位置・向きの判定処理（詳細手順は図５と同じ。）を実行する。この判定結果が「ＯＫ」であれば（ステップＳ２１０が「ＹＥＳ」）、ステップＳ２１１を介してステップＳ２０７～Ｓ２０８のループに戻ることにより、撮影ユニット２からの動画像の送信が続けられる。よって、ミラーユニット１の画像表示制御もステップＳ１５１～Ｓ１５３のループから動かず、受信した動画像の表示が続けられる。
In the photographing
一方、撮影ユニット２のステップＳ２０９での判定結果が「ＮＧ」であった場合（ステップＳ２１０が「ＮＯ」）には、制御部２１はミラーユニット１への動画像の送信を中止する（ステップＳ２１２）。これを受けたミラーユニット１でも、ステップ１５１が「ＮＯ」となってステップＳ１５４に進み、警告音を出力すると共に、動画像が消えた画面にエラーメッセージを表示する。
On the other hand, if the determination result in step S209 of the photographing
上記の警告音やエラーメッセージを受けて利用者が再び撮影ユニット２を動かすと、撮影ユニット２ではステップＳ２１４が「ＹＥＳ」となってステップＳ２１５に進み、再度、カメラ位置・向きの判定処理が行われる。ここで「ＯＫ」の判定が出ると（ステップＳ２１６が「ＹＥＳ」）、ミラーユニット１への動画像の送信が再開される（ステップＳ２１８。）。ミラーユニット１では、送信再開によってステップＳ１５６が「ＹＥＳ」となると、人感センサ１３によりヒトが検出されていることを確認した上で、動画像の表示を再開する（ステップＳ１５７，Ｓ１６５）。
When the user moves the photographing
一方、動画像の送信中止から一定時間が経過しても、撮影ユニット２が動かされなかった場合、または動かされたがカメラ位置・向きの判定で「ＯＫ」判定が得られなかった場合には、撮影ユニット２側の制御のステップＳ２１３が「ＹＥＳ」となり、ミラーユニット１との接続が遮断され（ステップＳ２１７）、撮影ユニット２の処理は終了する。ミラーユニット１でも、動画像の送信中止から一定時間が経過したこと（ステップＳ１５５が「ＹＥＳ」）をもって、同様に処理を終了する。
On the other hand, if the
撮影ユニット２の位置や向きに不備がなく、動画像の送信が続いている場合でも、ミラーユニット１において人感センサ１３によりヒトを検出できなくなった場合（ステップＳ１５２が「ＮＯ」）には、ミラーユニット１の制御部１１は、警告音を出力して動画像の表示を中止する（ステップＳ１５８）。それから一定時間が経過するまでにヒトを検出できる状態に戻り（ステップＳ１５９が「ＮＯ」かつステップＳ１６０が「ＹＥＳ」）、撮影ユニット２からの動画像の受信が続いている（ステップＳ１６１が「ＹＥＳ」）場合には、制御部１１はステップ１６５に進んで動画像の表示を再開する。
Even if the position and orientation of the photographing
しかし、一定時間が経過してもヒトを検出することができなかった場合（ステップＳ１５９が「ＹＥＳ」）には、制御部１１はステップＳ１６６に進んで撮影ユニット２との接続を遮断し、処理を終了する。
動画像の受信やヒトの検出が続いている状態下で表示部１０が通電状態から非通電状態になり（ステップＳ１５３が「ＮＯ」）、あらかじめ定めた待機時間が経過しても表示部１０が通電状態に復帰しなかった場合（ステップＳ１６２が「ＹＥＳ」）にも、制御部１１はステップＳ１６６に進んで撮影ユニット２との接続を遮断し、処理を終了する。
撮影ユニット２でも、ミラーユニット１から接続を切られたことによりステップＳ２０８が「ＮＯ」となり、その判定をもって処理を終了する。
However, if a person could not be detected even after a predetermined period of time has elapsed ("YES" in step S159), the
The
In the photographing
ミラーユニット１において、表示部１０が非通電状態になった後に待機時間以内に通電状態に復帰した場合（ステップＳ１６２が「ＮＯ」かつステップＳ１６３が「ＹＥＳ」）には、制御部１１は動画像を受信中であるか否かをチェックし（ステップＳ１６４）、受信中であればステップＳ１６４からステップＳ１５７に進むことによって、利用者が検出されていることを条件に動画像の表示を再開する（ステップＳ１６５）。表示部１０が通電状態に復帰するまでの間に撮影ユニット２が動かされて動画像の送信が中止されていた場合（ステップＳ１６４が「ＮＯ」）には、制御部１１はステップＳ１５４に進んで警告音の出力とエラーメッセージの表示を行う。この後、一定時間以内に動画像の受信が再開されるとステップＳ１５７に進み、再開されなければ処理終了となる。
In the
カメラ合わせ時の処理の説明に戻る。
撮影ユニット２が撮影可能領域より前方の位置（たとえば図３中の点Ａの位置）に配置されてカメラ合わせが行われた場合でも、パターンマッチングの成功に応じてミラーユニット１から撮影ユニット２にカメラ合わせ完了通知が送信され（図９のステップＳ１１１）、図１１の撮影ユニット２側の制御でもステップＳ２０１～Ｓ２０４の流れで処理が進行する。しかし、このとき距離センサ２５により検出された距離ＬはＬ１より小さくなるため、ステップＳ２０４は「ＮＯ」となり、ミラーユニット１に対し、動画像の表示をせずに待機することを要請する通知（以下「待機要請通知」という。）が送信される（ステップＳ２０５）。
Let us return to the explanation of the processing at the time of camera alignment.
Even if camera alignment is performed with the photographing
ミラーユニット１では、待機要請通知を受けたことにより、ステップＳ１１２～Ｓ１１６のループ中のステップＳ１１４が「ＹＥＳ」となってステップＳ１１５に進む。このステップＳ１１５では、警告音の送信と共に図４（Ｂ）と同内容のガイダンス画面により、作業者に撮影ユニット２を後退させる必要があることが報知される。
In the
撮影ユニット２では、待機要請通知を送信した場合には動画像の表示許可通知（ステップＳ２０６）をスキップしてステップＳ２０７～Ｓ２０８のループに進む。
利用者が上記の報知に従って撮影ユニット２を撮影可能領域内に移動させると、撮影ユニット２の制御ではステップＳ２０７からステップＳ２０９に進んでカメラ位置・向きの判定処理を行う。ここで「ＯＫ」判定が得られたら、ステップＳ２１０が「ＹＥＳ」となり、続いて表示許可通知を送信済みか否かの判定（ステップＳ２１１）が「ＮＯ」となってステップＳ２０６に進み、ミラーユニット１に動画像の表示許可通知が送信される。この通知を受けたミラーユニット１ではステップＳ１１６が「ＹＥＳ」となってステップＳ１１７およびＳ１１８が実行される。
In the photographing
When the user moves the photographing
かくして、撮影可能領域より前方でカメラ合わせが行われた場合でも、パターンマッチングの成功後に撮影ユニット２を撮影可能領域に入れることによって、ミラーユニット１での動画像の表示を開始することができる。ただし、この実施例でも、撮影可能領域より前方でのカメラ合わせを許容することとして、動画像の表示を開始してから撮影ユニット２の後退を求める方法をとることもできる。
Thus, even when camera alignment is performed in front of the photographable area, moving image display on the
カメラ合わせ作業で撮影可能領域より後方の位置（たとえば図３中の点Ｂの位置）に撮影ユニット２が配置されたために距離ＬがＬ２を上回った場合でも、パターンマッチングに成功すると、ミラーユニット１から撮影ユニット２にカメラ合わせの完了通知が送信される（ステップＳ１１１）。しかし、撮影ユニット２では、当該通知に応じて開始した送信制御の最初のステップＳ２０１が「ＮＯ」となってステップＳ２１９に進み、ミラーユニット１にエラー通知が送信される。この通知をもって撮影ユニット２の送信制御は終了となる。
Even if the distance L exceeds L2 because the photographing
エラー通知を受けたミラーユニット１では、ステップＳ１１１の通知後のループＳ１１２～Ｓ１１６の中のステップＳ１１３が「ＹＥＳ」となる。この「ＹＥＳ」判定に応じて制御部１１はステップＳ１１９に進み、スピーカー１４からの警告音の出力と図４（Ｃ）のガイダンス画面の表示を行い、その表示を数秒後に再び特徴パターン枠ＷＤを含む画面に切り替えてパターンマッチングを再開する（ステップＳ１２０）。
In the
利用者がステップＳ１１９での報知に従って撮影ユニット２を前進させた後にパターンマッチングに成功すると、その成功に応じてミラーユニット１から撮影ユニット２にカメラ合わせ完了通知が再送信される（ステップＳ１０７，１１１）。この通知に応じて撮影ユニット２が再び図１１の制御を開始すると、今度はステップＳ２０１が「ＹＥＳ」となるので、ステップＳ２０２以下の手順が順調に進むことによって、ミラーユニット１に表示許可通知が送信され（ステップＳ２０６）、ミラーユニット１での動画像の表示を開始することができる。
When the user succeeds in pattern matching after moving the photographing
ミラーユニット１において、カメラ合わせ完了通知の送信から一定時間が経過しても撮影ユニット２から何の送信も得られなかった場合（ステップＳ１１２が「ＹＥＳ」）には、ステップＳ１０９，Ｓ１１０を実行して処理終了となる。
In the
なお、第２実施例では、撮影ユニット２からミラーユニット１に通常に送信されるのは動画像のみであるが、待機要請通知やエラー通知には、その通知の時点のカメラ位置が含まれる。また待機要請通知を送信した場合には、その通知から動画像の表示許可通知を送信するまでの間、毎時のカメラ位置がミラーユニット１に送信される。よって、ミラーユニット１において待機要請通知やエラー通知に応じて表示されるガイダンス画面でも、図４（Ｂ）（Ｃ）の例示どおり、カメラ２０の現在位置を示すマークＭを表示することができる。ただし、第２実施例でも、撮影ユニット２からミラーユニット１に、常時、カメラ位置や回転角度を表すデータを送信し、ミラーユニット１においてもカメラ２０の位置や向きの適否を判定し、位置または向きが適正でないと判定された場合には、撮影ユニット２から動画像の送信が行われていても、動画像の表示を中止するようにしてもよい。
In the second embodiment, only moving images are normally transmitted from the photographing
また、第２実施例では、ミラーユニット１からのカメラ合わせ完了通知に対し、撮影ユニット２においてカメラ合わせ時のカメラ位置が撮影可能領域に入っていることを確認してミラーユニット１に表示許可通知を送信し、その通知の受信をもってミラーユニット１での動画像の表示を開始しているが、表示許可通知を出さずに、ミラーユニット１でカメラ合わせ完了通知の直前または直後に動画像の表示を開始してもよい。そうすると、カメラ合わせが撮影可能領域より前方の位置で行われた場合でも動画像の表示が開始されるが、その開始の時点のカメラ２０は表示部１０の方に向けられているので、撮影の対象は撮影ユニット２から表示部１０までの範囲にとどめられる。また利用者が利用空間に入るために撮影ユニット２を動かせば、その動きに応じてカメラ位置・向きの判定処理が行われ、カメラ位置が撮影可能領域に入っていない場合や、カメラ２０の向きが適合範囲に入っていない場合には動画像の表示が中止されるので、不正目的に利用されるおそれもない。
Further, in the second embodiment, in response to the camera alignment completion notification from the
なお、第１および第２の実施例の各種フローチャートに記載した「一定の時間」は全て同一の長さの時間を意味するのではなく、それぞれの時点の処理の趣旨に照らして適当な長さとして定めた時間を意味するものである。また、いずれの実施例も、各センサ２３，２４，２５による検出値から十分な信頼度を持つ位置データや角度データが得られることを前提としている。
It should be noted that the "fixed period of time" described in the various flowcharts of the first and second embodiments does not all mean the same length of time, but an appropriate length in light of the purpose of the processing at each point in time. It means the time defined as In any embodiment, it is assumed that position data and angle data with sufficient reliability can be obtained from the detection values of the
以下、本発明にかかるその他の実施形態を簡単に説明する。
＜カメラ合わせについて＞
第１および第２の実施例では、パターンマッチングに成功したときに撮影ユニット２の距離センサ２５により検出された距離Ｌが適正範囲に入っていることを条件として、撮影ユニット２からの動画像の表示を開始したが、この条件を設けずにパターンマッチングの成功に応じて常に動画像の表示を開始してもよい。その場合でも、たとえば、両ユニット間の距離の適正範囲をカメラ合わせの際に必須の条件として利用者に教示し、カメラ合わせが完了した後の撮影ユニット２の前後の移動量の許容範囲をごく小さくし、許容範囲を超える移動が生じたときは動画像の表示または送信を中止することによって、撮影ユニット２が適切な場所に配置されるように促すことができる。
Other embodiments of the present invention will be briefly described below.
<About camera alignment>
In the first and second embodiments, on the condition that the distance L detected by the
距離Ｌが適正範囲に入っていることを動画像の表示の開始条件に加える場合でも、Ｌ＜Ｌ１のときとＬ＞Ｌ２のときとで取り扱いを異ならせるのではなく、アルゴリズムを統一してもよい。たとえば、パターンマッチングには成功したがＬ＜Ｌ１またはＬ＞Ｌ２となったときは、撮影ユニット２の前進または後退を求める情報を表示して待機し、カメラ位置が撮影可能領域に入ったことが確認できれば動画像の表示を開始するようにしてもよい。または、距離Ｌが適正範囲に入るまでパターンマッチングの画面の表示と画像の照合処理を続け、Ｌ１≦Ｌ≦Ｌ２の状態でパターンマッチングに成功したことをもって動画像の表示を開始するようにしてもよい。
後者の方法をとる場合も、パターンマッチングの画面の適所に撮影ユニット２の前進または後退を求める情報を表示するとよい。ただし、撮影ユニット２の前進または後退を求める処理は、表示に代えて、音声出力により行うこともできる。
Even if the condition that the distance L is within the appropriate range is added to the starting condition for displaying the moving image, the algorithm may be unified instead of different handling depending on the case of L<L1 and L>L2. good. For example, when the pattern matching is successful but L<L1 or L>L2, information requesting forward or backward movement of the photographing
In the case of the latter method, it is preferable to display the information requesting forward movement or backward movement of the photographing
あらかじめ定めた許容範囲を逸脱しないことを条件として、距離Ｌの適正範囲をユーザが具体的な数値入力により登録できるようにしてもよい。または、設定モードに切り替えてカメラ合わせを行い、そのカメラ合わせが完了したときの距離センサ２５の検出値を中心とする一定の数値範囲を適正範囲として登録することもできる。
The user may be able to register the appropriate range of the distance L by inputting specific numerical values on the condition that it does not deviate from a predetermined allowable range. Alternatively, it is also possible to switch to the setting mode, perform camera alignment, and register a certain numerical range around the detection value of the
カメラ合わせが完了しているかどうかの判断は、パターンマッチングに限らず、他の方法を採用することもできる。
たとえば、ミラーユニット１の表示部１０の中央部に文字画像を表示し、これを撮影した撮影ユニット２が画像に対する文字認識処理を行って、認識した文字情報をミラーユニット１に送信し、この文字情報が表示中の画像の文字に整合したことをもってカメラ合わせが完了したと判断することができる。また文字画像に代えて所定のコードが埋め込まれた２次元コード（またはバーコードでもよい。）を表示し、これを撮影した撮影ユニット２でコードの読み取り処理を行って読み取ったコードをミラーユニット１に送信し、そのコードが表示中の２次元コードに整合したことをもってカメラ合わせが完了したと判断することもできる。
Determination as to whether or not camera alignment is completed is not limited to pattern matching, and other methods can also be adopted.
For example, a character image is displayed in the central portion of the
ただし、文字画像や２次元コードを用いたカメラ合わせを行う場合には、撮影ユニット２のカメラ２０の視線が表示部１０の中央部から大きくずれないような工夫をする必要がある。たとえば、撮影ユニット２の表示部１０に上下・左右のバランスをとって位置合わせ用の枠を表示すると共に、その枠に対応する範囲のみを文字認識や２次元コードの検出の対象領域とすれば、文字画像や２次元コードが枠内に入るように撮影ユニット２を調整することによって、カメラ２０の視線をミラーユニット１の中央部付近に合わせることができる。ミラーユニット１でも、文字画像や２次元コードの表示領域をできるだけ大きくするのが望ましい。
However, when performing camera alignment using a character image or a two-dimensional code, it is necessary to devise measures so that the line of sight of the
いずれの方法を採用する場合も、カメラ合わせのために表示部１０に表示される情報は１つに限らず、表示される情報を変動させるのが望ましい。たとえば、パターンマッチングによりカメラ合わせを行う場合には、ミラーユニット１の制御部１１に特徴パターンの画像を複数種登録しておき、カメラ合わせのガイダンス画面を表示する際に、それら複数種の画像のうちの１つを抽選により選択して表示することができる。文字画像や２次元コードによるカメラ合わせを行う場合にも、対象となる文字列やコードをランダムに生成し、生成された情報に基づく画面を表示することができる。１回分のカメラ合わせにおいても、複数の情報を順に表示し、それら全てに適合する情報を撮影ユニット２から送信することをカメラ合わせの完了の条件にしてもよい。
Regardless of which method is adopted, the information displayed on the
文字画像や２次元コードなどのコード画像を用いたカメラ合わせを行う場合には、各ユニット１，２に起動直後から動画像の送受信を行わせるのではなく、カメラ合わせが完了したことに応じてミラーユニット１から撮影ユニット２にカメラ合わせ完了通知を送信し、この通知を受けたことに応じて撮影ユニット２からミラーユニット１への動画像の送信を開始する仕様にすることもできる。
When performing camera alignment using a code image such as a character image or a two-dimensional code, each
また、文字画像やコード画像を用いたカメラ合わせを起動直後以外でも随時実行できるようにするために、ミラーユニット１に、カメラ合わせ用の画面を表示するタイミングに合わせて撮影ユニット２に文字またはコードの読取り処理を指示するコマンドを送信させるとよい。ただしこれに限らず、撮影ユニット２に文字画像や２次元コードを自動検出して読取り処理を開始する機能を設けることによっても、ミラーユニット１でカメラ合わせ用の画面が表示されたときに撮影ユニット２を速やかに追随させることができる。
In addition, in order to be able to perform camera alignment using a character image or code image at any time other than immediately after startup, a character or code image is input to the photographing
いずれの方法でカメラ合わせを行う場合でも、起動後のミラーユニット１がカメラ合わせのための画面を表示するタイミングは、撮影ユニット２との通信が開始されてからに限らず、通信が開始される前であってもよいし、通信は開始されたが動画像の受信が開始される前であってもよい。これらの場合、ミラーユニット１が、撮影ユニット２が接続されるまで、または所定長さの待機時間が経過するまで、カメラ合わせのための画面の表示を維持すれば、撮影ユニット２の側の準備が整い次第、カメラ合わせの処理を開始することができる。
Regardless of which method is used to perform camera alignment, the timing at which the
＜カメラの位置・視線方向の適否判定について＞
第１および第２の実施例では、基準座標系の原点Ｏを撮影可能領域の後端中央位置に設定したが、これに限らず、カメラ合わせが完了した時点のカメラ位置を原点としてもよい。この場合には、図３に示した設定によらずに、原点を基準とする距離により撮影可能領域を定めることができる。たとえば、前・後・左・右・上・下の各方向ごとにそれぞれ原点から移動して良い距離を決めておき、カメラ合わせが完了した時点のカメラ位置とそれらの距離とにより撮影可能領域を設定することができる。
<Regarding the adequacy of the camera position and line of sight direction>
In the first and second embodiments, the origin O of the reference coordinate system is set at the center position of the rear end of the photographable area, but the origin is not limited to this, and the camera position at the time when camera alignment is completed may be set as the origin. In this case, the photographable area can be determined based on the distance from the origin without using the settings shown in FIG. For example, by determining the distances that can be moved from the origin for each of the forward/backward/left/right/up/down directions, the shooting area can be determined by the camera position and the distances when camera alignment is completed. can be set.
カメラ２０の視線を合わせるのに適した目標方向は１つに限る必要はない。たとえば、利用空間に複数の目標点を設定し、現在のカメラ位置からそれぞれの目標点に向かう方向を目標方向として、目標方向ごとに実際のカメラ２０の視線方向のずれ角度｜φ－θｚ｜を求め、それらを個別に上限値と照合した結果を総合して視線方向の適否を判定することができる。
There is no need to limit the number of suitable target directions for matching the line of sight of the
カメラ２０の視線方向の目標方向に対するずれ角度｜φ－θｚ｜と比較される上限値Δｚも１つに限らず、カメラ位置によってΔｚの値を変動させてもよい。
たとえば、図３に示した撮影可能領域の場合、基準のｙ軸を中心とする所定範囲（利用者の真後ろに相当する範囲）にカメラ位置が入っているときには、それより外側の範囲にカメラ位置が入っているときよりΔｚの値を大きくしてもよい。
The upper limit value Δz to be compared with the deviation angle |φ−θz| of the line-of-sight direction of the
For example, in the case of the photographable area shown in FIG. 3, when the camera position is within a predetermined range centered on the reference y-axis (the range corresponding to directly behind the user), the camera position is within the outer range. The value of Δz may be larger than when
撮影可能領域の幅中央部から離れた範囲については、目標方向に対するカメラ２０の実際の視線方向の回転方向によっても上限値Δｚの値を変動させることができる。
たとえば、利用空間に対向する範囲（図３中の基準のｙ軸から左右方向に（Ｗ１／２）ずつ離れる位置を両端とする範囲）より右手側にカメラ位置があるときには、視線方向が目標方向に対して時計回り（正の方向）に回転しているときのΔｚより目標方向に対して反時計回りに（負の方向）に回転しているときのΔｚの方に大きな値を設定する。利用空間に対向する範囲より左手側の範囲にカメラ位置があるときには、上記とは反対に、視線方向が目標方向に対して反時計回りに回転しているときのΔｚより目標方向に対して時計回り方向に回転しているときのΔｚに大きな値を設定する。
For the range away from the width center of the photographable area, the value of the upper limit value Δz can also be changed according to the rotation direction of the actual line-of-sight direction of the
For example, when the camera position is on the right side of the range facing the available space (the range with both ends separated by (W1/2) in the horizontal direction from the reference y-axis in FIG. 3), the line-of-sight direction is the target direction. A larger value is set for Δz when rotating counterclockwise (negative direction) with respect to the target direction than Δz when rotating clockwise (positive direction) with respect to the target direction. When the camera position is in the range on the left-hand side of the range facing the usable space, contrary to the above, the line-of-sight direction rotates clockwise with respect to the target direction from Δz when the line-of-sight direction rotates counterclockwise with respect to the target direction. A large value is set to Δz when rotating in the circumferential direction.
カメラ２０の視線方向の目標方向に対するずれ角度｜φ－θｚ｜を上限値Δｚと比較する方法に代えて、カメラ２０の視線方向を表すベクトルｆが基準のｙ軸の方に向かっているか否かによって、視線方向の適否を判定してもよい。
具体的には、ベクトルｆが基準のｙ軸に向かっていない場合には、ＮＧ（カメラ２０の視線方向は不適）の判定結果を出す。さらに、ベクトルｆが基準のｙ軸の方に向かっている場合には、両者の交点の座標を求めて、その座標が適正範囲（利用者が入ると想定される範囲）に含まれているときはＯＫの判定を出し、交点の座標が適正範囲から逸脱している場合はＮＧの判定を出す。
Instead of comparing the deviation angle |φ-θz| of the line-of-sight direction of the
Specifically, when the vector f is not directed to the reference y-axis, a determination result of NG (the line-of-sight direction of the
姿見装置としての性能はやや劣るものになるが、ミラーユニット１と撮影ユニット２との間の距離の適正範囲を利用者を撮影するのに必要な最小限度の大きさに制限し、カメラ合わせの後のカメラ位置や視線方向の大幅な変更を許容しないようにすれば、センサ２３，２４により検出される加速度や角速度、またはそれらを用いた演算により求めた各座標軸毎の移動量や回転角度があらかじめ定めた許容値を上回ったことをもってＮＧ判定を出す、という単純な方法を採用してもよい。また、カメラ位置の変化の判別については、カメラ合わせ完了後の距離センサ２５により得られる距離データを利用してもよい。
Although the performance as a full-length mirror device is somewhat inferior, the appropriate range of the distance between the
判定処理を簡易にする場合でも、撮影ユニット２の位置の変化に応じて視線方向の適正範囲をある程度まで変更できるようにするために、図１２に示すような判定処理を採用することもできる。
この判定処理は、カメラ合わせが完了したときのカメラ位置を基準位置（原点）とし、センサ２３，２４により検出された加速度データおよび角速度データを用いてカメラ位置および回転角度を求める演算と共に、繰り返し実行される。この判定処理もミラーユニット１，撮影ユニット２のいずれでも実施することができ、ＮＧ判定が出た場合は、ミラーユニット１での動画像の表示または撮影ユニット２からの動画像の送信が中止される。
Even if the determination process is simplified, the determination process as shown in FIG. 12 can be adopted so that the proper range of the line-of-sight direction can be changed to some extent according to the change in the position of the photographing
This determination process is performed repeatedly with the calculation of the camera position and rotation angle using the acceleration data and angular velocity data detected by the
以下、図１２を参照して、この実施例の判定処理の流れを説明する。
なお、この実施例でも、回転角度θｘ，θｙ，θｚは、カメラ合わせが完了した時点では０°であるものとし、その後の時計回り方向の回転角度がプラスの値により表され、反時計回り方向の回転角度がマイナスの値により表されるものとする。
The flow of determination processing in this embodiment will be described below with reference to FIG.
In this embodiment as well, the rotation angles θx, θy, and θz are assumed to be 0° when camera alignment is completed. shall be represented by a negative value.
まず、上記の基準位置に対する現在のカメラ位置のずれ量が算出され、その値が許容範囲と比較される（ステップＳ３０１，Ｓ３０２）。この比較も、ｘ，ｙ，ｚの軸毎に行われるもので、いずれかの軸におけるずれ量がその軸に設定された許容範囲を超えている場合は、ステップＳ３０２が「ＮＯ」となり、判定結果が「ＮＧ」に設定される（ステップＳ３１０）。 First, the amount of deviation of the current camera position from the reference position is calculated, and the calculated value is compared with the allowable range (steps S301 and S302). This comparison is also performed for each of the x, y, and z axes. If the amount of deviation in any of the axes exceeds the allowable range set for that axis, step S302 becomes "NO" and the determination The result is set to "NG" (step S310).
上記のずれ量が許容範囲に入っている場合（ステップＳ３０２が「ＹＥＳ」）はステップＳ３０３に進み、ｘ軸周りの回転角度θｘおよびｙ軸周りの回転角度θｙをそれぞれの許容範囲と照合する。この実施例のθｘ，θｙの許容範囲も、図５の例の適正範囲と同様の趣旨でカメラ位置にかかわらず一定に設定され、θｘ，θｙのいずれか一方が許容範囲を逸脱していた場合はステップＳ３０３が「ＮＯ」となってステップＳ３１０に進み、「ＮＧ」の判定結果が出される。 If the deviation amount is within the allowable range ("YES" in step S302), the process proceeds to step S303, and the rotation angle θx about the x-axis and the rotation angle θy about the y-axis are compared with their respective allowable ranges. The permissible range of θx and θy in this embodiment is also set constant regardless of the camera position for the same reason as the appropriate range in the example of FIG. , step S303 becomes "NO", and the process advances to step S310 to output a determination result of "NG".
θｘ，θｙがともに許容範囲に入る場合には、ｚ軸周りの回転角度θｚの適否を判定する処理に入る。この実施例では、基準位置に対する現在のカメラ位置のｘ軸におけるずれが左右いずれの方向に生じているかをチェックし（ステップＳ３０４）、その結果に基づき以下のようにθｚの許容範囲を変動させる。 If both .theta.x and .theta.y are within the permissible range, the process of judging whether the rotation angle .theta.z about the z-axis is appropriate is started. In this embodiment, it is checked in which direction the x-axis deviation of the current camera position with respect to the reference position occurs (step S304), and based on the result, the allowable range of θz is changed as follows.
具体的には、現在のカメラ位置のｘ方向におけるずれ量（基準位置とカメラ位置との間の距離）があらかじめ定めたしきい値（たとえば５ｃｍ）以下になる場合は、ずれは生じていないと判定され、正負各方向ともに一定角度δｚまでの数値範囲が許容範囲に設定される（ステップＳ３０５）。カメラ位置が基準位置より左（ｘ軸の負方向）に上記のしきい値を超えて離れた場合には、θｚの許容範囲は正の数値範囲（０°から＋δｚまで）に制限される（ステップＳ３０６）。カメラ位置が基準位置より右（ｘ軸の正方向）に上記のしきい値を超えて離れた場合には、θｚの許容範囲は負の数値範囲（－δｚから０°まで）に制限される（ステップＳ３０７）。 Specifically, if the amount of deviation of the current camera position in the x direction (the distance between the reference position and the camera position) is equal to or less than a predetermined threshold value (for example, 5 cm), it is determined that there is no deviation. A numerical range up to a certain angle δz is set as an allowable range in both the positive and negative directions (step S305). If the camera position is left of the reference position (in the negative direction of the x-axis) beyond the above threshold, the allowable range of θz is limited to a positive numerical range (from 0° to +δz) ( step S306). If the camera position is beyond the above threshold to the right of the reference position (positive direction of the x-axis), the allowable range of θz is limited to a negative numerical range (from -δz to 0°). (Step S307).
このように現在のカメラ位置のｘ座標に応じてθｚの許容範囲が定められた後はステップＳ３０８に進み、当該許容範囲とθｚの現在値とが比較される。ここでθｚが許容範囲に含まれる場合（ステップＳ３０８が「ＹＥＳ」）には、「ＯＫ」の判定が出され（ステップＳ３０９）、θｚが許容範囲から逸脱する場合（ステップＳ３０８が「ＮＯ」）には、「ＮＧ」の判定が出される（ステップＳ３１０）。 After the allowable range of .theta.z is determined according to the x-coordinate of the current camera position, the process advances to step S308 to compare the allowable range with the current value of .theta.z. Here, if θz is within the allowable range (“YES” in step S308), an “OK” determination is made (step S309), and if θz deviates from the allowable range (“NO” in step S308). is judged to be "NG" (step S310).
上記の判定処理によれば、カメラ合わせの完了後に撮影ユニット２が許容範囲を超えて動かされたときや、いずれかの軸方向に許容範囲を超える回転が生じたときは、「ＮＧ」の判定結果を出して、ミラーユニット１への動画像の表示を中止することができる。
According to the determination process described above, when the photographing
また、撮影ユニット２の移動量が許容範囲以内であっても、利用者が撮影ユニット２を左手側に移動させて反時計回り方向に回転させた場合や、撮影ユニット２を右手側に移動させて時計回り方向に回転させた場合は、同様に「ＮＧ」の判定結果を出して、ミラーユニット１への動画像の表示を中止することができる。
Even if the amount of movement of the photographing
なお、θｚの許容範囲の設定方法は上記に限るものではなく、より詳細な設定にすることもできる。たとえば、カメラ位置の右方向へのずれ量を正の数値で表し、左方向のずれ量を負の数値で表すこととして、基準位置に対するカメラ位置のずれの方向およびずれ量を数種類の数値範囲に分類し、各数値範囲にそれぞれ異なる許容範囲を対応づけ、それらの中から現在のカメラ位置に当てはまるものを選択してもよい。その場合は、許容範囲の角度幅は一定として、その範囲が設定される領域をカメラ位置のｘ軸における移動量および移動方向に応じて変動させるようにしてもよい。 It should be noted that the setting method of the allowable range of θz is not limited to the above, and more detailed setting is possible. For example, the amount of deviation of the camera position to the right is represented by a positive number, and the amount of deviation to the left by a negative number. It is also possible to categorize and associate different tolerances with each numerical range and select those that apply to the current camera position. In that case, the angular width of the allowable range may be fixed, and the area in which the range is set may be changed according to the amount and direction of movement of the camera position on the x-axis.
＜動画像の表示・送信の中止制御について＞
図８や図１０に示した画像表示制御では、カメラ位置または回転角度の変化に対するＮＧ判定をうけて動画像の表示を中止した後も、その中止の原因となった変化が一定時間以内に解消されたときは動画像の表示を再開するようにしたが、演算が複雑になるのを避ける目的や演算結果の精度を確保する目的から、動画像の表示中止後は常に再度のカメラ合わせを経て表示を再開する仕様に変更してもよい。図１１の撮影ユニット２の側での送信制御も同様に、動画像の送信を中止した後は、再度のカメラ合わせを完了したミラーユニット１から動画像の表示許可通知を受けたことをもって、動画像の送信を再開する仕様に変更してもよい。
<Regarding stop control of video display/transmission>
In the image display control shown in FIGS. 8 and 10, even after the display of the moving image is stopped due to the NG judgment for the change in the camera position or the rotation angle, the change that caused the stop is resolved within a certain period of time. However, in order to avoid complicating the calculations and to ensure the accuracy of the calculation results, it is necessary to recalibrate the camera after stopping the display of the video. The specification may be changed to restart the display. Similarly, transmission control on the side of the photographing
図１２に示した判定処理を採用する場合も、ＮＧ判定が出た後は、カメラ位置や回転角度の演算結果をリセットし、起動直後のカメラ合わせのモードに戻るのが望ましい。 Even if the determination process shown in FIG. 12 is employed, it is desirable to reset the calculation results of the camera position and rotation angle after an NG determination, and return to the camera adjustment mode immediately after startup.
撮影ユニット２の位置や向きが頻繁に変更されるとカメラ位置や回転角度の演算結果の誤差が大きくなるおそれがある場合には、「ＯＫ」の判定結果が続いていても、それらの値が所定値以上の変化を示した回数が一定値を超えたことをもって、動画像の表示または送信を中止してもよい。その場合も、動画像の表示や送信を再開するには、再度のカメラ合わせを必要とするのが望ましい。
If the position and orientation of the
＜ミラーユニットの変形例＞
ここまではミラーユニット１は設置された場所から動かされないことを前提として説明したが、ミラーユニット１を持ち運び可能な形態にする場合には、ミラーユニット１にも加速度センサや角速度センサを設け、ミラーユニット１の動きによっても動画像の表示を制限するのが望ましい。
<Modified example of mirror unit>
Up to this point, the explanation has been made on the assumption that the
たとえば、第１実施例のミラーユニット１の制御部１１に、動画像が表示されている間にミラーユニット１の動きが検出された場合は、その移動方向や移動量に基づいて基準座標系や撮影可能領域や目標点Ｐを変更すると共に変更後の設定に合うようにカメラ位置や回転角度を補正し、補正後のカメラ位置および回転角度の適否に応じて動画像の表示継続・中止を選択する、という制御を加えることができる。第２実施例でも、ミラーユニット１の動きが検出されたときには、その検出結果を表すデータをミラーユニット１から撮影ユニット２に送信し、撮影ユニット２において上記と同様の補正を行うことができる。
ただし、いずれの実施例でも、ミラーユニット１の移動量や回転角度があらかじめ定めた許容範囲以内であれば、当初の基準座標系を維持し、ミラーユニット１に許容範囲を超える移動や回転が検出されたことをもって、ミラーユニット１の制御部１１が動画像の表示を中止するようにしてもよい。この場合も、動画像の表示を再開するには再度のカメラ合わせが必要とするのが望ましい。
For example, if the
However, in any of the embodiments, if the movement amount and rotation angle of the
利用者を検出する手段は人感センサ１３に限るものではない。たとえば、ミラーユニット１にもカメラを設け、このカメラにより撮影された画像からヒトの顔を検出できたことをもって利用者が利用空間にいると判断してもよい。または、ミラーユニット１の制御部１１に、別のコンピュータにヒトを表す画像の特徴を学習させることにより生成された知識データを導入し、その知識に基づき撮影ユニット２から受信する動画像からヒトを検出する方法によって利用者が利用空間にいるか否かを判別することもできる。
A means for detecting a user is not limited to the
＜汎用機器の応用について＞
種々の変形例も含め、本発明では、スマートフォンなどの汎用のカメラ付き端末装置に専用のプログラムを組み込んだものを撮影ユニット２の本体として使用することができる。 スマートフォンでも、加速度センサや角速度センサは殆どの機種に標準装備されているが、距離センサまで装備されているものは少ない。距離センサについては、その検出値が利用されるのは実質的にカメラ合わせのときのみであることから、ミラーユニット１に距離センサを設けてもよいが、カメラ合わせのための動画像を送信している撮影ユニット２がミラーユニット１から距離Ｌ２以内にいることをより正確に確認するには、撮影ユニット２に距離センサを設ける必要がある。
<Application of general-purpose equipment>
In the present invention, including various modifications, a general-purpose camera-equipped terminal device such as a smart phone in which a dedicated program is installed can be used as the main body of the photographing
距離センサが装備されていない機器を撮影ユニット２の本体として使用する場合には、この本体を支える支持部材のユニットの連結部に距離センサを含む検出ユニットを設け、この検出ユニットと本体とをＵＳＢケーブルまたはブルートゥース（登録商標）等の近距離無線により通信させて本体に距離データを転送することによって、ミラーユニット１に距離データを送信することが可能になる。
When a device not equipped with a distance sensor is used as the main body of the photographing
または、上記の検出ユニットにミラーユニット１との通信機能をもたせ、撮影ユニット２の本体で検出された加速度データや角速度データも検出ユニットを中継してミラーユニット１に送信してもよい。
Alternatively, the detection unit may be provided with a communication function with the
ミラーユニット１に距離センサを設けることを考慮する必要がない場合には、ミラーユニット１についても、汎用のタブレット型端末装置に専用のプログラムを組み込んだものを使用することができる。その場合、タブレット型端末装置に前方撮影用のカメラが組み込まれているならば、人感センサ１３に代えて先に述べた顔検出の方法で利用空間に利用者がいるかどうかを判別することができる。また、この前方撮影用のカメラによる画像に表示を切り替えられるようにすれば、表示部１０にハーフミラーを装着しなくとも利用者の顔を表示することができる。
If it is not necessary to consider providing the
ミラーユニット１は、必ずしも一体型の装置にする必要はなく、制御部１１および通信処理部１２を含む制御装置と表示部１０を含む表示装置との組み合わせにより構成することもできる。その場合の表示装置として、テレビジョンを含む市販のモニタ装置を使用することもできる。
The
＜撮影ユニットの支持部材について＞
上記実施例では、撮影ユニット２は本体（図１の構成が組み込まれる筐体）を支持する支持部材ごと移動させることができるものとしたが、図１３に示すように、撮影ユニット２の本体を支持する支持部材２００に円弧状のレール部材２０１を設けて、本体を保持する保持部材２０２をレール部材２０１により摺動可能に支持すると共に、保持部材２０２が本体が装着されていることを検出する機能を撮影ユニット２の本体または保持部材２０２に付加してもよい。そうすると、レール部材２０１が利用空間の後部の周囲に配置されるように支持部材２００を設置し、保持部材２０２から本体が取り外されたことが検出されたとき、またはカメラ位置に許容範囲を超える変化が生じたときに、動画像の表示または送信を中止することができる。
<Regarding the supporting member of the shooting unit>
In the above embodiment, the photographing
＜その他＞
上記実施例では、ミラーユニット１にＷｉ－Ｆｉダイレクト方式の通信処理部１２を設けることによって、ミラーユニット１と撮影ユニット２との間での通信を行うようにしたが、これに限らず、無線ルータを介して両ユニットを通信させることもできる。また、Ｗｉ－Ｆｉ以外の規格による無線通信を採用することもでき、ケーブルの取り扱いに気をつける必要はあるが、有線通信に変更することも可能である。いずれの通信でもミラーユニット１が主導権を持ち、１つの撮影ユニット２との通信を行っている間は別の撮影ユニット２との通信を行わないようにする必要がある。
<Others>
In the above embodiment, communication between the
撮影ユニット２からミラーユニット１への動画像の送信は、撮影により生成された動画像のファイルを送信する方法に限らず、撮影ユニット２の表示部２６に表示されるモニタ画面の情報を送信する方法（ミラーリング）により行うこともできる。いずれの方法でもストリーミング送信の技術によって、カメラ２０により生成されている動画像を大きく遅延させることなくミラーユニット１に届け、表示することができる。
The transmission of the moving image from the
カメラ合わせや表示制御の際の通知音や警報音に代えて、音声により報知内容を表すメッセージを出力することもできる。また動画像の表示を中止したときは、表示部１０に図４（Ｃ）に例示したのと同種のガイダンス画面を表示することによって、利用者に撮影ユニット２の位置や向きを是正するように促すようにしてもよい。 It is also possible to output a message representing the content of notification by voice instead of the notification sound or warning sound at the time of camera alignment or display control. Further, when the display of the moving image is stopped, a guidance screen similar to that shown in FIG. You can encourage it.
ミラーユニット２には、撮影ユニット２からの動画像を表示する目的だけでなく、撮影ユニット２とは関係のない情報を表示する機能を設けることもできる。たとえば、インターネットに接続可能として、インターネットから取得した天気やニュースなどの情報を表示することができる。
The
１ ミラーユニット
２ 撮影ユニット
１０ 表示部
１１ 制御部
１２ 通信処理部
１３ 人感センサ
２０ カメラ
２１ 制御部
２２ 通信処理部
２３ 加速度センサ
２４ 角速度センサ
２５ 距離センサ
1
Claims (13)
前記撮影ユニットは、前記カメラにより生成された動画像を前記ミラーユニットにリアルタイムに送信する動画像送信手段を備え、
前記ミラーユニットは、前記撮影ユニットと通信できる状態になったことに応じて当該撮影ユニットからその時点で送信可能な情報以外の情報による画面を前記表示部に表示し、表示中の情報に適合する情報を前記撮影ユニットから受信したことを条件として、前記表示部の画面を当該撮影ユニットから受信する動画像の表示に切り替える表示制御手段を具備する、
ことを特徴とする姿見装置。 A photographing unit including a camera for photographing moving images and a mirror unit including a display unit are provided, and communication is possible between the photographing unit and the mirror unit,
The photographing unit includes moving image transmission means for transmitting a moving image generated by the camera to the mirror unit in real time,
When the mirror unit becomes ready to communicate with the photographing unit, the mirror unit displays on the display unit a screen containing information other than the information that can be transmitted from the photographing unit at that time, and matches the displayed information. Display control means for switching the screen of the display unit to display a moving image received from the imaging unit on condition that information is received from the imaging unit;
A full-length mirror device characterized by:
前記ミラーユニットの表示制御手段は、所定の文字またはコードを表すパターンを前記表示部に表示し、表示中のパターンに適合する文字情報またはコード情報を前記撮影ユニットから受信したことを前記の条件として、前記表示部の画面を当該撮影ユニットから受信する動画像の表示に切り替える、請求項１に記載された姿見装置。 When a pattern representing a character or code is photographed by the camera, the photographing unit reads the character or code from the pattern and transmits character information or code information corresponding to the reading result to the mirror unit. comprising pattern recognition means;
The display control means of the mirror unit displays a pattern representing a predetermined character or code on the display unit, and the condition is that character information or code information matching the pattern being displayed is received from the photographing unit. 2. The full-length mirror device according to claim 1, wherein the screen of said display unit is switched to display of moving images received from said photographing unit.
前記撮影ユニットの動画像送信手段は、前記ミラーユニットから上記の通知を受信したことに応じて当該ミラーユニットへの動画像の送信を開始する、
請求項３に記載された姿見装置。 the display control means of the mirror unit includes means for transmitting a notification in a predetermined format to the photographing unit in response to the establishment of the condition;
The moving image transmitting means of the photographing unit starts transmitting the moving image to the mirror unit in response to receiving the notification from the mirror unit.
A full-length mirror device according to claim 3 .
前記ミラーユニットの表示制御手段は、前記撮影ユニットから前記表示部に表示された情報に適合する情報に加えて、前記撮影ユニットと自装置との距離が前記適正範囲に入ることを示す情報または当該適正範囲内の距離を表す情報を受信したことに応じて、前記表示部の画面を当該撮影ユニットから受信する動画像の表示に切り替える、
請求項１に記載された姿見装置。 The photographing unit includes measuring means for measuring the distance between the self apparatus and the mirror unit, and information indicating whether or not the distance measured by the measuring means falls within a predetermined appropriate range or the measured distance. a measurement result transmission means for transmitting information representing to the mirror unit,
The display control means of the mirror unit, in addition to information conforming to the information displayed on the display section from the photographing unit, provides information indicating that the distance between the photographing unit and its own device falls within the proper range, or switching the screen of the display unit to display a moving image received from the imaging unit in response to receiving information indicating the distance within the appropriate range;
A full-length mirror device according to claim 1 .
前記ミラーユニットの表示制御手段は、前記撮影ユニットからの動画像が前記表示部に表示されている状態下で前記撮影ユニットから受信する検出データにより前記カメラの位置または視線方向にあらかじめ定めた適正範囲を逸脱する変化が生じていないかどうかを監視し、当該適正範囲を逸脱する変化が生じていると判別したことに応じて、当該撮影ユニットから受信する動画像の前記表示部への表示を中止する請求項１～５のいずれかに記載された姿見装置。 The imaging unit further comprises detection means for detecting changes in the position and line-of-sight direction of the camera, and detection data transmission means for transmitting detection data representing detection results of the detection means to the mirror unit,
The display control means of the mirror unit controls the position of the camera or the line-of-sight direction in a predetermined appropriate range based on the detection data received from the imaging unit while the moving image from the imaging unit is displayed on the display unit. monitoring whether there is any change that deviates from the appropriate range, and in response to determining that there is a change that deviates from the appropriate range, stop displaying the moving image received from the imaging unit on the display unit. The full-length mirror device according to any one of claims 1 to 5.
前記撮影ユニットは、前記カメラの位置および視線方向の変化を検出する検出手段と、前記ミラーユニットから上記の通知を受信した時点より後の前記検出手段による検出結果を監視し、その監視により前記カメラの位置または視線方向にあらかじめ定めた適正範囲を逸脱する変化を検出したときに当該変化が検出されたことを示す検出データを前記ミラーユニットに送信する監視手段とを、さらに備え、
前記ミラーユニットの表示制御手段は、上記の通知を送信した後の撮影ユニットから前記カメラの位置または視線方向に前記適正範囲を逸脱する変化が検出されたことを示す検出データを受信したとき、前記動画像の前記表示部への表示を中止する、
請求項１～５のいずれかに記載された姿見装置。 The display control means of the mirror unit includes means for transmitting a notification in a predetermined format to the photographing unit in response to receiving from the photographing unit information matching the information being displayed on the display section. cage,
The photographing unit includes detecting means for detecting changes in the position and line-of-sight direction of the camera, and monitoring the detection result by the detecting means after receiving the notification from the mirror unit. monitoring means for transmitting detection data indicating that the change has been detected to the mirror unit when a change that deviates from a predetermined appropriate range is detected in the position or line-of-sight direction of the
When the display control means of the mirror unit receives detection data indicating that a change deviating from the appropriate range has been detected in the camera position or line-of-sight direction from the photographing unit after the notification has been sent, the stop displaying the moving image on the display unit;
A full-length mirror device according to any one of claims 1 to 5.
前記撮影ユニットは、前記カメラの位置および視線方向の変化を検出する検出手段と、前記ミラーユニットから上記の通知を受信した時点より後の前記検出手段による検出結果を監視し、その監視により前記カメラの位置または視線方向にあらかじめ定めた適正範囲を逸脱する変化を検出したことに応じて前記動画像送信手段による動画像の送信を中止する送信制御手段とを、さらに具備する、
請求項１～５のいずれかに記載された姿見装置。 The display control means of the mirror unit includes means for transmitting a notification in a predetermined format to the photographing unit in response to receiving from the photographing unit information matching the information being displayed on the display section. cage,
The photographing unit includes detecting means for detecting changes in the position and line-of-sight direction of the camera, and monitoring the detection result by the detecting means after receiving the notification from the mirror unit. Transmission control means for stopping transmission of the moving image by the moving image transmission means in response to detection of a change that deviates from a predetermined appropriate range in the position or line-of-sight direction,
A full-length mirror device according to any one of claims 1 to 5.
前記撮影ユニットと通信できる状態になったことに応じて当該撮影ユニットからその時点で送信可能な情報以外の情報による画面を前記表示部に表示し、表示中の情報に適合する情報を前記撮影ユニットから受信したことを条件として、前記表示部の画面を当該撮影ユニットから受信する動画像の表示に切り替える表示制御手段を具備する、ミラーユニット。 A function for communicating with a video camera and an imaging unit equipped with transmission control means for transmitting a video image generated by the camera in real time; and a display unit for displaying the video image received from the video camera. A device comprising
In response to being able to communicate with the photographing unit, a screen containing information other than information that can be transmitted from the photographing unit at that time is displayed on the display unit, and information matching the information being displayed is displayed on the photographing unit. a display control means for switching the screen of the display unit to display a moving image received from the photographing unit on condition that the moving image is received from the photographing unit.
前記表示制御装置は、前記撮影ユニットと通信できる状態になったことに応じて当該撮影ユニットからその時点で送信可能な情報以外の情報による画面を前記表示装置に表示し、表示中の情報に適合する情報を前記撮影ユニットから受信したことを条件として、前記表示装置の画面を当該撮影ユニットから受信する動画像の表示に切り替える機能を具備する、
ことを特徴とする姿見装置用のプログラム。 An information processing device having a function of transmitting display data to a display device for display on a screen and a function of communicating with devices other than the display device, a camera for capturing moving images, and transmitting moving images generated by the camera to an external device. In order to function as a display control device for communicating with a photographing unit equipped with a transmission control means for transmitting real-time transmission to the device and receiving the moving image from the photographing unit, the computer of the information processing device functions as a display control device for displaying on the display device A program to be incorporated,
The display control device displays, on the display device, a screen containing information other than information that can be transmitted at that time from the imaging unit in response to being able to communicate with the imaging unit, and matches the displayed information. A function of switching the screen of the display device to display a moving image received from the imaging unit on the condition that information to be performed is received from the imaging unit,
A program for a full-length mirror, characterized by:
前記表示制御装置は、
前記撮影ユニットと通信できる状態になったことに応じて当該撮影ユニットからその時点で送信可能な情報以外の情報による画面を前記表示装置に表示し、表示中の情報に適合する情報を前記撮影ユニットから受信したことを条件として、前記表示装置の画面を当該撮影ユニットから受信する動画像の表示に切り替える機能と、
前記撮影ユニットからの動画像を前記表示装置に表示する制御が行われている状態下で前記撮影ユニットから受信する検出データにより前記カメラの位置または視線方向にあらかじめ定めた適正範囲を逸脱する変化が生じていないかどうかを監視し、当該変化が生じていると判別したことに応じて、当該撮影ユニットから受信する動画像の前記表示装置への表示を中止する機能とを、
具備することを特徴とする姿見装置用のプログラム。 An information processing device having a function of transmitting display data to a display device and displaying it on a screen and a function of communicating with devices other than the display device is combined with a camera for video recording and changes in the position and line-of-sight direction of the camera. detection means for detecting, detection data transmission means for transmitting detection data representing the detection result of the detection means to an external device, and transmission control means for transmitting the moving image generated by the camera to the external device in real time A program incorporated in the computer of the information processing device to function as a display control device that communicates with the provided shooting unit and displays a moving image received from the shooting unit on the display device,
The display control device is
In response to being able to communicate with the imaging unit, a screen with information other than information that can be transmitted from the imaging unit at that time is displayed on the display device, and information matching the information being displayed is displayed on the imaging unit. a function of switching the screen of the display device to the display of the moving image received from the imaging unit, on the condition that it has been received from
A change that deviates from a predetermined appropriate range in the position or line-of-sight direction of the camera according to detection data received from the photographing unit under a state in which control is being performed to display the moving image from the photographing unit on the display device. a function of monitoring whether or not such a change has occurred, and stopping display of the moving image received from the imaging unit on the display device in response to determining that the change has occurred;
A program for a full-length mirror, characterized by comprising:
前記表示制御装置は、
前記撮影ユニットと通信できる状態になったことに応じて当該撮影ユニットからその時点で送信可能な情報以外の情報による画面を前記表示装置に表示し、表示中の情報に適合する情報を前記撮影ユニットから受信したことを条件として、前記表示装置の画面を当該撮影ユニットから受信する動画像の表示に切り替えると共に前記撮影ユニットに所定のフォーマットによる通知を送信する機能と、
前記撮影ユニットからの動画像を前記表示装置に表示する制御が行われている状態下で上記の通知を送信した後の撮影ユニットから前記カメラの位置または視線方向に前記適正範囲を逸脱する変化が検出されたことを示す検出データを受信したことに応じて、当該撮影ユニットから受信する動画像の前記表示装置への表示を中止する機能とを、
具備することを特徴とする姿見装置用のプログラム。 An information processing device having a function of transmitting display data to a display device and displaying it on a screen and a function of communicating with devices other than the display device is combined with a camera for video recording and changes in the position and line-of-sight direction of the camera. and a detection means for monitoring whether the camera position or line-of-sight direction deviates from a predetermined appropriate range based on the detection result of the detection means, and the monitoring deviates from the appropriate range . monitoring means for transmitting detection data indicating that the change has been detected to an external device when a change is detected; and transmission control means for transmitting the moving image generated by the camera to the external device in real time. A program incorporated in the computer of the information processing device to function as a display control device that communicates with a photographing unit and displays a moving image received from the photographing unit on the display device,
The display control device is
In response to being able to communicate with the imaging unit, a screen with information other than information that can be transmitted from the imaging unit at that time is displayed on the display device, and information matching the information being displayed is displayed on the imaging unit. a function of switching the screen of the display device to the display of the moving image received from the imaging unit and transmitting a notification in a predetermined format to the imaging unit, on condition that the video is received from
In a state in which control is being performed to display a moving image from the imaging unit on the display device, there is a change that deviates from the appropriate range in the position or line-of-sight direction of the camera from the imaging unit after the above notification is transmitted. a function of stopping display on the display device of a moving image received from the imaging unit in response to receiving detection data indicating detection,
A program for a full-length mirror, characterized by comprising:
前記撮影ユニットは、The imaging unit is
前記カメラにより文字またはコードを表すパターンが撮影されたことに応じて当該パターンから文字またはコードを読み取って、その読取り結果に相当する文字情報またはコード情報を前記ミラーユニットに送信するパターン認識手段と、pattern recognition means for reading a character or code from the pattern in response to an image of a pattern representing a character or code by the camera and transmitting character information or code information corresponding to the reading result to the mirror unit;
前記パターン認識手段による送信に対し、前記ミラーユニットが前記表示部に表示中のパターンに適合する文字情報またはコード情報を受信したことを条件として送信した所定のフォーマットによる通知を当該ミラーユニットから受信したことに応じて、前記カメラにより生成された動画像の当該ミラーユニットへの送信を開始する動画像送信手段とを、In response to the transmission by the pattern recognition means, a notification in a predetermined format sent from the mirror unit on the condition that the mirror unit has received character information or code information matching the pattern being displayed on the display unit is received from the mirror unit. moving image transmission means for starting transmission of the moving image generated by the camera to the mirror unit accordingly,
具備することを特徴とする姿見装置用のプログラム。A program for a full-length mirror, characterized by comprising:
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020085696 | 2020-05-15 | ||
| JP2020085696 | 2020-05-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021182734A JP2021182734A (en) | 2021-11-25 |
| JP7231257B2 true JP7231257B2 (en) | 2023-03-01 |
Family
ID=78606838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021035906A Active JP7231257B2 (en) | 2020-05-15 | 2021-03-07 | Mirror unit and program for a full-length mirror and a full-length mirror |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7231257B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000138926A (en) | 1998-11-02 | 2000-05-16 | Yoshiomi Yamada | Full-length mirror for sight of one's own back |
| JP2014518597A (en) | 2011-03-31 | 2014-07-31 | ソニーモバイルコミュニケーションズ， エービー | System and method for establishing a communication session associated with an application |
| JP2016189503A (en) | 2013-08-23 | 2016-11-04 | 義仙 田島 | Composite display system |
| JP2017064114A (en) | 2015-09-30 | 2017-04-06 | パナソニックＩｐマネジメント株式会社 | Mirror device |
| JP2016532197A5 (en) | 2014-04-16 | 2017-06-01 | ||
| JP2018072787A (en) | 2016-10-31 | 2018-05-10 | アルテック株式会社 | Mirror with information display function |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102266361B1 (en) * | 2013-08-04 | 2021-06-16 | 아이즈매치 리미티드 | Devices, systems and methods of virtualizing a mirror |
-
2021
- 2021-03-07 JP JP2021035906A patent/JP7231257B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000138926A (en) | 1998-11-02 | 2000-05-16 | Yoshiomi Yamada | Full-length mirror for sight of one's own back |
| JP2014518597A (en) | 2011-03-31 | 2014-07-31 | ソニーモバイルコミュニケーションズ， エービー | System and method for establishing a communication session associated with an application |
| JP2016189503A (en) | 2013-08-23 | 2016-11-04 | 義仙 田島 | Composite display system |
| JP2016532197A5 (en) | 2014-04-16 | 2017-06-01 | ||
| JP2017064114A (en) | 2015-09-30 | 2017-04-06 | パナソニックＩｐマネジメント株式会社 | Mirror device |
| JP2018072787A (en) | 2016-10-31 | 2018-05-10 | アルテック株式会社 | Mirror with information display function |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021182734A (en) | 2021-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6623865B2 (en) | Image processing device and program | |
| JP6613740B2 (en) | Display control apparatus, display control method, and display control program | |
| JP3217723B2 (en) | Telecommunications system and telecommunications method | |
| JP4504802B2 (en) | Projection type image display device | |
| JP6788845B2 (en) | Remote communication methods, remote communication systems and autonomous mobile devices | |
| US20170264827A1 (en) | Motion-sensor based remote control | |
| CN111512255A (en) | Multi-device robot control | |
| KR101959366B1 (en) | Mutual recognition method between UAV and wireless device | |
| US20190132514A1 (en) | Image capturing apparatus, supporting apparatus, and control methods therefor | |
| JP5246162B2 (en) | Sensing device, system, control method, and control program | |
| JP2018063540A (en) | Method for assisting in input to application providing content using head-mounted device, program for sing computer to implement the same, and content display device | |
| JP7231257B2 (en) | Mirror unit and program for a full-length mirror and a full-length mirror | |
| JP2007303913A (en) | Foreign matter detecting device, robot device using the same, foreign matter detection method, and foreign matter detection program | |
| KR20180060295A (en) | Robot for monitoring infants | |
| TWI737588B (en) | System and method of capturing image | |
| JP2962295B2 (en) | Automatic attitude control method and automatic attitude control system for built-in camera of automatic information processing device | |
| TW201205506A (en) | System and method for managing security of a roof | |
| JP2011041133A (en) | Photographing device and photographing method | |
| EP3886408B1 (en) | Display apparatus and control method thereof | |
| JP2012209626A (en) | Conference device, program for conference device and control method | |
| KR20090126086A (en) | Control system of monitor for av system | |
| JP2004320175A (en) | Monitoring camera system | |
| JP6964174B1 (en) | Information processing equipment, information processing methods, and programs | |
| JP5769757B2 (en) | Imaging apparatus, imaging system, imaging method, and program | |
| JP2012175456A (en) | Image processing device, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210721 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7231257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |