JP7128591B2 - Shooting system, shooting method, shooting program, and stuffed animal - Google Patents
Shooting system, shooting method, shooting program, and stuffed animal Download PDFInfo
- Publication number
- JP7128591B2 JP7128591B2 JP2019204415A JP2019204415A JP7128591B2 JP 7128591 B2 JP7128591 B2 JP 7128591B2 JP 2019204415 A JP2019204415 A JP 2019204415A JP 2019204415 A JP2019204415 A JP 2019204415A JP 7128591 B2 JP7128591 B2 JP 7128591B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- imaging area
- unit
- imaging
- stuffed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Toys (AREA)
- Manipulator (AREA)
- Accessories Of Cameras (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Description
本発明は、撮影システム、撮影方法、撮影プログラム、及びぬいぐるみに関する。特に、本発明は、ぬい撮りに適した撮影システム、撮影方法、撮影プログラム、及びぬいぐるみに関する。 The present invention relates to a photographing system, a photographing method, a photographing program, and a stuffed toy. In particular, the present invention relates to a photographing system, a photographing method, a photographing program, and a stuffed toy suitable for stuffed animals.
従来、ユーザに対してコミュニケーション行動を行うコミュニケーション装置であって、複数の構成部位から構成され、顔を構成する部位に対応する構成部位を少なくとも1つ備える顔部を有する構造体と、構成部位の動作を制御することによって、コミュニケーション行動を表現するジェスチャを構造体に行わせる制御手段と、構造体の周囲の物体の、構造体に対する相対的な位置を検出する検出手段とを有し、検出手段は、ユーザの顔の位置を検出し、制御手段は、顔部が向く方向と顔部から見たユーザの顔の方向とのなす角度に応じて異なるジェスチャを構造体に行わせるように構成部位の動作を制御するコミュニケーション装置が知られている(例えば、特許文献1参照)。特許文献1に記載のコミュニケーション装置によれば、構造体の顔部に対するユーザの向きを考慮した自然なコミュニケーション行動ができる。
2. Description of the Related Art Conventionally, a communication device for performing a communicative action to a user, comprising: a structure having a facial part, which is composed of a plurality of structural parts and has at least one structural part corresponding to a part that constitutes the face; a control means for causing the structure to perform a gesture expressing a communication action by controlling the movement; and a detection means for detecting the relative positions of objects around the structure with respect to the structure. detects the position of the user's face, and the control means causes the structure to perform different gestures according to the angle between the direction in which the face faces and the direction of the user's face viewed from the face. is known (see, for example, Patent Document 1). According to the communication device described in
近年、室内や外出先・旅行先等の様々な場所でぬいぐるみや人形等の玩具(以下、これらを単に「ぬいぐるみ」と称する。)を主人公にした画像を撮像する「ぬい撮り」文化が広まっている。「ぬい撮り」では、ぬいぐるみを主人公にして撮像された画像がソーシャルネットワークサービス(SNS)等にアップされ、多くの人々に楽しまれている。ここで、「ぬい撮り」では、ぬいぐるみが存在する場所等の状況を適切に把握し、当該状況に応じた画像が撮像されることが多い。 In recent years, the culture of "stuffed photography" has spread, in which images of toys such as stuffed animals and dolls (hereinafter simply referred to as "stuffed animals") are taken as the main characters in various places such as indoors, outings, and travel destinations. there is In "stuffed photography," images of stuffed animals taken as the main characters are uploaded to social network services (SNS) and the like, and are enjoyed by many people. Here, in the "stuffed picture", it is often the case that the situation such as the place where the stuffed toy is present is appropriately grasped, and an image corresponding to the situation is captured.
そして、「ぬい撮り」では周囲の状況にぬいぐるみの状態を合わせることが好まれるところ、駆動部等がないぬいぐるみでは、周囲の状況に合わせたポーズをぬいぐるみに取らせることが困難であった。また、特許文献1に記載のコミュニケーション装置では「ぬい撮り」において重要となるぬいぐるみの周囲の状況について考慮できない。つまり、特許文献1に記載のコミュニケーション装置はユーザとコミュニケーション装置との間で自然なコミュニケーション行動をとることに焦点を当てているものの、ぬいぐるみが置かれた状況を考慮できない。また、特許文献1に記載のコミュニケーション装置は、ぬいぐるみを「ぬい撮り」に適合させてぬいぐるみ自体の愛玩性を高めることや、ユーザにとって愛着がわくようにぬいぐるみのポーズ等を変化させ、当該ぬいぐるみを含む撮像画像を撮ることはできない。
In addition, while it is preferable to adjust the state of the stuffed toy to the surrounding situation in "stuffed photography", it is difficult to make the stuffed animal take a pose that matches the surrounding situation with a stuffed toy that does not have a driving unit or the like. In addition, the communication device described in
したがって、本発明の目的は、ぬい撮りに適し、付加価値の高い画像を撮像できる撮影システム、撮影方法、撮影プログラム、及びぬいぐるみを提供することにある。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a photographing system, a photographing method, a photographing program, and a stuffed toy capable of photographing images of high added value suitable for stuffed animals.
本発明は、上記目的を達成するため、情報端末と情報端末から供給される所定の情報に基づいて動作可能なぬいぐるみとを備える撮影システムであって、情報端末が、ぬいぐるみが含まれる撮像領域を撮像する撮像部と、撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得部とを有し、ぬいぐるみが、少なくとも1つの構成部材と、構成部材を動作させる駆動部と、撮像領域情報に基づいて駆動部の動作を制御する駆動制御部とを有する撮影システムが提供される。 In order to achieve the above object, the present invention provides an imaging system comprising an information terminal and a stuffed animal that can operate based on predetermined information supplied from the information terminal, wherein the information terminal captures an imaging area containing the stuffed animal. The plush toy includes an imaging unit that captures an image and an imaging area information acquisition unit that acquires imaging area information that is information about the imaging area, and the stuffed toy includes at least one component, a driving unit that operates the component, and the imaging area information. and a drive control section for controlling the operation of the drive section based on the above.
本発明に係る撮影システム、撮影方法、撮影プログラム、及びぬいぐるみによれば、ぬい撮りに適し、付加価値の高い画像を撮像できる撮影システム、撮影方法、撮影プログラム、及びぬいぐるみを提供できる。 According to the photographing system, the photographing method, the photographing program, and the stuffed animal according to the present invention, it is possible to provide the photographing system, the photographing method, the photographing program, and the stuffed animal that are suitable for stuffed animals and capable of photographing images with high added value.
[実施の形態]
<撮影システム5の概要>
本実施形態に係る撮影システム5は、カメラを有する情報端末と、バッテリーで駆動する駆動部を有するぬいぐるみや人形等の玩具(以下、本実施形態においては「ぬいぐるみ」と称する。)とを備え、駆動部は情報端末と連携して動作する。つまり、ぬいぐるみの駆動部はカメラの撮像領域に関する情報に基づいて動作し、情報端末は撮像領域内のぬいぐるみが主人公のように振る舞う画像を撮像できる。すなわち、撮影システム5では、情報端末がぬいぐるみを含む撮像領域の状況を把握し、情報端末により把握された当該状況に基づいてぬいぐるみの駆動部が動作する。そして、このぬいぐるみ(動作中、若しくは所定の動作後のぬいぐるみ)を含む画像が情報端末により撮像される。これにより、撮影システム5は、ぬい撮りに適した付加価値の高い画像を撮像でき、愛玩性の高いぬいぐるみを提供できる。
[Embodiment]
<Overview of Imaging System 5>
The imaging system 5 according to the present embodiment includes an information terminal having a camera, and a toy such as a stuffed toy or a doll (hereinafter referred to as a "stuffed toy" in the present embodiment) having a drive unit driven by a battery. The driving unit operates in cooperation with the information terminal. In other words, the stuffed animal drive unit operates based on information about the imaging area of the camera, and the information terminal can capture an image in which the stuffed animal in the imaging area behaves like the main character. That is, in the photographing system 5, the information terminal grasps the situation of the photographing area including the stuffed animal, and the driving section of the stuffed animal operates based on the situation grasped by the information terminal. Then, an image including the stuffed animal (the stuffed animal in action or after a predetermined action) is captured by the information terminal. As a result, the photographing system 5 can photograph a high-value-added image suitable for stuffed animals, and can provide a stuffed animal with a high degree of petty.
図1は、本発明の実施の形態に係る撮影システムの概要を示す。 FIG. 1 shows an overview of an imaging system according to an embodiment of the invention.
具体的に、撮影システム5は、情報端末10と、情報端末10から供給される所定の情報に基づいて動作可能な駆動部を有するぬいぐるみ20とを備える。情報端末10はカメラ(撮像部)を有しており、カメラは撮像領域の画像を撮像する。そして、所定の情報とは、撮像領域に関する情報であって、例えば、撮像領域に含まれるオブジェクト1(例えば、人物)、風景・背景、ぬいぐるみ20、他のぬいぐるみ、撮像場所、及び/又は撮像の日時等に関する情報(以下、「撮像領域情報」と称する。)である。一例として情報端末10は、画像の撮像をカメラに指示する撮像指示を受け付け可能な状態であって、撮像指示を待機する撮影準備状態において撮像領域の撮像領域情報を取得する。
Specifically, the photographing system 5 includes an
例えば、図1(a)に示すように、情報端末10の撮像領域にオブジェクト1(人物)及びぬいぐるみ20が含まれている場合を説明する。この場合、情報端末10は、ぬいぐるみ20と共にオブジェクト1である人物が撮像領域に含まれていることを示す情報や当該人物の動きを示す情報を、撮像領域の画像解析により撮像領域情報として取得する。情報端末10は、撮像領域情報をリアルタイム及び/又は連続して取得できる。そして、情報端末10は、取得した撮像領域情報をぬいぐるみ20に無線通信で供給する。
For example, as shown in FIG. 1(a), the case where the imaging area of the
ぬいぐるみ20は、少なくとも1つの構成部材を有して構成される。一例として、ぬいぐるみ20は、頭部、胴体、四肢、耳等の構成部材を有し、頭部と胴体との接続領域のように一の構成部材と一の構成部材に隣接する他の構成部材との接続領域に駆動部を有して構成される。また、ぬいぐるみ20は、撮像領域情報に基づいて駆動部の動作を制御する駆動制御部を有する。
The
ぬいぐるみ20の駆動制御部は、情報端末10から撮像領域情報を取得した場合、撮像領域情報に基づいて駆動部を動作させて構成部材を動作させる。例えば、駆動制御部は、撮像領域に含まれる人物の動きに追随するようにぬいぐるみ20が有する各駆動部を動作させ、ぬいぐるみ20を構成する各構成部材を動作させる。図1(b)の例では、撮像領域情報にはオブジェクト1である人物が右腕を上げている状態を示す情報が含まれる。そこで、駆動制御部は、情報端末10から受け取った撮像領域情報に基づいて、ぬいぐるみ20の右腕を上げることができる駆動部を動作させ、ぬいぐるみ20の右腕を上げた状態にする。この状態で情報端末10は、ぬいぐるみ20の画像を撮像できる。
When acquiring the imaging area information from the
これにより、撮影システム5によれば、撮像領域に含まれるぬいぐるみ20が、共に写っている人物(オブジェクト1)と共に主体的に喜怒哀楽を表現しているような撮像画像や主体的に動作しているような撮像画像を撮像できる。
As a result, according to the photographing system 5, the
なお、情報端末10は、カメラ機能を有する携帯電話やスマートフォン、カメラ機能を有するかWebカメラを接続可能なノートパソコン、タブレット型PC、カメラ機能を有するかWebカメラを接続可能なPC、カメラ機能を有するかWebカメラを接続可能な携帯用ゲーム機、及び/又はカメラ機能を有するかWebカメラを接続可能な家庭用ゲーム機等の撮像機能を有する情報端末である。そして、以下において本実施形態に係る撮影システム5の詳細を説明するが、上記説明及び下記説明における名称や数値等はあくまで例示であり、これらの名称や数値等に限定されることはないことを付言する。
Note that the
<撮影システム5の詳細>
図2は、本実施形態に係る情報端末の機能構成の一例を示し、図3は、本実施形態に係るぬいぐるみの機能構成の一例を示す。また、図4は、本実施形態に係るぬいぐるみの一例の概要を示す。更に、図5は、本実施形態に係る各格納部のデータ構成の一例を示す。
<Details of shooting system 5>
FIG. 2 shows an example of the functional configuration of the information terminal according to this embodiment, and FIG. 3 shows an example of the functional configuration of the stuffed toy according to this embodiment. Moreover, FIG. 4 shows an outline of an example of the stuffed toy according to the present embodiment. Furthermore, FIG. 5 shows an example of the data structure of each storage unit according to this embodiment.
[撮影システム5の構成の概要]
本実施形態に係る撮影システム5は、情報端末10と、情報端末10が取得した撮像領域情報に基づいて動作するぬいぐるみ20とを備える。そして、図2に示すように、情報端末10は、撮像部100と、撮像部100の動作を制御する撮像制御部102と、撮像領域の情報を取得する撮像領域情報取得部104と、撮像領域の画像を解析する画像解析部106と、撮像領域情報を格納する撮像領域情報格納部108と、所定の情報を送受信する情報端末側送受信部110と、外部からの指示を受け付ける指示受付部112と、画像を格納する画像格納部114と、画像処理を実行する画像処理部118と、付加情報を生成する付加情報生成部120と、所定の画像及び/又は付加情報を所定のサーバに供給する供給部122と、ぬいぐるみに関する情報を格納するぬいぐるみ情報格納部124と、ぬいぐるみに関する情報を更新するぬいぐるみ情報更新部126と、ぬいぐるみの友達に関する情報を格納する友達情報格納部128と、撮像領域の画像等を表示する表示部130とを有する。
[Overview of configuration of imaging system 5]
A photographing system 5 according to this embodiment includes an
また、図3に示すように、ぬいぐるみ20は、ぬいぐるみ20を構成する1つ以上の構成部材200と、所定の情報を送受信するぬいぐるみ側送受信部202と、ぬいぐるみ20の動作のシナリオ等を格納する動作情報格納部204と、構成部材200を動作させる1つ以上の駆動部208と、駆動部208の動作を制御する駆動制御部206と、加速度等を測定するセンサ210と、マイク212と、スピーカー214と、バッテリー220と、バッテリー220の残量を確認するバッテリー残量確認部222と、バッテリーの充放電を制御する充放電制御部224とを有する。
As shown in FIG. 3, the stuffed
なお、情報端末10が有する各構成要素それぞれの機能の全て若しくは一部を、他の構成要素が有するか、別途、独立の構成にしてもよい。また、情報端末10が有する各構成要素の一部若しくは各構成要素の機能の一部を、ぬいぐるみ20が有していてもよい。更に、ぬいぐるみ20が有する各構成要素の一部若しくは各構成要素の機能の一部を、情報端末10が有していてもよい。例えば、動作情報格納部204と駆動制御部206の機能の一部とを情報端末10が有していてもよい。
It should be noted that all or part of the functions of each component of the
また、本実施形態の変形例においては、情報端末10の機能の一部をサーバが有し(例えば、画像解析部106をサーバが有し)、情報端末10が取得した情報(例えば、撮像領域の画像情報)をサーバにおいて画像解析し、サーバにおける画像解析結果に基づいてぬいぐるみ20の駆動制御部206が駆動部208を動作させてもよい。ただし、以下においては、サーバが存在しない形態について説明する。
Further, in the modification of the present embodiment, the server has a part of the functions of the information terminal 10 (for example, the server has the image analysis unit 106), and the information acquired by the information terminal 10 (for example, the imaging area image information) may be analyzed by the server, and the
[撮影システム5の構成の詳細:情報端末10の構成]
(撮像部100、撮像制御部102)
撮像部100は、撮像領域の画像を撮像する。また、撮像制御部102は、撮像部100の動作を制御する。例えば、撮像部100は撮像制御部102に制御され、ぬいぐるみ20が含まれる撮像領域の画像(撮像画像)を撮像する。ここで、撮像制御部102は、例えば、ユーザからの撮像指示による撮像の実行が可能になった状態であって撮像指示を受け付ける前の撮像指示を待機する状態(つまり、撮影準備状態)の画像も撮像部100に撮像させることができる。撮像制御部102は、撮影準備状態の画像を撮像部100にリアルタイム、及び/又は連続して撮像させることもできる。撮像部100は、撮影準備状態中に撮像した画像を撮像領域情報取得部104、画像解析部106、及び/又は表示部130に供給すると共に、画像格納部114に供給すること、及び/又は所定のメモリに一時的に記憶することができる。そして、撮像制御部102は、例えばユーザからの撮像指示を受け付けた場合に撮像部100に画像の撮像を実行させ、撮像指示の時点、及び/又は当該時点の前後の予め定められた期間における撮像領域の撮像画像を画像格納部114に格納させ、及び/又は表示部130に表示させる。
[Details of Configuration of Shooting System 5: Configuration of Information Terminal 10]
(
The
(撮像領域情報取得部104)
撮像領域情報取得部104は、撮像領域に関する情報である撮像領域情報を取得する。撮像領域情報取得部104は、撮影準備状態において撮像領域情報を取得することができる。また、撮像領域情報取得部104は、撮像部100が撮影準備状態で継続して撮像している画像をリアルタイムに、若しくは時系列に沿って所定の時点毎に、又は予め定められた時間間隔で撮像領域情報を取得してもよい。撮像領域情報取得部104は、取得した撮像領域情報を撮像領域情報格納部108に供給する。
(Imaging area information acquisition unit 104)
The imaging area
ここで、撮像領域情報は、撮像領域に含まれるオブジェクトに関する情報、撮像領域の背景に関する情報、撮像領域の位置情報(撮像位置の位置情報)、撮像領域の撮影準備状態や撮像時の日時情報、気温や湿度情報、及び天気情報等からなる群から選択される少なくとも1つの情報である。オブジェクトとしては、人物、ぬいぐるみ20、撮像画像の主題になるぬいぐるみ20とは異なるぬいぐるみ、撮像領域に含まれる様々な物品等が挙げられる。また、オブジェクトに関する情報としては、オブジェクトの種類(オブジェクトがぬいぐるみである場合はぬいぐるみの種類等)、オブジェクトの状態(オブジェクトの動き、オブジェクトが人物である場合は当該人物の動作や姿勢、表情等に関する情報)等が挙げられる。
Here, the imaging area information includes information about objects included in the imaging area, information about the background of the imaging area, positional information of the imaging area (positional information of the imaging position), imaging preparation state of the imaging area, date and time information at the time of imaging, It is at least one piece of information selected from the group consisting of temperature and humidity information, weather information, and the like. Objects include a person, a
なお、撮像領域情報取得部104は、ぬいぐるみ20が含まれている撮像領域には含まれていないものの、情報端末10の近傍(例えば、情報端末10から所定距離内。所定距離は、例えば、情報端末側送受信部110の無線通信が可能な距離である。)に他のぬいぐるみが存在するか否かを示す情報を撮像領域情報として取得してもよい。例えば、撮像領域情報取得部104は、情報端末10と他のぬいぐるみとで通信可能であるか否かを判断し、通信可能であると判断した場合に他のぬいぐるみが情報端末10の近傍に存在することを示す情報を撮像領域情報として取得する。
Note that although the imaging area
また、複数のぬいぐるみそれぞれに固有のぬいぐるみIDを予め付与するか、撮影準備状態になる毎に撮像領域情報取得部104が、情報端末10の近傍であって情報端末10と通信可能なぬいぐるみにぬいぐるみ20とは異なるぬいぐるみIDを付与してもよい(複数のぬいぐるみが存在する場合は、複数のぬいぐるみそれぞれに互いに異なるIDを付与してよい。)。そして、撮像領域情報取得部104は、各ぬいぐるみIDに対応するぬいぐるみの駆動制御部206それぞれに向け、互いに異なる動作をする指令を供給する。続いて撮像領域情報取得部104は、撮像領域に含まれるぬいぐるみの動作と当該動作に対応する指令を供給したぬいぐるみのぬいぐるみIDとに基づいて、撮像領域に含まれるぬいぐるみと撮像領域に含まれず情報端末10の近傍に存在するぬいぐるみとを識別する。撮像領域情報取得部104は、この識別結果を撮像領域情報として取得してもよい。
In addition, a unique stuffed animal ID is assigned in advance to each of a plurality of stuffed animals, or the imaging region
撮像領域情報取得部104は、撮像領域の位置情報、日時情報、及び天気情報等は情報端末10が有するGPS機能、時計機能、及び外部サーバから情報を取得する機能等を用いて取得する。また、撮像領域情報取得部104は、撮像領域に含まれるオブジェクトに関する情報、及び撮像領域の背景等に関する情報を撮像部100から受け取った撮像画像の画像解析により取得する。
The imaging area
(画像解析部106)
すなわち、情報端末10は、画像解析する画像解析部106を有する。画像解析部106は、撮像部100が取得した撮影準備状態における撮像領域の画像、及び/又は撮像部100が撮像指示に応じて取得した撮像領域の撮像画像を解析し、解析結果を撮像領域情報として生成する。撮像領域情報取得部104は、生成された撮像領域情報を取得する。画像解析部106は、従来公知の画像処理やパターンマッチング手法等を用いて画像解析できる。
(Image analysis unit 106)
That is, the
また、画像解析部106は、撮像対象となるオブジェクトや背景等の撮像画像を画像格納部114若しくは外部のサーバから読み込んで学習することもできる。この場合、画像解析部106は、学習結果と撮像領域の画像の特徴量とを比較し、撮像領域に含まれるオブジェクトや背景が何であるかを特定できる。更に、画像解析部106は、撮像領域に含まれるオブジェクトの動作及び/又は状態をリアルタイムに解析することもできる。一例として、画像解析部106は、所定のオブジェクトの予め定められたモデルと撮像領域に含まれるオブジェクトの特徴量とを比較し、当該オブジェクトがどのような動作をしているか、及び/又はどのような状態であるかを解析することもできる。なお、画像解析部106は、例えば、Regional Convolutional Neural Network(R-CNN)、高速RCNN、セマンティックセグメンテーション、インスタンスセグメンテーション等を用いて画像に含まれるオブジェクトを認識してもよい。
The
例えば、画像解析部106は、撮像領域の画像を解析し、撮像領域に含まれるオブジェクトが人物であるか否かを特定し、オブジェクトが人物であると特定した場合は当該人物の動作及び/又は表情を特定できる。また、画像解析部106は、撮像領域に含まれるオブジェクトがぬいぐるみであるか否かを特定し、オブジェクトがぬいぐるみであると特定した場合は当該ぬいぐるみの特徴(例えば、種類、属性等)を特定できる。更に、画像解析部106は、撮像領域に含まれるオブジェクトが人物ではない物品(例えば、飲食物、商品、身の回り品、乗用車等の乗り物等)である場合、当該物品が何であるかを特定できる(例えば、商品名等を特定できる。)。更に、画像解析部106は、撮像領域の背景や風景がどのような背景や風景であるかを特定することもできる。
For example, the
(撮像領域情報格納部108)
撮像領域情報格納部108は、撮像領域情報を格納する。撮像領域情報格納部108は、撮像領域情報を識別する撮像領域IDに対応付けて、撮像領域情報取得部104が取得した撮像領域情報を格納する。撮像領域情報格納部108は、撮像領域情報が取得された日時(取得日時)を更に対応付けて撮像領域情報を格納することもできる。つまり、撮像領域情報格納部108は、過去の撮像領域情報も格納できる。
(Imaging area information storage unit 108)
The imaging area
この場合、画像解析部106は、撮像部100が撮影準備状態における撮像領域の画像を撮像した時点における当該撮像領域の画像、及び/又は当該時点より前の時点における撮像領域の画像を解析できる。これにより、例えば、画像解析部106は、撮像部100が撮像指示に応じて撮像画像を取得するより前の時点で撮像領域に何が写っているかを示す情報(例えば、風景や背景及びそれらの変化に関する情報、撮像領域に含まれる人物の動作や表情及びそれらの変化に関する情報、及び/又は撮像領域に含まれる主題となるぬいぐるみ20とは異なるぬいぐるみの種類等に関する情報)を撮像領域情報として生成できる。撮像領域情報格納部108は、情報端末10の他の構成部材からの要求に応じ、格納している情報を所定の構成部材に供給する。
In this case, the
(情報端末側送受信部110)
情報端末側送受信部110は、情報端末10の所定の構成部材からの所定の情報をぬいぐるみ20に供給する。また、情報端末側送受信部110は、ぬいぐるみ20の所定の構成部材から所定の情報を受け取る。更に、情報端末側送受信部110は、外部のサーバ等に情報端末10の所定の構成部材からの所定の情報を供給すること、外部のサーバ等から所定の情報を受け取ることもできる。なお、通信形式としては無線通信であれば特に限定はない。例えば、情報端末側送受信部110は、Bluetooth(登録商標)等の近距離無線通信を利用できる。これは、ぬいぐるみ側送受信部202も同様である。これにより、情報端末10とぬいぐるみ20とは互いに無線通信が可能になる。
(Information terminal side transmission/reception unit 110)
The information terminal side transmitting/receiving
(指示受付部112)
指示受付部112は、ユーザからの各種指示を受け付ける。各種指示としては、例えば、撮影準備状態における撮像領域の画像の撮像の実行等の指示である。指示受付部112は、受け付けた指示に応じ、当該指示を実行する情報端末10の構成部材に当該指示を供給し、当該指示を受け取った構成部材は当該指示に応じた動作を実行する。
(Instruction accepting unit 112)
The
(画像格納部114)
画像格納部114は、画像を識別する画像IDに対応付けて画像情報を格納する。画像情報としては、撮影準備状態における撮像領域の画像、撮像指示に応じて撮像部100が撮像した撮像画像、及び/又は撮像画像に含まれるぬいぐるみ20へ合成する合成用画像(画像の合成に用いられる画像部材を含む)等の情報が挙げられる。なお、本実施形態において「画像」や「撮像画像」、「合成用画像」には、静止画及び動画の双方が含まれる。また、静止画及び動画には、付帯する音声情報が含まれていてもよい。画像格納部114は、情報端末10の他の構成部材からの要求に応じ、格納している画像情報を所定の構成部材に供給する。
(Image storage unit 114)
The
(ぬいぐるみ情報格納部124)
ぬいぐるみ情報格納部124は、ぬいぐるみを識別するぬいぐるみIDに対応付けて、ぬいぐるみに関する情報であるぬいぐるみ情報を格納する。ぬいぐるみ情報は、ぬいぐるみの種類、名称、性別、属性、性格等の情報である。ぬいぐるみ情報格納部124は、ユーザが所持するぬいぐるみ20のぬいぐるみ情報、及び/又はユーザが所持していないぬいぐるみのぬいぐるみ情報を格納できる。ぬいぐるみ情報格納部124は、情報端末10の他の構成部材からの働きかけに応じ、所定の構成部材に所定の情報を供給する。
(Stuffed toy information storage unit 124)
The stuffed animal
(ぬいぐるみ情報更新部126)
ぬいぐるみ情報更新部126は、ぬいぐるみ情報格納部124に格納されているぬいぐるみ情報を更新する。例えば、指示受付部112がユーザからの所定の指示を受け付けた場合に、ぬいぐるみ情報更新部126はぬいぐるみ情報を更新することができる。
(Stuffed toy information update unit 126)
The stuffed animal
(友達情報格納部128)
友達情報格納部128は、ぬいぐるみIDに対応付けて当該ぬいぐるみIDで識別されるぬいぐるみ(第1のぬいぐるみ)の友達としての他のぬいぐるみ(第2のぬいぐるみ)を識別する友達ぬいぐるみIDと、第1のぬいぐるみと第2のぬいぐるみとの関係性を示す情報(例えば、これまでに同一の撮像画像に共に写った回数等を示す情報、及び回数等を示す情報に基づいて算出される親密度の情報)である友達関連情報を格納する。友達情報格納部128は、情報端末10の他の構成部材からの働きかけに応じ、所定の構成部材に友達関連情報を供給する。
(Friend information storage unit 128)
The friend
(画像処理制御部116、画像処理部118)
画像処理制御部116は、画像処理部118の動作を制御する。画像処理制御部116は、撮像領域情報、及び/又はぬいぐるみ20のバッテリー残量等の情報に基づいて、表示部130に表示されるぬいぐるみ20の表示位置に所定の画像を合成するか否か判断する。そして、画像処理制御部116は、画像の合成をすると判断した場合、画像処理部118に画像の合成を実行させる。なお、画像処理部118は、画像の合成処理の他に、撮像画像の画像変換や変形、撮像画像からの特徴量等の情報抽出等の処理も実行できる。
(Image
The image
画像処理部118は、画像処理制御部116に制御され、撮像領域に含まれるぬいぐるみ20の表示部130の表示位置に所定の画像を合成して合成画像を生成する。そして、画像処理部118は、合成画像を表示部130に表示させる。画像処理部118は、合成画像を合成画像を識別する合成画像IDに対応付けて画像格納部114に格納することもできる。なお、画像処理部118は、画像格納部114に格納されている合成用画像を用い、合成画像を生成できる。
The
(付加情報生成部120)
付加情報生成部120は、撮像部100が撮像する撮像画像に対応する付加情報、すなわち、撮像画像に含まれるオブジェクト及び/又はぬいぐるみ20がどのような行動をしているか、若しくはどのような状態であるか等を示す付加情報を、撮像領域情報に基づいて生成する。付加情報生成部120は、撮像領域情報取得部104が取得した撮像領域情報、撮像領域情報格納部108が格納している撮像領域情報、及び/又は画像格納部114が格納している撮像画像が撮像された時点の撮像領域情報に基づいて付加情報を生成する。付加情報とは、撮像領域に含まれるオブジェクト及び/又はぬいぐるみ20がどのような行動や動作をしているか、若しくはどのような状態であるか等を示すテキスト情報や図形情報等である。例えば、付加情報は、撮像領域に含まれるオブジェクトとぬいぐるみ20との関係性やオブジェクトとぬいぐるみ20との組み合わせ等に基づいて生成されるセリフ、説明文等のテキスト情報である。
(Additional information generator 120)
The additional
付加情報生成部120は、例えば、オブジェクトやぬいぐるみの種類毎に予め定められた説明文やセリフ等のテキスト情報を撮像領域情報に対応付けて格納するテキスト情報格納部、及び/又は外部のサーバからテキスト情報を取得するテキスト情報取得部を有することができる。そして、付加情報生成部120は、撮像領域情報に基づいて、撮像領域に含まれるオブジェクトの種類や動作、ぬいぐるみ20の種類、及び/又はぬいぐるみ20とは異なるぬいぐるみが撮像領域に含まれる場合は当該ぬいぐるみの種類等に応じたテキスト情報をテキスト情報格納部から取得するか、外部のサーバから取得し、取得したテキスト情報を用いるか、若しくは取得したテキスト情報を撮像領域情報に基づいて加工した加工テキスト情報を用いて付加情報を生成することができる。
The additional
また、付加情報生成部120は、Conditional Variational Auto-encoder(CVAE)を用いることで付加情報を生成してもよい。更に、付加情報生成部120は、画像認識を実行するConvolutional Neural Network(CNN)とリカレントニューラルネットワークとを組み合わせたニューラル画像脚注付けを用いて付加情報としてのテキスト情報を生成してもよい。
Further, the
また、付加情報は、撮像領域情報に含まれる撮像領域の位置を示す情報、すなわち、画像が撮像された地域、場所に適したテキスト情報であってもよい。更に、付加情報は、ぬいぐるみ20と共に写っているオブジェクト(人物、情報端末10と通信可能な他のぬいぐるみ、情報端末10と通信不能なぬいぐるみ、商品等)や背景(観光地や景勝地等の風景、映画のスクリーン等)等に応じ、当該オブジェクトや背景等に適したテキスト情報であってもよい。例えば、撮像領域情報に画像が撮像された位置を示す情報が含まれている場合、付加情報は当該位置に来たことを示すテキスト情報(例えば、「○○に来た!」(ただし、○○は場所の名称やランドマークの名称)等のテキスト情報)であってよく、撮像領域情報に撮像領域に所定の商品の名称を示す情報が含まれている場合、付加情報は当該商品に関するテキスト情報(例えば、「○○を手に入れた!」(ただし、○○は商品名)等のテキスト情報)であってよい。
Further, the additional information may be information indicating the position of the imaging area included in the imaging area information, that is, text information suitable for the region or place where the image was captured. Furthermore, the additional information includes objects (people, other stuffed animals that can communicate with the
また、付加情報は、撮像領域の天気、温度、及び/又は湿度に応じたテキスト情報であってもよい。そして、付加情報は、撮像領域に含まれるぬいぐるみ20が、撮像領域に訪れた回数、撮像領域に他のオブジェクトと共に写った回数、及び/又は他のぬいぐるみと共に写った回数等に応じたテキスト情報(第1のテキスト情報)であってもよい。例えば、ある撮像領域の場所にぬいぐるみ20が訪れた回数が増加するに従い、ぬいぐるみ20による当該場所に対する認知度が向上したとして、特別な表現のテキスト情報を付加情報生成部120は生成してよい(つまり、ぬいぐるみ20を擬人化して捉えている。)。また、ぬいぐるみ20と共に他のぬいぐるみが写った回数が増加するに従い、ぬいぐるみ20の当該他のぬいぐるみに対する友好度が向上したとして、特別な表現のテキスト情報(第2のテキスト情報)を付加情報生成部120は生成してよい。なお、付加情報生成部120は、撮像領域情報格納部108に格納されている過去の撮像領域情報、及び/又は画像格納部114に格納されている過去の撮像画像に基づいて、第1のテキスト情報及び第2のテキスト情報を生成できる。
Also, the additional information may be text information corresponding to the weather, temperature, and/or humidity of the imaging area. The additional information is text information ( first text information). For example, as the number of times the stuffed
また、撮像領域情報が撮像領域に複数のぬいぐるみが含まれていることを示す場合、付加情報生成部120は、ぬいぐるみの組合せに応じたテキスト情報を生成できる。この場合、撮像領域情報取得部104は、画像解析部106の画像解析結果、及びぬいぐるみ情報格納部124に格納されているぬいぐるみ情報に基づいて、撮像領域に含まれる複数のぬいぐるみの種類等を特定し、ぬいぐるみの組合せを特定する。そして、付加情報生成部120は、特定されたぬいぐるみの組合せに基づいてテキスト情報を生成する。また、付加情報生成部120は、撮像領域にぬいぐるみ20が含まれる一方で、撮像領域に含まれないものの情報端末10の近傍に他のぬいぐるみが存在することを示す情報が撮像領域情報に含まれている場合、特別なテキスト情報(例えば、「この他のぬいぐるみと次は一緒に写りたい」等のテキスト情報)を生成することもできる。
Also, when the imaging area information indicates that a plurality of stuffed animals are included in the imaging area, the additional
更に、ぬいぐるみ20や他のぬいぐるみにはそれぞれ、固有の特性(性別や性格等)が対応付けられていてもよい(この固有の特性は、ぬいぐるみ情報格納部124にぬいぐるみ情報として格納されている。)。付加情報生成部120は、撮像領域情報に含まれるぬいぐるみ20の固有の特性を示す情報をぬいぐるみ情報格納部124から取得し、取得した情報に基づいてテキスト情報を生成してもよい。例えば、付加情報生成部120は、ぬいぐるみ20の性格が「大人しい」場合や「やんちゃ」な場合等で、生成するテキストの語尾等を変化させたテキスト情報を生成する。また、撮像領域に複数のぬいぐるみが含まれている場合、及び/又は撮像領域と情報端末10近傍のそれぞれにぬいぐるみが含まれている場合、ぬいぐるみ同士の親密度に応じたテキスト情報を、付加情報生成部120は生成してもよい。ぬいぐるみ同士の親密度は、例えば、友達情報格納部128に友達関連情報として格納されている。
Furthermore, the stuffed
また、付加情報生成部120は、撮像領域に含まれるぬいぐるみ20の固有の特性を示す情報に基づいて、複数のテキスト情報を生成することもできる。そして、付加情報生成部120は、ユーザからの選択指示を指示受付部112が受け付けた場合、ユーザによって選択されたテキスト情報を付加情報として決定する。また、この場合において付加情報生成部120は、ぬいぐるみ情報更新部126に働きかけて、ユーザが選択したテキスト情報に対応する特性を、新たな特性としてぬいぐるみ20に対応付けるように、ぬいぐるみ情報格納部124に格納されているぬいぐるみ情報を更新させてもよい。例えば、付加情報生成部120は、撮像領域に含まれるぬいぐるみ20の固有の特性を示す情報に基づいて、当該特性に対応するテキスト情報の他に、他の特性に対応するテキスト情報を1つ以上生成する。そして、複数のテキスト情報からユーザが選択したテキスト情報が当該特性に対応するテキスト情報とは異なる他の特性に対応するテキスト情報である場合、付加情報生成部120は、ぬいぐるみ情報更新部126に、ぬいぐるみ情報格納部124に格納されているぬいぐるみ情報に含まれるぬいぐるみの特性をこの他の特性に更新させる。これにより、ぬいぐるみ20の特性をユーザの好みの特性に変更することができる。
Further, the additional
(供給部122)
供給部122は、撮像画像と、撮像画像に対応する付加情報とを所定のサーバ(例えば、ソーシャルネットワークサービス(SNS)のサーバ)に供給する。供給部122は、指示受付部112がユーザからのSNSへの投稿指示を受け付けた場合、所定のサーバに撮像部100が撮像した撮像画像及び付加情報を供給する。これにより、ぬいぐるみ20が主人公である撮像画像が付加情報と共に所定のサーバにアップされる。
(supply unit 122)
The
[撮影システム5の構成の詳細:ぬいぐるみ20の構成]
(構成部材200)
ぬいぐるみ20は、少なくとも1つの構成部材200を有して構成される。一例として、ぬいぐるみ20は、図4に示すように、頭部の構成部材200a、頭部に接続する胴体の構成部材200b、頭部に設けられる耳の構成部材200c及び構成部材200d、胴体に設けられる腕部の構成部材200e及び構成部材200f、及び胴体の頭部との接続側と反対側付近に設けられる脚部の構成部材200g及び構成部材200hとを有して構成される。なお、ぬいぐるみ20の各構成部材は、内部に1つ以上の駆動部を有していてもよい。例えば、所定の長さを有して構成されるぬいぐるみ20の腕部に対応する構成部材や耳に対応する構成部材の長手方向に沿って所定間隔で複数の駆動部及び各駆動部を連結する連結部材を設け、腕部や耳が折れ曲がるように構成することもできる。また、ぬいぐるみ20の形状、及びぬいぐるみ20を構成する構成部材は図4の例に限られない。ぬいぐるみ20の形状としては、様々な動物の形状、様々なキャラクターの形状等を採用できる。そして、ぬいぐるみ20を構成する構成部材の形状及び数も、ぬいぐるみ20全体の形状及び/又は機能に応じて適宜決定できる。ただし、ぬいぐるみ20は、カメラ等の撮像部を有さずに構成される。
[Details of Configuration of Shooting System 5: Configuration of Stuffed Toy 20]
(Constituent member 200)
The
一の構成部材と当該一の構成部材に隣接する他の構成部材とは駆動部を介して接続できる。例えば、図4の例においては、駆動部208aを介して構成部材200aと構成部材200bとが接続され、胴体の構成部材200bに対して頭部の構成部材200aが動くように構成される。また、駆動部208bを介して構成部材200bと右腕の構成部材200eとが接続され、駆動部208cを介して構成部材200bと左腕の構成部材200fとが接続され、駆動部208dを介して構成部材200aと右耳の構成部材200cとが接続され、駆動部208eを介して構成部材200aと左耳の構成部材200dとが接続され、駆動部208iを介して構成部材200bと右脚の構成部材200gとが接続され、駆動部208jを介して構成部材200bと左脚の構成部材200hとが接続される。ぬいぐるみ20の四肢及び両耳も、胴体に対する頭部と同様に動くように構成される。
One component and another component adjacent to the one component can be connected via a drive unit. For example, in the example of FIG. 4, the
また、ぬいぐるみ20の一方の目に駆動部208fが接続され、他方の目に駆動部208gが接続される。駆動部208f及び/又は駆動部208gは、目が開閉する動作や瞬きする動作をするように構成される。更に、ぬいぐるみ20の口部分に設けられる駆動部208hは、口の形状が変化する動作をするように構成される。
In addition, one eye of the
(ぬいぐるみ側送受信部202)
ぬいぐるみ側送受信部202は、情報端末10から撮像領域情報等の所定の情報を受け取り、受け取った所定の情報をぬいぐるみ20の所定の構成部材に供給する。また、ぬいぐるみ側送受信部202は、バッテリー残量に関する情報等、ぬいぐるみ20の所定の構成部材からの所定の情報を情報端末10の所定の構成部材に供給する。
(Plush toy side transmitter/receiver 202)
The plush toy-side transmitting/receiving
(動作情報格納部204)
動作情報格納部204は、バッテリー220の残量情報、撮像領域情報、及び/又は動作情報を格納する。動作情報格納部204は、ぬいぐるみ20を識別するぬいぐるみIDに対応付けてこれらの情報を格納してもよい。動作情報とは、ぬいぐるみ20が有する1つ以上の駆動部208、及び/又はスピーカー214等の構成部材の動作を規定する情報であって、当該動作のシナリオ情報、音声情報等の情報である。動作情報格納部204は、駆動制御部206の働きかけに応じ、所定の動作情報を駆動制御部206に供給する。なお、情報端末10が動作情報格納部204を有していてもよい。この場合、情報端末10が駆動制御部206に動作情報を供給する。または、情報端末10は、撮像領域情報に基づいて動作情報を生成する動作情報生成部を有していてもよい。動作情報生成部は、生成した動作情報を動作情報格納部204に供給する(この場合、動作情報格納部204は、情報端末10若しくはぬいぐるみ20が有する。)。
(Motion information storage unit 204)
The motion
(駆動制御部206、駆動部208)
駆動部208は、構成部材を動作させる。駆動部208は、例えば、RCサーボモーターやDCモータ、及び/又はポテンショメータ等で構成される。そして、駆動制御部206は、撮像領域情報に基づいて駆動部208の動作を制御する。例えば、駆動制御部206は、情報端末10から受け取った撮像領域情報に対応付けて動作情報格納部204に格納されている動作情報を用い、駆動部208を動作させる。なお、駆動制御部206は、撮像領域情報に含まれる撮像領域の位置、撮像領域にぬいぐるみ20と共に含まれるオブジェクトや他のぬいぐるみ、撮像領域の背景、撮像領域の撮像時の天気や湿度、撮像領域にぬいぐるみ20と共に写っている他のぬいぐるみとぬいぐるみ20との関係性(例えば、親密度等)等に応じ、動作情報に所定の変化を加えてもよい。
(Drive
A
(センサ210、マイク212、スピーカー214)
センサ210は、ぬいぐるみ20に対するユーザの接触やぬいぐるみ20の動作等を検出する。例えば、センサ210は、加速度センサ、静電容量タッチセンサ等である。また、マイク212は、ぬいぐるみ20の周囲の音声を取得する。更に、スピーカー214は、ぬいぐるみ20から各種の音声を出力する。例えば、駆動制御部206は、センサ210が検出したユーザによるぬいぐるみ20への接触を示す情報等、及び/又はマイク212が検出した音声等の情報に基づいて駆動部208の動作を制御してもよい。この場合、動作情報格納部204は、接触を示す情報や音声等の情報に対応付けて、動作情報を格納し、駆動制御部206は、接触を示す情報や音声の情報に対応する動作情報に基づいて駆動部208を動作させてよい。
(
The
(バッテリー220、バッテリー残量確認部222、充放電制御部224)
バッテリー220は、少なくとも駆動部208を動作させる電力を駆動部208に供給する。バッテリー220は、ぬいぐるみ20を構成する各構成部材のうち、電力を要する構成部材に電力を供給する。そして、バッテリー残量確認部222は、バッテリー220をモニタリングして、バッテリー220の残量を確認する。バッテリー残量確認部222は、バッテリー残量を示す情報を情報端末10及び/又は駆動制御部206に供給する。また、充放電制御部224は、バッテリー220の充電及び放電を制御する。
(
The
駆動制御部206は、バッテリー残量確認部222からバッテリー残量に関する情報を受け取った場合、バッテリー残量に基づいて駆動部208の動作を制御する。例えば、バッテリー残量が所定値以下であり、予め定められた閾値を超える場合、駆動制御部206は、ぬいぐるみ20があたかも眠気を催していたり、お腹がすいたような印象を与えるような動作をぬいぐるみ20がするように駆動部208を制御する。例えば、駆動制御部206は、ぬいぐるみ20の目の部分の駆動部を動作させ、ぬいぐるみ20が目を閉じている状態を実現させることや、耳部分の駆動部を動作させ、バッテリー残量に応じて段階的に耳が下がる動作を実行させることができる。
The
また、駆動制御部206は、バッテリー残量確認部222からバッテリー残量に関する情報を受け取り、バッテリー残量が予め定められた閾値以下である場合、駆動部208を予め定められた状態に設定し、その状態で駆動部208を停止させる。すなわち、バッテリー残量が駆動部208を十分に動作させることができない場合、ぬいぐるみ20の姿勢や表情がぬい撮りには適さない場合がある。そこで、バッテリー残量が予め定められた閾値以下になった場合、ぬい撮りにおいて不適切ではない撮像画像を撮像できるように、駆動制御部206は駆動部208の動作を制御し、ぬいぐるみ20の姿勢や表情をぬい撮りに適切な姿勢や表情にした上で、ぬいぐるみ20の動作(つまり、駆動部208の動作)を停止させる。これにより、バッテリー残量が駆動部208を動作させるには少なくなった場合であっても、ぬい撮りに適したぬいぐるみ20の姿勢や表情を維持できる。なお、バッテリー220が再び充電され、バッテリー残量が予め定められた閾値を超えるか、若しくは所定値を超えた場合、駆動制御部206は、駆動部208の動作を再開させることができる。
Further, the
[撮影システム5の処理の流れ]
図6は、本実施形態に係る撮影システムにおける処理の流れの一例を示す。
[Processing flow of imaging system 5]
FIG. 6 shows an example of the flow of processing in the imaging system according to this embodiment.
まず、撮像部100の撮像領域にぬいぐるみ20が入った状態において、指示受付部112が受け付けたユーザからの指示に応じるか若しくは自動的に、撮像制御部102は撮像部100を撮影準備状態にする(ステップ10。以下、ステップを「S」と表す。)。そして、撮像領域情報取得部104は、撮像部100が撮像している画像、若しくは撮像した撮像画像に基づいて撮像領域の撮像領域情報を取得する(S12)。撮像領域情報取得部104は、GPS機能や時計機能等の活用、撮像領域の画像認識、及び/又は画像解析により、撮像領域内のオブジェクトの有無、オブジェクトが含まれる場合は当該オブジェクトの種類(例えば、人物であるか物品であるか等を示す種類)、オブジェクトの動作や状態、撮像領域の背景、撮像領域の場所、撮影準備状態が開始された日時、及び/又は撮像領域の気温や天気等の情報を撮像領域情報として取得する。
First, in a state in which the stuffed
そして、情報端末側送受信部110は、撮像領域情報取得部104が取得した撮像領域情報をぬいぐるみ側送受信部202に送信する(S14)。なお、情報端末側送受信部110は、過去の撮像領域情報を送信してもよい。ぬいぐるみ側送受信部202が撮像領域情報を受信した場合、ぬいぐるみ側送受信部202は、撮像領域情報を駆動制御部206に供給すると共に、バッテリー残量確認部222にバッテリー220の残量を確認させる。そして、バッテリー残量確認部222は、バッテリー220の残量を確認する(S16)。バッテリー残量確認部222が、バッテリー220の残量が所定値を超えていることを確認した場合(S16の「所定値超え」)、駆動制御部206は撮像領域情報に基づいて所定の駆動部208の動作を制御する(S18)。具体的に、駆動制御部206は、撮像領域情報に対応付けて動作情報格納部204に格納されている動作情報を取得し、取得した動作情報に基づいて駆動部208を動作させる。
Then, the information terminal side transmitting/receiving
例えば動作情報格納部204には、撮像領域に人物が含まれており、この人物が所定の動作をしたことを示す撮像領域情報に対応付けて、ぬいぐるみ20に当該所定の動作を追随させることを示す動作情報を格納できる。一例として、駆動制御部206は、受け取った撮像領域情報に、ぬいぐるみ20と共に人物が撮像領域に含まれ、この人物が右手を上げる動作をしていることを示す情報が含まれている場合、この撮像領域情報に対応付けて動作情報格納部204に格納されている動作情報に基づいて、ぬいぐるみ20の胴体と右手とを繋ぐ駆動部208を動作させ、ぬいぐるみ20に右手を上げる動作を実行させる。
For example, the action
なお、情報端末10が動作情報格納部204を有するか、撮像領域情報に基づいて動作情報を生成する動作情報生成部を有していてもよく、この場合、情報端末10から動作情報がぬいぐるみ20の駆動制御部206に供給され、駆動制御部206は受け取った動作情報に応じて駆動部208を動作させることができる。ただし、本実施形態においてはぬいぐるみ20が動作情報格納部204を有する例を説明する。
Note that the
また、バッテリー残量確認部222が、バッテリー残量が所定の閾値を超え、所定値以下であることを確認した場合(S16の「閾値を超え所定値以下」)、駆動制御部206は駆動部208に予め定められた動作を実行させる(S20)。すなわち、駆動制御部206は、バッテリー残量が減少してきていることをユーザが把握できる動作をぬいぐるみ20に実行させる。例えば、バッテリー残量確認部222は、バッテリー残量が所定の閾値を超えている場合、当該閾値から所定値までの間を複数のゾーンに区切り(所定値>閾値)、バッテリー残量がいずれのゾーンに属するかを確認する。そして、駆動制御部206は、バッテリー残量が減少し、バッテリー残量が多いゾーンから少ないゾーンに移る毎に所定の駆動部208に所定の動作を実行させる。一例として、駆動制御部206は、ぬいぐるみ20の頭部に接続されている耳の構成部材200c及び構成部材200dの駆動部208d及び駆動部208eを動作させ、バッテリー残量が多いゾーンから少ないゾーンに移る毎に耳が下がる動作を実行させる。また、駆動制御部206は、ぬいぐるみ20の目の部分の駆動部208f及び駆動部208gを動作させ、バッテリー残量が多いゾーンから少ないゾーンに移る毎に徐々に目を閉じる動作をさせてもよい。この場合に、駆動制御部206は、例えば、頭部と胴体との間に設けられる駆動部208aを動作させ、ぬいぐるみ20が眠っているような動作(例えば、舟をこぐような動作)をさせてもよい。
Further, when the remaining battery
また、駆動制御部206は、バッテリー残量に応じて駆動部208の動作スピードを変更してもよい。例えば、駆動制御部206は、バッテリー残量が多いほど(バッテリー残量に比例して)、駆動部208の動作スピードを速めてもよい。若しくは、駆動制御部206は、バッテリー残量が少ないほど(バッテリー残量に反比例して)、駆動部208の動作スピードを速めてもよい。これにより、バッテリー残量によってぬいぐるみ20の挙動を変化させることができる。
Further, the
更に、バッテリー残量確認部222が、バッテリー残量が所定の閾値以下であることを確認した場合(S16の「閾値以下」)、駆動制御部206は駆動部208を特定の状態にした上で駆動部208の動作を停止させる(S22)。すなわち、駆動制御部206は、バッテリー残量が駆動部208を動作させることができなくなる前に、ぬいぐるみ20の姿勢や表情を所定の姿勢や表情にした上で駆動部208の動作を停止させることで、この姿勢や表情を維持させる。駆動制御部206は、バッテリー残量が残存していたとしても当該残量が所定の閾値以下である場合、充電によりバッテリー残量が回復するまでは駆動部208の動作を停止させる。これにより、バッテリー切れ時にしか取らない姿勢や見せない表情をぬいぐるみ20にさせることができる。すなわち、バッテリー残量が駆動部208の動作に不十分な場合に上記プロセスを実行することで、ぬい撮りにおいて写真を撮ってもかわいいとユーザが思うぬいぐるみ20の姿勢や表情を維持できる(つまり、撮像に不適な姿勢や表情でぬいぐるみ20の動作が停止しないように、駆動部を駆動させることができないバッテリー残量になる前に、駆動部の動作を停止できる。)。なお、情報端末10とぬいぐるみ20との間で通信可能な程度の電力をバッテリー220に残存させる観点や、ぬいぐるみ20の姿勢や表情を所定の姿勢や表情にするために駆動部208を動作させる程度の電力を残存させる観点から、バッテリー残量の上記閾値は決定される。
Furthermore, when the remaining battery
続いて、ユーザからの撮像指示を指示受付部112が受け付けた場合に、撮像制御部102は撮像部100に撮像を実行させる(S24)。撮像部100が撮像した撮像画像は、画像格納部114及び/又は表示部130に供給される。
Subsequently, when the
そして、画像処理制御部116は、撮像領域情報及び/又はバッテリー残量を示す情報に基づいて、撮像部100が撮像した撮像画像に画像処理を施すか否かを判断する(S26)。具体的に、画像処理制御部116は、撮像領域情報を参照し、撮像領域情報に対応付けて動作情報格納部204に動作情報が格納されていない場合や、動作情報が格納されていたとしても当該動作情報によってはぬいぐるみ20が動作を完遂できない場合(例えば、撮像領域情報に撮像領域に含まれる人物の動作や姿勢を示す情報が含まれるものの、当該動作や姿勢をぬいぐるみ20が追随できない場合)等において、画像処理を画像に施すと判断する(S26のYes)。
Then, the image
画像処理制御部116が画像処理を画像に施すと判断した場合、画像処理部118は撮像部100が撮像した撮像画像に画像処理を施す(S28)。例えば、撮像領域情報に撮像領域に含まれる人物の姿勢を示す情報が含まれ、動作情報が当該姿勢を追随することを駆動部に指令する内容である場合において、ぬいぐるみ20の構造上、当該姿勢をぬいぐるみ20に取らせることができない場合(一例として、人物が正座をしており、ぬいぐるみ20が正座の姿勢をとることができない場合)、画像処理部118は、撮像部100が撮像した撮像画像のぬいぐるみ20が表示される位置(つまり、表示部130に表示されるぬいぐるみ20の位置)に、正座した状態のぬいぐるみの画像を合成する。この場合、正座した状態のぬいぐるみ20の画像(合成用の画像)は画像格納部114に格納されており、画像処理部118は画像格納部114の当該画像を用いて画像処理(例えば、画像合成処理)を実行する。そして、画像処理が施された撮像画像は、表示部130に表示される。なお、画像処理が施された撮像画像を画像格納部114に格納することもできる。
When the image
また、画像処理制御部116は、撮像領域情報を参照し、撮像領域の状況に応じて画像処理の実行有無を判断してもよい。撮像領域の状況とは、例えば、撮像領域の日時、場所、天気等である。一例として、撮像領域の場所が所定の場所(例えば、観光地や行楽地、景勝地等)である場合、画像処理制御部116は、撮像画像の一部若しくは全てに対して画像処理の実行を決定してよい。
Further, the image
図7は、本実施形態に係る画像処理部による画像処理の一例を示す。 FIG. 7 shows an example of image processing by the image processing unit according to this embodiment.
例えば、日本の古都等の五重塔を背景にぬいぐるみ20を撮像する場合を説明する。この場合、撮像領域情報取得部104は、撮像領域情報として撮像領域の場所が日本の所定の場所であり、背景に日本伝統の建造物が含まれている情報を取得する。そして、画像処理制御部116は、この情報に基づいて撮像画像の一部に対して画像処理の実行を決定する。例えば、画像処理制御部116は、画像処理部118に、撮像領域に含まれるぬいぐるみ20の表示部130における表示位置に撮像領域の場所に適した画像を合成させる。一例として、ぬいぐるみ20が着物を着用し、正座している画像を合成する。これにより、図7に示すように、五重塔等を背景にし、ぬいぐるみ20が着物を着用して正座している状態を示す合成画像22が表示部130に表示される。このように、画像処理部118による画像処理により、撮像領域の場所に応じてぬいぐるみ20の姿勢を変化させた状態の合成画像や、着せ替えをしたぬいぐるみ20の合成画像を表示部130に表示できる。
For example, a case of capturing an image of the stuffed
なお、画像処理部118は、ぬいぐるみ20の表示部130における表示位置に、ぬいぐるみ20の撮像画像を表示すると共に、当該撮像画像の一部に対して画像を合成してもよい。例えば、ぬいぐるみ20の頭部については撮像画像を表示すると共に、頭部を除く他の部分に合成用画像を合成してもよい。これにより、撮像領域情報にぬいぐるみ20が追随できない姿勢や動作を示す情報が含まれていたとしても(つまり、ぬいぐるみ20の各駆動部を動作させても実現できない姿勢や動作を示す情報が含まれていたとしても)、当該姿勢や動作を示す合成用画像を撮像画像に合成することができる。
Note that the
なお、画像処理部118は、撮像領域情報に含まれる撮像領域の位置、撮像領域にぬいぐるみ20と共に含まれるオブジェクトや他のぬいぐるみ、撮像領域の背景、撮像領域の撮像時の天気や温度・湿度、撮像領域にぬいぐるみ20と共に写っている他のぬいぐるみとぬいぐるみ20との関係性(例えば、親密度等)等に応じ、合成する画像に所定の変化を加えてもよい。
Note that the
また、画像処理制御部116は、バッテリー残量確認部222の確認結果を参照し、バッテリー残量が所定の閾値以下の場合、画像処理を画像に施すべきと判断することもできる(S26のYes)。例えば、画像処理制御部116は、バッテリー残量が所定の閾値以下の場合、画像処理部118に、撮像領域に含まれるぬいぐるみ20の表示部130における表示位置にぬいぐるみ20が眠っている画像、ぬいぐるみ20の目の表示位置に目が回っている画像、ぬいぐるみ20の周囲に所定の図形や記号を表示する画像(例えば、ぬいぐるみ20の顔周辺にビックリマーク等の図形を表示する画像)、又はぬいぐるみ20が所定のオブジェクトの裏に隠れるような画像等を合成させる。
In addition, the image
このように、情報端末10による撮像時に、ぬいぐるみ20のバッテリー残量が少なくなっていることを示す合成画像や、ぬいぐるみ20に所定の動作をさせることができるので、撮像時にぬいぐるみ20のバッテリー残量をユーザに意識させることができる。これにより、ぬいぐるみ20を含む撮像領域を実際に撮像する場合に、ぬいぐるみ20のバッテリー残量がないことにより適切な画像を撮像できなくなることを抑制できる。
In this way, when an image is captured by the
なお、画像処理部118が画像の合成に用いる合成用画像は、画像格納部114に格納されていてもよく、外部のサーバから取得した合成用画像であってもよい。また、合成用画像は、画像が撮像される場所において、当該場所に特有の合成用画像を格納する所定のサーバから取得可能な合成用画像であってもよい。
Note that the image for synthesis used by the
一方、画像処理制御部116が、画像処理を実行しないと判断した場合(S26のNo)、撮像画像が表示部130に表示される。なお、撮像画像を画像格納部114に格納することもできる。
On the other hand, when the image
[撮影システム5の処理の流れの変形例]
図8は、本実施形態に係る撮影システムにおける処理の流れの変形例の一例を示す。また、図9は、本実施形態に係る付加情報の作成例を示す。なお、図8の例においては、S24とS30との間においてS32の工程が実行される点を除き、図6の例と略同一の処理が実行される。したがって、相違点を除き詳細な説明は省略する。
[Modification of the flow of processing of the imaging system 5]
FIG. 8 shows an example of a modification of the processing flow in the imaging system according to this embodiment. Also, FIG. 9 shows an example of creating additional information according to the present embodiment. In the example of FIG. 8, substantially the same processing as in the example of FIG. 6 is performed except that the step of S32 is performed between S24 and S30. Therefore, detailed description is omitted except for the differences.
図8の例では、撮像画像に対し、付加情報が生成される(S32)。すなわち、まず、撮像領域情報取得部104が取得した撮像領域情報(画像解析部106が撮像画像を解析した結果を示す情報を含む)に基づいて、撮像画像に含まれるぬいぐるみ20、オブジェクト、背景等が特定される。そして、付加情報生成部120は、特定結果に基づいて撮像画像に適した付加情報を生成する。
In the example of FIG. 8, additional information is generated for the captured image (S32). That is, first, based on the imaging region information (including information indicating the result of analysis of the captured image by the image analysis unit 106) acquired by the imaging region
一例として、図9に示すような撮像領域の画像を撮像部100が撮像した場合を説明する。なお、当該画像は撮像部100が撮像指示に応じて撮影した撮像画像、若しくは撮影準備状態において撮像部100が撮像した画像のいずれであってもよい。この場合に付加情報生成部120は、撮像領域の画像について撮像領域情報取得部104が取得した撮像領域情報に基づいて付加情報を生成する。例えば、図9においては、撮像領域にぬいぐるみ20と他のぬいぐるみ24(小鳥のぬいぐるみ)とが含まれ、ぬいぐるみ20及びぬいぐるみ24の手前にアイスクリームが含まれ、アイスクリームの大きさがぬいぐるみ20及びぬいぐるみ24の口部に比して大きいことを示す撮像領域情報が生成される。
As an example, a case where the
この場合において付加情報生成部120は、撮像領域の状況に応じたテキスト情報を生成する。図9の例では、一例として、「アイスクリームおいしそう!」「僕らには大きすぎ?!」のような付加情報としてのテキスト情報26を、付加情報生成部120は生成する。なお、付加情報生成部120は、撮像領域の状況に応じた音声情報や記号情報等を付加情報として生成してもよい。そして、付加情報生成部120は、撮像画像に生成した付加情報を対応付ける。この場合において、画像格納部114は、格納している撮像画像に対応付けて付加情報生成部120が生成した付加情報も格納してよい。
In this case, the additional
そして、付加情報生成部120は、生成した付加情報を撮像画像と共に表示部130に表示する(S30)。また、この場合において、指示受付部112は、撮像画像及び付加情報を所定のSNSに投稿するユーザからの指示を受け付けることができる。指示受付部112が当該指示を受け付けた場合、供給部122は、撮像画像及び付加情報を所定のサーバに投稿する(投稿処理:S34)。なお、指示受付部112は、表示部130の所定の位置に「投稿ボタン」を表示させ、ユーザがこの投稿ボタンをタップした場合に投稿処理を実行してもよい。これによりユーザは、ぬいぐるみ20を含む画像を撮像した場合に、撮像状況に応じた付加情報と共に撮像画像をSNSに手軽に素早く投稿できる。
Then, the additional
[実施の形態の効果]
本実施形態に係る撮影システム5は、ぬいぐるみ20のポーズや表情を撮影状況に応じて変化させることができるので、付加価値の高い撮像画像を撮像できる。すなわち、ぬいぐるみ20の周囲の状況に応じてぬいぐるみ20のポーズや表情を変化させることができることから、ぬいぐるみ20の愛玩性を高めること、及び/又はユーザ等にとって愛着がわくぬいぐるみ20が主人公になっている構図の撮像画像を撮ることができる。
[Effects of Embodiment]
The photographing system 5 according to the present embodiment can change the pose and facial expression of the stuffed
また、撮影システム5は、画像の撮像時に、撮影準備状態での撮像領域の撮像領域情報を取得し、この撮像領域情報に基づいてぬいぐるみ20の各駆動部を動作させることで撮像時の状況に応じて動作するぬいぐるみ20の撮像画像を取得できる。これにより、従来より付加価値の高いぬい撮り用の撮像画像を提供できると共に、愛玩性の高いぬいぐるみ20を提供できる。更に、撮影システム5は、外出時に一緒に連れていくぬいぐるみ20に発生するバッテリー残量の変化に応じ、ぬいぐるみ20に所定の動作を実行させること、及び/又は所定の動作後の更なる動作を停止させることができるので、バッテリー残量に対して適切な画像を撮像することができる。
In addition, the photographing system 5 acquires the photographing area information of the photographing area in the photographing preparation state at the time of photographing an image, and operates each driving unit of the stuffed
また、撮影システム5は、撮像画像自体の付加価値が高くない場合であっても、付加情報を撮像画像に対応付けることができるので、例えばSNSで撮像画像を共有する場合に撮像画像と付加情報とで付加価値を向上させることができる。また、撮像画像に付加情報を紐づけできるので、両情報のSNSへのアップロードを容易かつ手軽にできる。 In addition, even if the added value of the captured image itself is not high, the shooting system 5 can associate the additional information with the captured image. can improve added value. In addition, since additional information can be associated with the captured image, both information can be easily and easily uploaded to the SNS.
[他の実施の形態]
図10は、他の実施形態に係る撮影システムの処理の流れの一例を示す。なお、図10においてS40、S42、S44、及びS46のステップはそれぞれ、図6のS10、S12、S24、及びS32のステップと略同様の工程であるので相違点を除き詳細な説明は省略する。
[Other embodiments]
FIG. 10 shows an example of the processing flow of an imaging system according to another embodiment. Note that steps S40, S42, S44, and S46 in FIG. 10 are substantially the same steps as steps S10, S12, S24, and S32 in FIG.
まず、撮像部100の撮像領域にぬいぐるみ20が入った状態において、撮像制御部102は撮像部100を撮影準備状態にする(S40)。そして、撮像領域情報取得部104は、撮像領域の撮像領域情報を取得する(S42)。続いて、ユーザからの撮像指示を指示受付部112が受け付けた場合に、撮像制御部102は撮像部100に撮像を実行させる(S44)。更に、付加情報生成部120は、撮像領域情報取得部104が取得した撮像領域情報に基づいて付加情報を生成する(S46)。付加情報生成部120は、撮像画像と共に当該撮像画像に対応する付加情報を画像格納部114に格納する。続いて、指示受付部112がユーザから所定のサーバへの撮像画像及び付加情報の投稿指示を受け付けた場合、供給部122は、撮像画像と当該撮像画像に対応する付加情報とを所定のサーバに送信する(S48)。所定のサーバは、例えば、SNSのサーバであり、供給部122が撮像画像と付加情報とを当該サーバに送信することにより、SNSに撮像画像と付加情報とが投稿される。なお、S46の工程後、表示部130は、撮像画像と共に付加情報を表示することができる。
First, in a state in which the stuffed
[撮影プログラム]
図1~図10に示した本実施形態に係る撮影システム5が備える各構成要素は、中央演算処理装置(Central Processing Unit:CPU)等の演算処理装置にプログラム(すなわち、撮影プログラム)を実行させること、つまり、ソフトウェアによる処理により実現できる。また、集積回路(Integrated Circuit:IC)等の電子部品としてのハードウェアにプログラムを予め書き込むことで実現することもできる。なお、ソフトウェアとハードウェアとを併用することもできる。
[Shooting program]
Each component included in the imaging system 5 according to the present embodiment shown in FIGS. 1 to 10 causes an arithmetic processing unit such as a central processing unit (CPU) to execute a program (that is, an imaging program) That is, it can be realized by software processing. Moreover, it can also be realized by writing a program in advance in hardware such as an electronic component such as an integrated circuit (IC). Note that software and hardware can also be used together.
本実施形態に係る撮影プログラムは、例えば、ICやROM等に予め組み込むことができる。また、撮影プログラムは、インストール可能な形式、又は実行可能な形式のファイルで、磁気記録媒体、光学記録媒体、半導体記録媒体等のコンピュータで読み取り可能な記録媒体に記録し、コンピュータプログラムとして提供することもできる。プログラムを格納している記録媒体は、CD-ROMやDVD等の非一過性の記録媒体であってよい。更に、撮影プログラムを、インターネット等の通信ネットワークに接続されたコンピュータに予め格納させ、通信ネットワークを介してダウンロードによる提供ができるようにすることもできる。 The imaging program according to this embodiment can be pre-installed in an IC, ROM, or the like, for example. In addition, the shooting program shall be recorded in a computer-readable recording medium such as a magnetic recording medium, an optical recording medium, or a semiconductor recording medium in an installable format or an executable format file, and provided as a computer program. can also The recording medium storing the program may be a non-transitory recording medium such as CD-ROM or DVD. Furthermore, the photographing program can be stored in advance in a computer connected to a communication network such as the Internet, and can be provided by downloading via the communication network.
本実施形態に係る撮影プログラムは、CPU等に働きかけて、撮影プログラムを、図1~図10にかけて説明した撮像部100、撮像制御部102、撮像領域情報取得部104、画像解析部106、撮像領域情報格納部108、情報端末側送受信部110、指示受付部112、画像格納部114、画像処理制御部116、画像処理部118、付加情報生成部120、供給部122、ぬいぐるみ情報格納部124、ぬいぐるみ情報更新部126、友達情報格納部128、表示部130、ぬいぐるみ側送受信部202、動作情報格納部204、駆動制御部206、バッテリー残量確認部222、及び充放電制御部224として機能させる。
The imaging program according to the present embodiment works on the CPU or the like, and the
以上、本発明の実施形態を説明したが、上記に記載した実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない点に留意すべきである。更に、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品とのような複数の部分に分割されて適用されるようにすることもできる。 Although the embodiments of the present invention have been described above, the embodiments described above do not limit the invention according to the scope of claims. Also, it should be noted that not all combinations of features described in the embodiments are essential to the means for solving the problems of the invention. Furthermore, the technical elements of the above embodiments may be applied singly or may be applied after being divided into a plurality of parts such as program parts and hardware parts.
なお、本実施形態に係る撮影システムは、特許請求の範囲と混同されるべきでない以下の付記項でも言及できる。
(付記項1)
情報端末と前記情報端末から供給される所定の情報に基づいて動作可能なぬいぐるみとを備える撮影システムであって、
前記情報端末が、
前記ぬいぐるみが含まれる撮像領域を撮像する撮像部と、
前記撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得部と、
前記撮像部が撮像する撮像画像に対応する付加情報を、前記撮像領域情報に基づいて生成する付加情報生成部と
を有する撮影システム。
Note that the imaging system according to the present embodiment can also be referred to in the following additional claims that should not be confused with the claims.
(Appendix 1)
A photography system comprising an information terminal and a stuffed animal operable based on predetermined information supplied from the information terminal,
The information terminal
an imaging unit configured to capture an image of an imaging area including the stuffed toy;
an imaging area information acquisition unit that acquires imaging area information that is information about the imaging area;
and an additional information generation unit that generates additional information corresponding to the captured image captured by the imaging unit based on the imaging region information.
1 オブジェクト
5 撮影システム
10 情報端末
20、24 ぬいぐるみ
22 合成画像
26 テキスト情報
100 撮像部
102 撮像制御部
104 撮像領域情報取得部
106 画像解析部
108 撮像領域情報格納部
110 情報端末側送受信部
112 指示受付部
114 画像格納部
116 画像処理制御部
118 画像処理部
120 付加情報生成部
122 供給部
124 ぬいぐるみ情報格納部
126 ぬいぐるみ情報更新部
128 友達情報格納部
130 表示部
200 構成部材
200a、200b、200c、200d、200e、200f、200g、200h 構成部材
202 ぬいぐるみ側送受信部
204 動作情報格納部
206 駆動制御部
208 駆動部
208a、208b、208c、208d、208e、208f、208g、208h、208i、208j 駆動部
210 センサ
212 マイク
214 スピーカー
220 バッテリー
222 バッテリー残量確認部
224 充放電制御部
1 object 5 photographing
Claims (13)
前記情報端末が、
前記ぬいぐるみが含まれる撮像領域を撮像する撮像部と、
前記撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得部と
を有し、
前記ぬいぐるみが、
少なくとも1つの構成部材と、
前記構成部材を動作させる駆動部と、
前記撮像領域情報に基づいて前記駆動部の動作を制御する駆動制御部と
を有し、
前記撮像領域情報取得部が、前記撮像部の撮像指示を待機する撮影準備状態において、前記撮像領域情報を取得する撮影システム。 A photography system comprising an information terminal and a stuffed animal operable based on predetermined information supplied from the information terminal,
The information terminal
an imaging unit configured to capture an image of an imaging area including the stuffed animal;
an imaging area information acquisition unit that acquires imaging area information that is information about the imaging area;
The stuffed toy
at least one component;
a driving unit that operates the component;
a drive control unit that controls the operation of the drive unit based on the imaging area information;
The imaging system, wherein the imaging area information acquisition unit acquires the imaging area information in a shooting preparation state in which the imaging unit waits for an imaging instruction.
前記撮像領域を表示する表示部と、
前記撮像領域に含まれる前記ぬいぐるみの前記表示部の表示位置に所定の画像を合成する画像処理部と
を更に有する請求項1に記載の撮影システム。 The information terminal
a display unit that displays the imaging area;
2. The photographing system according to claim 1, further comprising an image processing section for synthesizing a predetermined image at the display position of the stuffed toy included in the photographing area on the display section.
少なくとも前記駆動部を動作させるバッテリー
を更に有し、
前記駆動制御部が、前記バッテリーのバッテリー残量に基づいて前記駆動部の動作を制御する請求項1又は2に記載の撮影システム。 The stuffed toy
further comprising a battery that operates at least the drive unit;
3. The imaging system according to claim 1, wherein the drive control section controls the operation of the drive section based on the remaining battery capacity of the battery.
少なくとも前記駆動部を動作させるバッテリー
を更に有し、
前記駆動制御部が、前記バッテリーのバッテリー残量が予め定められた基準を下回った場合、前記駆動部を予め定められた状態に設定し、当該状態で前記駆動部を停止させる請求項1又は2に記載の撮影システム。 The stuffed toy
further comprising a battery that operates at least the drive unit;
3. The drive control unit sets the drive unit to a predetermined state and stops the drive unit in that state when the remaining battery charge of the battery falls below a predetermined reference. The imaging system described in .
前記撮像部が撮像する撮像画像に対応する付加情報を、前記撮像領域情報に基づいて生成する付加情報生成部を更に有する請求項1~4のいずれか1項に記載の撮影システム。 The information terminal
5. The imaging system according to any one of claims 1 to 4, further comprising an additional information generating section that generates additional information corresponding to the captured image captured by said imaging section based on said imaging area information.
前記撮像画像と、前記撮像画像に対応する前記付加情報とを所定のサーバに供給する供給部
を更に有する請求項5に記載の撮影システム。 The information terminal
6. The imaging system according to claim 5, further comprising a supply unit that supplies the captured image and the additional information corresponding to the captured image to a predetermined server.
前記ぬいぐるみが含まれる撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得工程と、
前記ぬいぐるみを構成する少なくとも1つの構成部材を動作させる駆動部の動作を、前記撮像領域情報に基づいて制御する駆動制御工程と
を備え、
前記撮像領域情報取得工程が、前記撮像部の撮像指示を待機する撮影準備状態において、前記撮像領域情報を取得する撮影方法。 A photographing method for photographing an image including an information terminal having an imaging unit and a stuffed toy that can be moved based on predetermined information supplied from the information terminal, the method comprising:
an imaging area information acquiring step of acquiring imaging area information, which is information about an imaging area including the stuffed toy;
a drive control step of controlling the operation of a driving unit that operates at least one component that constitutes the stuffed toy based on the imaging area information;
The imaging method, wherein the imaging area information acquiring step acquires the imaging area information in a shooting preparation state in which the imaging unit waits for an imaging instruction.
コンピュータに、
前記ぬいぐるみが含まれる撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得機能と、
前記ぬいぐるみを構成する少なくとも1つの構成部材を動作させる駆動部の動作を、前記撮像領域情報に基づいて制御する駆動制御機能と
を実現させ、
前記撮像領域情報取得機能が、前記撮像部の撮像指示を待機する撮影準備状態において、前記撮像領域情報を取得する撮影プログラム。 A photographing program for a photographing system for photographing an image including an operable stuffed toy based on predetermined information supplied from an information terminal having an imaging unit and the information terminal,
to the computer,
an imaging area information acquisition function for acquiring imaging area information, which is information about an imaging area including the stuffed animal;
realizing a drive control function for controlling the operation of a driving unit that operates at least one component that constitutes the stuffed animal, based on the imaging region information;
A photographing program in which the imaging area information acquisition function acquires the imaging area information in an imaging preparation state in which the imaging unit waits for an imaging instruction.
少なくとも1つの構成部材と、
前記構成部材を動作させる駆動部と、
前記情報端末の撮像領域であって、前記ぬいぐるみが含まれる前記撮像領域に関する情報であり、前記撮像部の撮像指示を待機する撮影準備状態において前記撮像領域情報取得部が取得した撮像領域情報に基づいて前記駆動部の動作を制御する駆動制御部と
を備えるぬいぐるみ。 A stuffed toy capable of moving based on predetermined information supplied from an information terminal having an imaging unit and an imaging area information acquisition unit that acquires imaging area information that is information about the imaging area,
at least one component;
a driving unit that operates the component;
The imaging area of the information terminal, which is information about the imaging area including the stuffed animal, based on the imaging area information acquired by the imaging area information acquisition unit in a shooting preparation state in which the imaging unit waits for an imaging instruction and a drive control section for controlling the operation of the drive section.
前記情報端末が、
前記ぬいぐるみが含まれる撮像領域を撮像する撮像部と、
前記撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得部と
前記撮像領域を表示する表示部と、
前記撮像領域に含まれる前記ぬいぐるみの前記表示部の表示位置に所定の画像を合成する画像処理部と
を有し、
前記ぬいぐるみが、
少なくとも1つの構成部材と、
前記構成部材を動作させる駆動部と、
前記撮像領域情報に基づいて前記駆動部の動作を制御する駆動制御部と
を有する撮影システム。 A photography system comprising an information terminal and a stuffed animal operable based on predetermined information supplied from the information terminal,
The information terminal
an imaging unit configured to capture an image of an imaging area including the stuffed animal;
an imaging area information acquisition unit that acquires imaging area information that is information about the imaging area; a display unit that displays the imaging area;
an image processing unit that synthesizes a predetermined image at a display position of the display unit of the stuffed animal included in the imaging area;
The stuffed toy
at least one component;
a driving unit that operates the component;
and a driving control section that controls the operation of the driving section based on the imaging area information.
前記ぬいぐるみが含まれる撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得工程と、
前記ぬいぐるみを構成する少なくとも1つの構成部材を動作させる駆動部の動作を、前記撮像領域情報に基づいて制御する駆動制御工程と
を備え、
前記情報端末が、
前記撮像領域を表示する表示部と、
前記撮像領域に含まれる前記ぬいぐるみの前記表示部の表示位置に所定の画像を合成する画像処理部と
を有する撮影方法。 A photographing method for photographing an image including an operable stuffed toy based on predetermined information supplied from an information terminal and the information terminal,
an imaging area information acquiring step of acquiring imaging area information, which is information about an imaging area including the stuffed toy;
a drive control step of controlling the operation of a driving unit that operates at least one component that constitutes the stuffed toy based on the imaging area information;
The information terminal
a display unit that displays the imaging area;
and an image processing unit that synthesizes a predetermined image at the display position of the stuffed animal included in the imaging area on the display unit.
コンピュータに、
前記ぬいぐるみが含まれる撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得機能と、
前記ぬいぐるみを構成する少なくとも1つの構成部材を動作させる駆動部の動作を、前記撮像領域情報に基づいて制御する駆動制御機能と
を実現させ、
前記情報端末が、
前記撮像領域を表示する表示部と、
前記撮像領域に含まれる前記ぬいぐるみの前記表示部の表示位置に所定の画像を合成する画像処理部と
を有する撮影プログラム。 A photographing program for a photographing system for photographing an image including an operable stuffed animal based on predetermined information supplied from an information terminal and the information terminal,
to the computer,
an imaging area information acquisition function for acquiring imaging area information, which is information about an imaging area including the stuffed animal;
realizing a drive control function for controlling the operation of a driving unit that operates at least one component that constitutes the stuffed animal, based on the imaging region information;
The information terminal
a display unit that displays the imaging area;
and an image processing unit that synthesizes a predetermined image at the display position of the stuffed animal included in the imaging area on the display unit.
少なくとも1つの構成部材と、
前記構成部材を動作させる駆動部と、
前記情報端末の撮像領域であって、前記ぬいぐるみが含まれる前記撮像領域に関する情報である撮像領域情報に基づいて前記駆動部の動作を制御する駆動制御部と
を備えるぬいぐるみ。 It is operable based on predetermined information supplied from an information terminal having a display section for displaying an imaging area and an image processing section for synthesizing a predetermined image at a display position of the display section of the stuffed animal included in the imaging area. being a stuffed animal,
at least one component;
a driving unit that operates the component;
and a drive control unit that controls the operation of the drive unit based on imaging area information that is information about the imaging area that is the imaging area of the information terminal and that includes the stuffed toy.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019204415A JP7128591B2 (en) | 2019-11-12 | 2019-11-12 | Shooting system, shooting method, shooting program, and stuffed animal |
JP2022130612A JP7431903B2 (en) | 2019-11-12 | 2022-08-18 | Photography system, photography method, photography program, and stuffed animal |
JP2024014619A JP2024050757A (en) | 2019-11-12 | 2024-02-02 | Photographing system, photographing method, photographing program, and stuffed toy |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019204415A JP7128591B2 (en) | 2019-11-12 | 2019-11-12 | Shooting system, shooting method, shooting program, and stuffed animal |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022130612A Division JP7431903B2 (en) | 2019-11-12 | 2022-08-18 | Photography system, photography method, photography program, and stuffed animal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021074361A JP2021074361A (en) | 2021-05-20 |
JP7128591B2 true JP7128591B2 (en) | 2022-08-31 |
Family
ID=75897743
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019204415A Active JP7128591B2 (en) | 2019-11-12 | 2019-11-12 | Shooting system, shooting method, shooting program, and stuffed animal |
JP2022130612A Active JP7431903B2 (en) | 2019-11-12 | 2022-08-18 | Photography system, photography method, photography program, and stuffed animal |
JP2024014619A Pending JP2024050757A (en) | 2019-11-12 | 2024-02-02 | Photographing system, photographing method, photographing program, and stuffed toy |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022130612A Active JP7431903B2 (en) | 2019-11-12 | 2022-08-18 | Photography system, photography method, photography program, and stuffed animal |
JP2024014619A Pending JP2024050757A (en) | 2019-11-12 | 2024-02-02 | Photographing system, photographing method, photographing program, and stuffed toy |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7128591B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7450692B1 (en) | 2022-11-21 | 2024-03-15 | 株式会社ポケモン | Program, method, information processing device, system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002059389A (en) | 2000-08-16 | 2002-02-26 | Sony Corp | Autonomous walking robot device |
JP2004355567A (en) | 2003-05-30 | 2004-12-16 | Casio Comput Co Ltd | Image output device, image output method, image output processing program, image distribution server and image distribution processing program |
JP2005039510A (en) | 2003-07-14 | 2005-02-10 | Sony Corp | Imaging system and imaging method |
JP2007098555A (en) | 2005-10-07 | 2007-04-19 | Nippon Telegr & Teleph Corp <Ntt> | Position indicating method, indicator and program for achieving the method |
JP2009134333A (en) | 2007-11-28 | 2009-06-18 | Nec Corp | Digital photograph sharing system device |
JP2011166589A (en) | 2010-02-12 | 2011-08-25 | Aplix Corp | Portable terminal and information presentation method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006040045A (en) | 2004-07-28 | 2006-02-09 | Sony Corp | Information processor, cubic object, information processing system and information processing method |
JP5825865B2 (en) | 2011-06-09 | 2015-12-02 | 株式会社タイトー | A game system that allows real prizes and virtual prizes to be linked |
JP5583741B2 (en) | 2012-12-04 | 2014-09-03 | 株式会社バンダイ | Portable terminal device, terminal program, and toy |
JP6916460B2 (en) | 2016-08-31 | 2021-08-11 | カシオ計算機株式会社 | Object display system, user terminal device, object display method and program |
-
2019
- 2019-11-12 JP JP2019204415A patent/JP7128591B2/en active Active
-
2022
- 2022-08-18 JP JP2022130612A patent/JP7431903B2/en active Active
-
2024
- 2024-02-02 JP JP2024014619A patent/JP2024050757A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002059389A (en) | 2000-08-16 | 2002-02-26 | Sony Corp | Autonomous walking robot device |
JP2004355567A (en) | 2003-05-30 | 2004-12-16 | Casio Comput Co Ltd | Image output device, image output method, image output processing program, image distribution server and image distribution processing program |
JP2005039510A (en) | 2003-07-14 | 2005-02-10 | Sony Corp | Imaging system and imaging method |
JP2007098555A (en) | 2005-10-07 | 2007-04-19 | Nippon Telegr & Teleph Corp <Ntt> | Position indicating method, indicator and program for achieving the method |
JP2009134333A (en) | 2007-11-28 | 2009-06-18 | Nec Corp | Digital photograph sharing system device |
JP2011166589A (en) | 2010-02-12 | 2011-08-25 | Aplix Corp | Portable terminal and information presentation method |
Also Published As
Publication number | Publication date |
---|---|
JP7431903B2 (en) | 2024-02-15 |
JP2021074361A (en) | 2021-05-20 |
JP2024050757A (en) | 2024-04-10 |
JP2022171671A (en) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11790589B1 (en) | System and method for creating avatars or animated sequences using human body features extracted from a still image | |
US11000952B2 (en) | More endearing robot, method of controlling the same, and non-transitory recording medium | |
US10334158B2 (en) | Autonomous media capturing | |
JP2023017880A (en) | Information processing device and information processing method | |
JP7298860B2 (en) | Autonomous action type robot assuming a virtual character | |
JP2012519333A (en) | Image conversion system and method | |
US20180376069A1 (en) | Erroneous operation-preventable robot, robot control method, and recording medium | |
US20230266767A1 (en) | Information processing apparatus, information processing method, and program | |
JP2024050757A (en) | Photographing system, photographing method, photographing program, and stuffed toy | |
US20230173683A1 (en) | Behavior control device, behavior control method, and program | |
JP7278307B2 (en) | Computer program, server device, terminal device and display method | |
CN108737714A (en) | A kind of photographic method and device | |
WO2019123744A1 (en) | Information processing device, information processing method, and program | |
US11938625B2 (en) | Information processing apparatus, information processing method, and program | |
WO2021036839A1 (en) | Camera control method and apparatus, and terminal device | |
JP6935531B1 (en) | Information processing programs and information processing systems | |
CN114025854A (en) | Program, method, and terminal device | |
KR102667751B1 (en) | Method of providing photo services using augmented reality characters controlled by AI | |
KR102596322B1 (en) | Method, system, and non-transitory computer-readable recording medium for authoring contents based on in-vehicle video | |
JP2022178967A (en) | Imaging system camera robot and server | |
Bishko | 13. eMPathy in virtual WorlDs: MakinG CharaCters BelievaBle With laBan MoveMent analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220818 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7128591 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |