JP7113347B2

JP7113347B2 - Mobile terminal, image clipping method, and program

Info

Publication number: JP7113347B2
Application number: JP2018046735A
Authority: JP
Inventors: 秀之桑野; 浩一野崎
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-03-14
Filing date: 2018-03-14
Publication date: 2022-08-05
Anticipated expiration: 2038-03-14
Also published as: JP2022133267A; JP2019161483A

Description

本開示は、携帯端末および画像切り出し方法に関する。 The present disclosure relates to a mobile terminal and an image clipping method.

従来、玄関への来訪者の確認を、玄関扉の近傍に配置された玄関子機を介して、室内の室内親機から行う事ができるドアホンシステムが、広く普及している。また、近年、室内親機に通信機能を設け、来訪者の確認をスマートフォン等の携帯可能な携帯端末から行う技術が注目されている。 2. Description of the Related Art Conventionally, a door phone system has been widely used in which a visitor to an entrance can be confirmed from an indoor master unit via an entrance slave unit placed near the entrance door. Also, in recent years, attention has been paid to a technology in which a communication function is provided in an indoor master unit and a visitor is confirmed from a portable mobile terminal such as a smart phone.

例えば、特許文献１には、玄関子機を介した来訪者の呼出操作に応じて、親機を介して、玄関子機と携帯端末とを接続し、携帯端末による来訪者への対応を携帯端末から行うインターホンシステムが開示されている。 For example, in Patent Document 1, according to a call operation of a visitor via the entrance slave unit, the entrance slave unit and the mobile terminal are connected via the base unit, and the response to the visitor by the portable terminal is carried. An intercom system operated from a terminal is disclosed.

特開２０１１－１３５２２１号公報Japanese Patent Application Laid-Open No. 2011-135221

ところで、将来のドアホンシステムでは、室内親機と、スマートフォン等の携帯端末との間で、ビデオ通話が行われることが想定される。 By the way, in a future door phone system, it is assumed that a video call will be performed between an indoor master unit and a mobile terminal such as a smart phone.

しかしながら、携帯端末のインカメラで自分を撮影し、その画像を室内親機に送信して室内親機のディスプレイに表示する場合、撮影する自分の姿が、例えば、手振れ等で動くと、携帯端末および室内親機のディスプレイで画像が見にくくなるという問題がある。 However, when you take a picture of yourself with the in-camera of the mobile terminal, send that image to the indoor master unit, and display it on the display of the indoor master unit, for example, if your image moves due to camera shake, etc., the mobile terminal And there is a problem that the image becomes difficult to see on the display of the indoor master unit.

本開示の非限定的な実施例は、携帯端末で撮影する画像の動きを抑制し、画像を見やすくする携帯端末および画像切り出し方法の提供に資する。 The non-limiting embodiments of the present disclosure contribute to providing a mobile terminal and an image clipping method that suppress movement of an image captured by the mobile terminal and make the image easier to see.

本開示の一態様に係る携帯端末は、玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末であって、カメラと、前記カメラで撮影される画像に含まれる顔を検出する検出部と、前記画像に含まれる前記顔の移動量を算出する算出部と、前記顔を含むように前記画像の一部を切り出して切り出し画像を生成する切り出し部と、を備え、前記切り出し部は、前記顔の移動量が所定量以上の場合、前記画像の一部を切り出す切り出し範囲を、移動する前記顔に追従させる。 A mobile terminal according to an aspect of the present disclosure is a mobile terminal that performs a video call with an indoor master unit that communicates with an entrance slave unit that is placed near an entrance door, and includes a camera and an image captured by the camera. a detection unit that detects the face included in the image, a calculation unit that calculates the amount of movement of the face included in the image, and a clipping unit that creates a clipped image by clipping a portion of the image so as to include the face , wherein, when the amount of movement of the face is equal to or greater than a predetermined amount, the clipping unit causes a clipping range for clipping a part of the image to follow the moving face.

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 These general or specific aspects may be realized by a system, method, integrated circuit, computer program, or recording medium, and any of the system, apparatus, method, integrated circuit, computer program and recording medium may be implemented. may be implemented in any combination.

本開示の一態様によれば、携帯端末で撮影する画像の動きを抑制し、画像を見やすくできる。 According to one aspect of the present disclosure, it is possible to suppress the movement of an image captured by a mobile terminal and make the image easier to see.

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。 Further advantages and advantages of one aspect of the present disclosure are apparent from the specification and drawings. Such advantages and/or advantages are provided by the several embodiments and features described in the specification and drawings, respectively, not necessarily all provided to obtain one or more of the same features. no.

本開示の実施の形態に係るドアホンシステムの一例を示した図A diagram showing an example of a door phone system according to an embodiment of the present disclosure 室内親機のディスプレイの表示例を説明する図A diagram for explaining an example of the display of the indoor master unit 画像の切り出し例を説明する図A diagram explaining an example of cutting out an image スマートフォンを横向きにした場合であって、切り出し処理を行わない場合の室内親機のディスプレイの表示例を説明する図A diagram for explaining a display example of the display of the indoor master unit when the smartphone is turned sideways and the clipping process is not performed. スマートフォンを横向きにした場合であって、切り出し処理を行う場合の室内親機のディスプレイの表示例を説明する図A diagram for explaining a display example of the display of the indoor master unit in the case where the smartphone is turned sideways and the clipping process is performed. 切り出し範囲の移動を説明する図Diagram explaining movement of cropping range スマートフォンのブロック構成例を示した図Diagram showing a block configuration example of a smartphone 制御部のブロック構成例を示した図Diagram showing a block configuration example of the control unit 室内親機のブロック構成例を示した図Diagram showing a block configuration example of an indoor master unit スマートフォンのディスプレイと室内親機のディスプレイの表示例を示した図A diagram showing an example of the smartphone display and the display of the indoor master unit スマートフォンのディスプレイと室内親機のディスプレイの別の表示例を示した図A diagram showing another display example of the display of the smartphone and the display of the indoor master unit ドアホンシステムの動作例を示したシーケンス図Sequence diagram showing an operation example of the intercom system ドアホンシステムの動作例を示したシーケンス図Sequence diagram showing an operation example of the intercom system スマートフォンの画像切り出し動作例を示したフローチャートFlowchart showing an example of image clipping operation of a smartphone 予め決められた切り出し範囲の位置を説明する図Diagram explaining the position of the predetermined extraction range 予め決められた切り出し範囲の位置を説明する図Diagram explaining the position of the predetermined extraction range 予め決められた切り出し範囲の位置を説明する図Diagram explaining the position of the predetermined extraction range

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of well-known matters and redundant descriptions of substantially the same configurations may be omitted. This is to avoid unnecessary verbosity in the following description and to facilitate understanding by those skilled in the art.

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。 It should be noted that the accompanying drawings and the following description are provided for a thorough understanding of the present disclosure by those skilled in the art and are not intended to limit the claimed subject matter.

図１は、本開示の実施の形態に係るドアホンシステムの一例を示した図である。図１に示すように、ドアホンシステムは、スマートフォン１と、建物Ａ１の室内に配置される室内親機２と、建物Ａ１玄関扉の近傍に配置される玄関子機３と、無線ルータ４と、を有する。建物Ａ１は、例えば、子供とその親とが居住する住居である。 FIG. 1 is a diagram showing an example of a door phone system according to an embodiment of the present disclosure. As shown in FIG. 1, the door phone system includes a smartphone 1, an indoor main unit 2 arranged in the room of building A1, an entrance slave unit 3 arranged near the entrance door of building A1, a wireless router 4, have Building A1 is, for example, a residence where a child and his/her parents live.

スマートフォン１は、例えば、建物Ａ１の居住者が所有する携帯端末である。例えば、建物Ａ１に居住する親が、スマートフォン１を所有している。なお、携帯端末は、通話機能、カメラ、およびディスプレイを備え、ネットワーク５に接続できる端末であれば、スマートフォン１に限定されない。すなわち、携帯端末は、ビデオ通話が可能な端末であればよい。 The smart phone 1 is, for example, a mobile terminal owned by a resident of the building A1. For example, a parent who lives in building A1 owns smartphone 1 . Note that the mobile terminal is not limited to the smart phone 1 as long as it has a call function, a camera, and a display and can be connected to the network 5 . That is, the mobile terminal may be any terminal capable of video calling.

スマートフォン１と室内親機２は、ネットワーク５を介して、ビデオ通話を行うことができる。ネットワーク５は、例えば、携帯電話やＷｉＭＡＸ、ＷｉＦｉ等の無線通信ネットワークおよびインターネット等を含むネットワークである。 The smartphone 1 and the indoor master unit 2 can make a video call via the network 5 . The network 5 is, for example, a network including mobile phones, wireless communication networks such as WiMAX and WiFi, and the Internet.

室内親機２は、建物Ａ１の室内に配置される無線ルータ４を介して、ネットワーク５に接続する。室内親機２は、無線通信または有線ケーブルによって無線ルータ４と接続される。また、室内親機２は、玄関子機３と有線ケーブルによって接続される。なお、室内親機２は、玄関子機３と無線接続されてもよい。さらに、各装置間の接続が有線ケーブルによってなされる場合は、有線ケーブルによる接続のみが可能なルータを、無線ルータ４の代わりに用いてもよい。 The indoor master unit 2 connects to the network 5 via a wireless router 4 placed indoors in the building A1. The indoor master unit 2 is connected to the wireless router 4 by wireless communication or a wired cable. Also, the indoor master unit 2 is connected to the entrance slave unit 3 by a wired cable. In addition, the indoor master unit 2 may be wirelessly connected to the entrance slave unit 3 . Furthermore, if the devices are connected by wired cables, a router that can only be connected by wired cables may be used instead of the wireless router 4 .

玄関子機３は、室内親機２と音声通話をすることできる。これにより、建物Ａ１の居住者は、例えば、室内に居ながらにして、玄関先の訪問者と通話をすることができる。なお、玄関子機３は、カメラを備えていてもよい。この場合、建物Ａ１の居住者は、例えば、訪問者の様子を見ながら通話できる。 The entrance slave unit 3 can make a voice call with the indoor master unit 2. - 特許庁As a result, the resident of the building A1 can, for example, talk to a visitor at the front door while staying indoors. Note that the entrance cordless handset 3 may be provided with a camera. In this case, the resident of building A1 can, for example, make a call while looking at the visitor.

ところで、小さな子供は、一般的にスマートフォン等の携帯端末を所有していない場合が多い。そのため、例えば、建物Ａ１で留守番をしている子供は、外出している親と連絡を取ることが難しい。 By the way, small children generally do not own mobile terminals such as smart phones in many cases. Therefore, for example, it is difficult for a child who is answering in building A1 to contact his/her parent who is out.

このような状況に対し、図１に示すドアホンシステムでは、スマートフォン１と室内親機２は、ネットワーク５を介してビデオ通話をすることができる。従って、例えば、建物Ａ１で留守番をしている子供は、室内親機２を用いて、外出中の親とビデオ通話をすることができる。 For such a situation, in the door phone system shown in FIG. Therefore, for example, a child who is answering in the building A1 can use the indoor master unit 2 to make a video call with his parent who is out.

スマートフォン１を使用する親は、建物Ａ１で留守番している子供とビデオ通話をするとき、自分の姿を撮影するのに、スマートフォン１のインカメラを用いることが多い。インカメラを用いて自分を撮影する場合、スマートフォン１は、縦向きに（長手方向が垂直方向を向くように）所持される場合が多い。そのため、スマートフォン１のインカメラが撮影する画像は、縦長となる。 A parent using the smartphone 1 often uses the in-camera of the smartphone 1 to photograph himself/herself when making a video call with his/her child who is answering in the building A1. When taking a picture of yourself using the in-camera, the smartphone 1 is often held vertically (with its longitudinal direction facing the vertical direction). Therefore, the image captured by the in-camera of the smartphone 1 is vertically long.

一方、室内親機２のディスプレイは、一般的に横長であることが多い。そのため、室内親機２の横長のディスプレイに、スマートフォン１から送信された縦長の画像を表示すると、スマートフォン１の画像は、小さく表示される。 On the other hand, the display of the indoor master unit 2 is generally horizontally long in many cases. Therefore, when the vertically long image transmitted from the smartphone 1 is displayed on the horizontally long display of the indoor master unit 2, the image of the smartphone 1 is displayed small.

図２は、室内親機２のディスプレイの表示例を説明する図である。図２には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。 FIG. 2 is a diagram for explaining a display example of the display of the indoor master unit 2. As shown in FIG. FIG. 2 shows the smartphone 1, the indoor master unit 2, and the network 5 of FIG.

スマートフォン１の使用者（例えば、外出中の親）は、インカメラで自分を撮影している。スマートフォン１のディスプレイには、図２に示すように、スマートフォン１の使用者が縦長に表示される。 A user of the smartphone 1 (for example, a parent who is out) is photographing himself with the in-camera. On the display of the smartphone 1, as shown in FIG. 2, the user of the smartphone 1 is displayed vertically.

スマートフォン１は、インカメラが撮影する画像を、ネットワーク５を介して、室内親機２に送信する。室内親機２は、図２に示すように、スマートフォン１から送信された画像をディスプレイに表示する。 Smartphone 1 transmits an image captured by the in-camera to indoor master unit 2 via network 5 . The indoor master unit 2 displays the image transmitted from the smartphone 1 on the display, as shown in FIG.

室内親機２のディスプレイは、横長である。これに対し、スマートフォン１のインカメラで撮影される画像は、縦長である。そのため、スマートフォン１の縦長の画像を、横長の室内親機２のディスプレイに表示すると、図２の室内親機２のディスプレイに示すように、スマートフォン１の画像は、小さく表示される。 The display of the indoor master unit 2 is horizontally long. On the other hand, the image captured by the in-camera of the smartphone 1 is vertically long. Therefore, when the vertically long image of the smartphone 1 is displayed on the horizontally long display of the indoor master unit 2, the image of the smartphone 1 is displayed small as shown in the display of the indoor master unit 2 in FIG.

例えば、室内親機２は、スマートフォン１から送信された縦長の画像の上端および下端を、ディスプレイの上端および下端に合わせるよう、スマートフォン１から送られた画像を拡大または縮小して表示する。この場合、図２の余白Ａ１１ａ，Ａ１１ｂに示すように、室内親機２のディスプレイの横方向には、多くの余白が生じ、スマートフォン１の画像は、小さく表示される。 For example, indoor master unit 2 enlarges or reduces the image transmitted from smartphone 1 so that the top and bottom edges of the vertically long image transmitted from smartphone 1 are aligned with the top and bottom edges of the display. In this case, as shown by blanks A11a and A11b in FIG. 2, many blanks are generated in the horizontal direction of the display of the indoor master unit 2, and the image of the smartphone 1 is displayed small.

そこで、スマートフォン１は、インカメラで撮影される画像の一部を切り出す。そして、スマートフォン１は、切り出した画像（以下、切り出し画像と呼ぶことがある）を、ネットワーク５を介して、室内親機２に送信する。 Therefore, the smartphone 1 cuts out part of the image captured by the in-camera. The smartphone 1 then transmits the clipped image (hereinafter, sometimes referred to as a clipped image) to the indoor master device 2 via the network 5 .

図３は、画像の切り出し例を説明する図である。図３には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。 FIG. 3 is a diagram illustrating an example of image clipping. FIG. 3 shows the smartphone 1, the indoor master unit 2, and the network 5 of FIG.

スマートフォン１は、インカメラが撮影する画像を一部切り出す。例えば、スマートフォン１は、図３の点線で示す切り出し範囲Ａ１２に示すように、インカメラが撮影する画像を、正方形状（略正方形状を含む、以下同じ）に切り出す。このとき、スマートフォン１は、画像を切り出す正方形状の枠（切り出し範囲Ａ１２）の横幅が、インカメラが撮影する画像の横幅に一致するように画像の一部を切り出す。言い換えれば、正方形状の切り出し範囲Ａ１２の一辺の長さは、スマートフォン１のディスプレイの短手方向の幅（インカメラが撮影する画像の短手方向の幅）に一致している。 The smartphone 1 cuts out part of the image captured by the in-camera. For example, the smartphone 1 cuts out an image captured by the in-camera into a square shape (including a substantially square shape, the same shall apply hereinafter), as indicated by a cutout range A12 indicated by a dotted line in FIG. 3 . At this time, the smartphone 1 cuts out a part of the image so that the width of the square frame (cutting range A12) for cutting out the image matches the width of the image captured by the in-camera. In other words, the length of one side of the square cutout range A12 matches the width in the short direction of the display of the smartphone 1 (the width in the short direction of the image captured by the in-camera).

また、スマートフォン１は、画像を切り出す際、インカメラが撮影する人物の顔を判定する。スマートフォン１は、判定した顔が切り出し範囲Ａ１２の中央に位置するように、切り出し範囲Ａ１２の位置を制御する。 Also, when cutting out an image, the smartphone 1 determines the face of the person captured by the in-camera. The smartphone 1 controls the position of the cutout range A12 so that the determined face is positioned in the center of the cutout range A12.

なお、切り出し範囲Ａ１２の横幅は、上記したように、インカメラが撮影する画像の横幅に一致する。従って、スマートフォン１は、上下方向において、判定した顔が切り出し範囲Ａ１２の中央に位置するように、切り出し範囲Ａ１２の位置を制御する。言い換えれば、切り出し範囲Ａ１２は、スマートフォン１のディスプレイの長手方向（図面上下方向）に動き、短手方向（図面左右方向）には動かない。 Note that the width of the cutout range A12 matches the width of the image captured by the in-camera, as described above. Therefore, the smartphone 1 controls the position of the cutout range A12 so that the determined face is positioned in the center of the cutout range A12 in the vertical direction. In other words, the cutout range A12 moves in the longitudinal direction (vertical direction in the drawing) of the display of the smartphone 1 and does not move in the lateral direction (horizontal direction in the drawing).

スマートフォン１は、切り出した画像を、ネットワーク５を介して、室内親機２に送信する。室内親機２は、図３に示すように、スマートフォン１から送信された画像をディスプレイに表示する。 Smartphone 1 transmits the clipped image to indoor master unit 2 via network 5 . The indoor master unit 2 displays the image transmitted from the smartphone 1 on the display, as shown in FIG.

室内親機２のディスプレイは、横長である。これに対し、インカメラで撮影される画像は、正方形である。そのため、スマートフォン１から送信された正方形状の画像を、横長の室内親機２のディスプレイに表示すると、図３の室内親機２のディスプレイに示すように、スマートフォン１の画像は、図２に示した室内親機２の画像より大きく表示される。 The display of the indoor master unit 2 is horizontally long. On the other hand, the image captured by the in-camera is square. Therefore, when the square image transmitted from the smartphone 1 is displayed on the display of the horizontally long indoor master unit 2, the image of the smartphone 1 is displayed in FIG. 2 as shown in the display of the indoor master unit 2 in FIG. is displayed larger than the image of the indoor master unit 2 .

例えば、室内親機２は、スマートフォン１から送信された正方形状の画像の上端および下端を、ディスプレイの上端および下端に合わせるよう、スマートフォン１から送られた画像を拡大または縮小して表示する。この場合、室内親機２のディスプレイの横方向の余白Ａ１３ａ，Ａ１３ｂは、図２の余白Ａ１１ａ，Ａ１１ｂより小さくなり、スマートフォン１の画像は、図２に示した室内親機２の画像より大きく表示される。 For example, indoor master unit 2 enlarges or reduces the image transmitted from smartphone 1 so that the top and bottom edges of the square image transmitted from smartphone 1 are aligned with the top and bottom edges of the display. In this case, the horizontal margins A13a and A13b of the display of the indoor master unit 2 are smaller than the margins A11a and A11b in FIG. 2, and the image of the smartphone 1 is displayed larger than the image of the indoor master unit 2 shown in FIG. be done.

このように、スマートフォン１は、インカメラが撮影する画像に含まれる顔を判定し、判定した顔を含むように画像の一部を切り出す。そして、スマートフォン１は、切り出した画像を、ネットワーク５を介して、室内親機２に送信する。これにより、室内親機２のディスプレイには、スマートフォン１が撮影する画像が大きく表示される。 In this way, the smartphone 1 determines the face included in the image captured by the in-camera, and cuts out a portion of the image so as to include the determined face. The smartphone 1 then transmits the clipped image to the indoor master unit 2 via the network 5 . As a result, the image captured by the smartphone 1 is displayed in a large size on the display of the indoor master unit 2 .

スマートフォン１の使用者は、スマートフォン１を横向きにして撮影することも考えられる。この場合、スマートフォン１の画像は、画像が切り出されなくても、室内親機２のディスプレイに大きく表示されることが可能である。 It is conceivable that the user of the smartphone 1 turns the smartphone 1 sideways to take an image. In this case, the image of smartphone 1 can be displayed large on the display of indoor master unit 2 even if the image is not cut out.

図４は、スマートフォン１を横向きにした場合であって、切り出し処理を行わない場合の室内親機２のディスプレイの表示例を説明する図である。図４には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。 FIG. 4 is a diagram illustrating a display example of the display of the indoor master unit 2 when the smart phone 1 is turned sideways and the clipping process is not performed. FIG. 4 shows the smartphone 1, the indoor master unit 2, and the network 5 of FIG.

スマートフォン１の使用者は、スマートフォン１を横向きにし、インカメラで自分を撮影している。スマートフォン１のディスプレイには、図４に示すように、スマートフォン１の使用者が横長に表示される。 The user of the smart phone 1 turns the smart phone 1 sideways and photographs himself/herself with the in-camera. On the display of the smartphone 1, as shown in FIG. 4, the user of the smartphone 1 is horizontally displayed.

スマートフォン１は、インカメラが撮影する画像を、ネットワーク５を介して、室内親機２に送信する。室内親機２は、図４に示すように、スマートフォン１から送信された画像をディスプレイに表示する。 Smartphone 1 transmits an image captured by the in-camera to indoor master unit 2 via network 5 . The indoor master unit 2 displays the image transmitted from the smartphone 1 on the display, as shown in FIG.

室内親機２のディスプレイは、横長である。インカメラで撮影される画像も、横長である。そのため、スマートフォン１の画像は、図４の室内親機２のディスプレイに示すように、大きく表示される。 The display of the indoor master unit 2 is horizontally long. The image captured by the in-camera is also horizontally long. Therefore, the image of the smartphone 1 is displayed large as shown in the display of the indoor master unit 2 in FIG. 4 .

しかし、スマートフォン１が、図３で説明した画像の切り出し処理を行わない場合、室内親機２のディスプレイに表示される画像は、使用者を撮影するスマートフォン１の向き（縦向きまたは横向き）によって変わる。 However, if the smartphone 1 does not perform the image clipping process described with reference to FIG. 3, the image displayed on the display of the indoor master unit 2 changes depending on the orientation (portrait or landscape) of the smartphone 1 that captures the user. .

例えば、図２で説明したように、スマートフォン１を縦向きにして使用者を撮影した場合、室内親機２のディスプレイの横方向には、多くの余白が生じる。一方、図４で説明したように、スマートフォン１を横向きにして使用者を撮影した場合、室内親機２のディスプレイの横方向には、余白が生じない（または余白が少ない）。 For example, as described with reference to FIG. 2 , when the user is photographed with the smartphone 1 oriented vertically, the display of the indoor master unit 2 has a lot of blank space in the horizontal direction. On the other hand, as described with reference to FIG. 4 , when the user is photographed with the smartphone 1 turned sideways, there is no blank space (or there is little blank space) in the horizontal direction of the display of the indoor master unit 2 .

すなわち、画像の切り出し処理を行わない場合、室内親機２のディスプレイに表示される画像は、スマートフォン１の撮影方向（縦向きまたは横向き）によって、大きくなったり小さくなったりして、統一感がない。 That is, when the image clipping process is not performed, the image displayed on the display of the indoor master unit 2 becomes larger or smaller depending on the shooting direction (vertical or horizontal) of the smartphone 1, and there is no uniformity. .

これに対し、図３で示した画像の切り出し処理を行う場合、室内親機２のディスプレイに表示される画像の大きさは、スマートフォン１の撮影方向に関わらず一定となり、統一感がある。 On the other hand, when the image clipping process shown in FIG. 3 is performed, the size of the image displayed on the display of the indoor master unit 2 is constant regardless of the shooting direction of the smartphone 1, giving a sense of uniformity.

図５は、スマートフォン１を横向きにした場合であって、切り出し処理を行う場合の室内親機２のディスプレイの表示例を説明する図である。図５には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。 FIG. 5 is a diagram for explaining a display example of the display of the indoor master unit 2 when performing the clipping process when the smartphone 1 is turned sideways. FIG. 5 shows the smartphone 1, the indoor master unit 2, and the network 5 of FIG.

スマートフォン１は、図３で説明した画像の切り出し方法と同様の方法によって、インカメラが撮影した画像を切り出す。図５の点線で示す切り出し範囲Ａ１４は、図３で説明した切り出し範囲Ａ１２と同様に正方形状を有している。正方形状の切り出し範囲Ａ１４の一辺の長さは、スマートフォン１のディスプレイの短手方向の幅（インカメラが撮影する画像の短手方向の幅）に一致している。つまり、図３で説明した切り出し範囲Ａ１２と、図５に示す切り出し範囲Ａ１４は、同じ形状および大きさを有している。 The smartphone 1 cuts out the image captured by the in-camera by a method similar to the image cutout method described with reference to FIG. 3 . A cutout range A14 indicated by a dotted line in FIG. 5 has a square shape like the cutout range A12 described in FIG. The length of one side of the square cutout range A14 matches the width of the display of the smartphone 1 in the short direction (the width of the image captured by the in-camera in the short direction). That is, the cutout range A12 described in FIG. 3 and the cutout range A14 shown in FIG. 5 have the same shape and size.

従って、スマートフォン１を横向きにして撮影した場合の、室内親機２のディスプレイに表示される画像の大きさと、スマートフォン１を縦向きにして撮影した場合の、室内親機２のディスプレイに表示される画像の大きさは、同じになる。これにより、室内親機２のディスプレイに表示される画像の大きさは、スマートフォン１の向きに関わらず一定となり、統一感がある。 Therefore, the size of the image displayed on the display of the indoor master unit 2 when the smartphone 1 is oriented horizontally and the size of the image displayed on the display of the indoor master unit 2 when the smartphone 1 is oriented vertically The image size will be the same. As a result, the size of the image displayed on the display of the indoor master unit 2 is constant regardless of the orientation of the smartphone 1, giving a sense of unity.

なお、正方形状の切り出し範囲Ａ１４は、図３に示した切り出し範囲Ａ１２と同様に、スマートフォン１のディスプレイの長手方向（図面左右方向）に動き、短手方向（図面上下方向）には動かない。 Note that the square-shaped cutout range A14 moves in the longitudinal direction (horizontal direction in the drawing) of the display of the smartphone 1 and does not move in the lateral direction (vertical direction in the drawing), like the cutout range A12 shown in FIG.

画像の切り出し範囲の中心を、インカメラで撮影される顔の位置に直ぐに追従させると、背景が細かく動き、画像が見づらくなる場合がある。例えば、スマートフォン１の使用者は、スマートフォン１を手に持って自分自身を撮影する。手振れによって、撮影する顔の移動量が大きくなる場合があり、その移動量に合わせて切り出し範囲を移動させると、背景が素早く動いて、画像が見づらくなる場合がある。 If the center of the cutout range of the image is made to immediately follow the position of the face captured by the in-camera, the background may move minutely, making the image difficult to see. For example, the user of the smartphone 1 holds the smartphone 1 in his/her hand and takes a picture of himself/herself. Due to camera shake, the amount of movement of the captured face may become large, and if the cutout range is moved according to the amount of movement, the background may move quickly, making the image difficult to see.

そこで、スマートフォン１は、撮影する顔の移動量が所定量以上の場合（例えば、単位時間における顔の移動距離が大きい場合）、切り出し範囲を顔の移動に追従させる。言い換えれば、スマートフォン１は、撮影する顔の移動量が所定量以上でない場合、切り出し範囲を動かさない。 Therefore, when the amount of movement of the face to be photographed is greater than or equal to a predetermined amount (for example, when the distance of movement of the face in unit time is large), the smartphone 1 causes the cutout range to follow the movement of the face. In other words, the smartphone 1 does not move the cutout range unless the amount of movement of the captured face is equal to or greater than a predetermined amount.

図６は、切り出し範囲の移動を説明する図である。図６には、図１に示したスマートフォン１と、室内親機２と、が示してある。 FIG. 6 is a diagram for explaining movement of the cutout range. FIG. 6 shows the smartphone 1 and the indoor master unit 2 shown in FIG.

図６の矢印Ｄ１，Ｄ２に示すスマートフォン１には、インカメラが撮影する人物が大きく移動した様子を示している。スマートフォン１のインカメラが撮影する画像は、図６の矢印Ｄ１に示すスマートフォン１から、矢印Ｄ２に示すスマートフォン１に示すように変化したとする。また、矢印Ｄ１，Ｄ２に示すスマートフォン１のインカメラが撮影する画像の顔の移動量は、所定量以上であるとする。 The smartphone 1 indicated by arrows D1 and D2 in FIG. 6 shows a state in which the person photographed by the in-camera has largely moved. Assume that the image captured by the in-camera of the smartphone 1 changes from the smartphone 1 indicated by the arrow D1 in FIG. 6 to the smartphone 1 indicated by the arrow D2. It is also assumed that the amount of movement of the face in the image captured by the in-camera of the smartphone 1 indicated by the arrows D1 and D2 is equal to or greater than a predetermined amount.

図６の矢印Ｄ１１～Ｄ１４に示すスマートフォン１には、切り出し範囲Ａ１５の動きが示してある。切り出し範囲Ａ１５は、図３で説明した切り出し範囲Ａ１２と同様であり、顔を中心にして、正方形状で画像を切り出す。図６の矢印Ｄ１１に示すスマートフォン１の画像は、矢印Ｄ１のスマートフォン１の画像に対応している。図６の矢印Ｄ１２に示すスマートフォン１の画像は、矢印Ｄ２のスマートフォン１の画像に対応している。 The smartphone 1 indicated by arrows D11 to D14 in FIG. 6 shows the movement of the cutout range A15. The cutout range A15 is the same as the cutout range A12 described with reference to FIG. 3, and cuts out the image in a square shape centering on the face. The image of the smartphone 1 indicated by the arrow D11 in FIG. 6 corresponds to the image of the smartphone 1 indicated by the arrow D1. The image of the smartphone 1 indicated by arrow D12 in FIG. 6 corresponds to the image of the smartphone 1 indicated by arrow D2.

スマートフォン１のインカメラが撮影する画像の顔の移動量が所定量以上の場合、切り出し範囲Ａ１５は、図６の矢印Ｄ１２～Ｄ１４に示すように、顔の移動量より小さい移動量で移動する。言い換えれば、切り出し範囲Ａ１５は、顔の移動速度より遅い速度で移動する。 When the amount of movement of the face in the image captured by the in-camera of the smartphone 1 is equal to or greater than a predetermined amount, the cutout range A15 moves by an amount smaller than the amount of movement of the face, as indicated by arrows D12 to D14 in FIG. In other words, the cutout range A15 moves at a speed slower than the moving speed of the face.

例えば、図６の矢印Ｄ１２のスマートフォン１に示すように、顔の位置が、所定の移動量を超えて下方に移動したとする。この場合、切り出し範囲Ａ１５は、顔の動きに直ちに追従するのではなく、図６の矢印Ｄ１３および矢印Ｄ１４のスマートフォン１に示すように、顔の位置が徐々に中心に来るよう移動する。 For example, suppose that the position of the face moves downward beyond a predetermined amount of movement, as indicated by the arrow D12 in the smartphone 1 in FIG. In this case, the cutout range A15 does not immediately follow the movement of the face, but rather moves so that the position of the face gradually comes to the center as indicated by arrows D13 and D14 in the smartphone 1 in FIG.

図６の矢印Ｄ２１～Ｄ２４に示す室内親機２には、矢印Ｄ１，Ｄ２に示すスマートフォン１で撮影された画像がディスプレイに表示された様子を示している。上記したように、スマートフォン１のインカメラが撮影する画像の顔の移動量が所定量以上の場合、切り出し範囲Ａ１５は、顔の移動量より小さい移動量で移動する。スマートフォン１は、小さい移動量で移動する切り出し範囲Ａ１５で切り出した画像を室内親機２に送信する。従って、図６の切り出し範囲Ａ１５で切り出された画像は、図６の矢印Ｄ２１～Ｄ２４に示す４つの室内親機２のディスプレイに示すように、表示される。 The indoor main unit 2 indicated by arrows D21 to D24 in FIG. 6 shows how the images captured by the smartphone 1 indicated by arrows D1 and D2 are displayed on the display. As described above, when the amount of movement of the face in the image captured by the in-camera of the smartphone 1 is equal to or greater than a predetermined amount, the cutout range A15 moves by an amount smaller than the amount of movement of the face. The smartphone 1 transmits to the indoor master unit 2 the image cut out in the cutout range A15 that moves with a small amount of movement. Therefore, the image clipped in the clipping range A15 in FIG. 6 is displayed as shown on the displays of the four indoor master units 2 indicated by arrows D21 to D24 in FIG.

図７は、スマートフォン１のブロック構成例を示した図である。図７に示すように、スマートフォン１は、通信部１１と、記憶部１２と、制御部１３と、音声処理部１４と、画像処理部１５と、ディスプレイ１６と、操作部１７と、マイクロフォン１８と、スピーカ１９と、インカメラ２０と、アウトカメラ２１と、を有している。 FIG. 7 is a diagram showing a block configuration example of the smartphone 1. As shown in FIG. As shown in FIG. 7, the smartphone 1 includes a communication unit 11, a storage unit 12, a control unit 13, an audio processing unit 14, an image processing unit 15, a display 16, an operation unit 17, and a microphone 18. , a speaker 19 , an in-camera 20 , and an out-camera 21 .

通信部１１は、無線通信回路を有し、無線通信回線によりネットワーク５を構成している無線基地局（図示せず）に接続する。そして、通信部１１は、ネットワーク５を介して、室内親機２に接続する。通信部１１は、室内親機２から送信されたデータを受信して、制御部１３に出力する。また、通信部１１は、制御部１３から出力されたデータを室内親機２に送信する。 The communication unit 11 has a wireless communication circuit and connects to a wireless base station (not shown) forming the network 5 via a wireless communication line. Then, the communication unit 11 connects to the indoor master unit 2 via the network 5 . The communication unit 11 receives data transmitted from the indoor master unit 2 and outputs the data to the control unit 13 . Also, the communication unit 11 transmits data output from the control unit 13 to the indoor master unit 2 .

記憶部１２には、制御部１３が動作するためのプログラムが記憶される。また、記憶部１２には、制御部１３が計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。 A program for operating the control unit 13 is stored in the storage unit 12 . The storage unit 12 also stores data for the control unit 13 to perform calculation processing and data for controlling each connected unit.

制御部１３は、例えば、ＣＰＵ（Central Processing Unit）で構成され、接続されている各部を制御する。 The control unit 13 is configured by, for example, a CPU (Central Processing Unit), and controls each connected unit.

音声処理部１４は、制御部１３から出力されるデジタル音声データを、アナログ音声信号に変換し、信号レベルを調整して、スピーカ１９へ出力する。また、音声処理部１４は、マイクロフォン１８から出力されるアナログ音声信号を、信号レベルを調整し、デジタル音声データに変換して、制御部１３へ出力する。 The audio processing unit 14 converts the digital audio data output from the control unit 13 into an analog audio signal, adjusts the signal level, and outputs the signal to the speaker 19 . The audio processing unit 14 also adjusts the signal level of the analog audio signal output from the microphone 18 , converts it into digital audio data, and outputs the digital audio data to the control unit 13 .

画像処理部１５は、インカメラ２０およびアウトカメラ２１から出力されるデジタル映像データを制御部１３へ出力する。画像処理部１５は、アナログ映像信号またはデジタル映像データに対して、画質の調整、ノイズキャンセル、画像圧縮処理などの所定の画像処理を行ってもよい。 Image processing unit 15 outputs digital video data output from in-camera 20 and out-camera 21 to control unit 13 . The image processing unit 15 may perform predetermined image processing such as image quality adjustment, noise cancellation, and image compression processing on analog video signals or digital video data.

ディスプレイ１６は、スマートフォン１の正面側に設けられている。ディスプレイ１６は、例えば、液晶ディスプレイであり、制御部１３から出力されるデジタル映像データに基づいて映像を表示する。 The display 16 is provided on the front side of the smartphone 1 . The display 16 is, for example, a liquid crystal display, and displays images based on the digital image data output from the control section 13 .

操作部１７は、例えば、ディスプレイ１６に重畳されるタッチパネルおよび各種ボタンを含む。操作部１７は、使用者（例えば、スマートフォン１の使用者）の操作を受付け、使用者の操作内容を示す操作情報を制御部１３へ出力する。 The operation unit 17 includes, for example, a touch panel and various buttons superimposed on the display 16 . The operation unit 17 receives an operation by a user (for example, the user of the smartphone 1 ) and outputs operation information indicating details of the user's operation to the control unit 13 .

マイクロフォン１８は、周囲の音声を集音してアナログ音声信号に変換し、音声処理部１４に出力する。 The microphone 18 collects ambient sounds, converts them into analog sound signals, and outputs them to the sound processing unit 14 .

スピーカ１９は、音声処理部１４から出力されるアナログ音声信号を、音声に変換して出力する。 The speaker 19 converts the analog audio signal output from the audio processing unit 14 into audio and outputs the audio.

インカメラ２０は、スマートフォン１の正面側に設けられている。インカメラ２０は、撮影した画像データを画像処理部１５に出力する。 The in-camera 20 is provided on the front side of the smartphone 1 . The in-camera 20 outputs captured image data to the image processing section 15 .

アウトカメラ２１は、スマートフォン１の背面側に設けられている。アウトカメラ２１は、撮影した画像データを画像処理部１５に出力する。 The out-camera 21 is provided on the back side of the smartphone 1 . Out-camera 21 outputs captured image data to image processing section 15 .

図８は、制御部１３のブロック構成例を示した図である。図８に示すように、制御部１３は、画像取り込み部３１と、顔検出部３２と、移動量算出部３３と、切り出し部３４と、を有している。 FIG. 8 is a diagram showing a block configuration example of the control unit 13. As shown in FIG. As shown in FIG. 8, the control unit 13 has an image capture unit 31, a face detection unit 32, a movement amount calculation unit 33, and a clipping unit .

画像取り込み部３１は、インカメラ２０が撮影した画像（動画像）データを、画像処理部１５から取り込む。 The image capture unit 31 captures image (moving image) data captured by the in-camera 20 from the image processing unit 15 .

顔検出部３２は、画像取り込み部３１が取り込んだ画像データに含まれる顔を検出する。顔検出部３２は、検出した顔の位置（例えば、顔の中心座標）や顔のサイズを検出する。顔検出部３２の機能は、一般的な顔認証技術を用いて実現できる。 The face detection section 32 detects a face included in the image data captured by the image capture section 31 . The face detection unit 32 detects the position of the detected face (for example, center coordinates of the face) and the size of the face. The function of the face detection unit 32 can be realized using general face authentication technology.

移動量算出部３３は、顔検出部３２によって検出された顔の位置の移動量を算出する。 The movement amount calculation unit 33 calculates the amount of movement of the position of the face detected by the face detection unit 32 .

切り出し部３４は、画像を切り出す切り出し範囲の中央に、顔検出部３２によって検出された顔が位置するように、切り出し範囲を移動する。そして、切り出し部３４は、画像を切り出し範囲で切り出し、切り出し画像を生成する。例えば、切り出し部３４は、図３および図５で説明したように、正方形状の切り出し範囲で画像を切り出し、切り出し画像を生成する。 The clipping unit 34 moves the clipping range so that the face detected by the face detection unit 32 is positioned in the center of the clipping range for clipping the image. Then, the clipping unit 34 clips the image within the clipping range to generate a clipped image. For example, as described with reference to FIGS. 3 and 5, the clipping unit 34 clips an image in a square clipping range to generate a clipped image.

切り出し部３４は、画像を切り出す際、移動量算出部３３によって算出された顔の移動量が所定量以上の場合に、切り出し範囲を、顔の位置が中心に来るように移動させる。例えば、切り出し部３４は、図６で説明したように、切り出し範囲を、顔の移動量より小さい移動量で、顔の位置が徐々に中心に来るよう移動させる。 When the image is cut out, if the amount of movement of the face calculated by the movement amount calculation section 33 is equal to or greater than a predetermined amount, the cutout section 34 moves the cutout range so that the position of the face comes to the center. For example, as described with reference to FIG. 6, the clipping unit 34 moves the clipping range by an amount smaller than the amount of movement of the face so that the position of the face gradually comes to the center.

図９は、室内親機２のブロック構成例を示した図である。図９に示すように、室内親機２は、通信部４１，４８と、記憶部４２と、制御部４３と、音声処理部４４と、画像処理部４５と、ディスプレイ４６と、操作部４７と、マイクロフォン４９と、スピーカ５０と、カメラ５１と、を有している。図９には、玄関子機３と無線ルータ４も示してある。 FIG. 9 is a diagram showing a block configuration example of the indoor master unit 2. As shown in FIG. As shown in FIG. 9, the indoor master unit 2 includes communication units 41 and 48, a storage unit 42, a control unit 43, an audio processing unit 44, an image processing unit 45, a display 46, and an operation unit 47. , a microphone 49 , a speaker 50 and a camera 51 . FIG. 9 also shows the entrance cordless handset 3 and the wireless router 4 .

通信部４１は、無線通信回路を有し、無線通信回線により無線ルータ４に接続する。そして、通信部４１は、無線ルータ４およびネットワーク５を介して、スマートフォン１に接続する。通信部４１は、スマートフォン１から送信されたデータを受信して、制御部４３に出力する。また、通信部４１は、制御部４３から出力されたデータをスマートフォン１に送信する。 The communication unit 41 has a wireless communication circuit and connects to the wireless router 4 via a wireless communication line. The communication unit 41 then connects to the smartphone 1 via the wireless router 4 and the network 5 . The communication unit 41 receives data transmitted from the smartphone 1 and outputs the data to the control unit 43 . Also, the communication unit 41 transmits data output from the control unit 43 to the smartphone 1 .

記憶部４２には、制御部４３が動作するためのプログラムが記憶される。また、記憶部１２には、制御部４３が計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。 A program for operating the control unit 43 is stored in the storage unit 42 . The storage unit 12 also stores data for the control unit 43 to perform calculation processing and data for controlling each connected unit.

制御部４３は、例えば、ＣＰＵで構成され、接続されている各部を制御する。 The control unit 43 is configured by, for example, a CPU, and controls each connected unit.

音声処理部４４は、制御部４３から出力されるデジタル音声データを、アナログ音声信号に変換し、信号レベルを調整して、スピーカ５０へ出力する。また、音声処理部４４は、マイクロフォン４９から出力されるアナログ音声信号を、信号レベルを調整し、デジタル音声データに変換して、制御部４３へ出力する。 The audio processing unit 44 converts the digital audio data output from the control unit 43 into an analog audio signal, adjusts the signal level, and outputs the signal to the speaker 50 . The audio processing unit 44 also adjusts the signal level of the analog audio signal output from the microphone 49 , converts it into digital audio data, and outputs the digital audio data to the control unit 43 .

画像処理部４５は、カメラ５１から出力されるデジタル映像データを制御部４３へ出力する。画像処理部４５は、アナログ映像信号またはデジタル映像データに対して、画質の調整、ノイズキャンセル、画像圧縮処理などの所定の画像処理を行ってもよい。 The image processing unit 45 outputs digital video data output from the camera 51 to the control unit 43 . The image processing unit 45 may perform predetermined image processing such as image quality adjustment, noise cancellation, and image compression processing on analog video signals or digital video data.

ディスプレイ４６は、室内親機２の正面側に設けられている。ディスプレイ４６は、例えば、液晶ディスプレイであり、制御部４３から出力されるデジタル映像データに基づいて映像を表示する。 The display 46 is provided on the front side of the indoor master unit 2 . The display 46 is, for example, a liquid crystal display, and displays images based on the digital image data output from the control section 43 .

操作部４７は、例えば、ディスプレイ４６に重畳されるタッチパネルおよび各種ボタンを含む。操作部４７は、使用者（例えば、建物Ａ１の居住者）の操作を受けつけ、使用者の操作内容を示す操作情報を制御部４３へ出力する。 The operation unit 47 includes, for example, a touch panel superimposed on the display 46 and various buttons. The operation unit 47 receives an operation by a user (for example, a resident of the building A1) and outputs operation information indicating details of the user's operation to the control unit 43 .

通信部４８は、有線通信回路を有し、玄関子機３に接続する。制御部４３は、通信部４８を介して、玄関子機３と通信を行う。通信部４８は、玄関子機３から送信されたデータを制御部４３に出力し、制御部４３から出力されたデータを玄関子機３に送信する。 The communication unit 48 has a wired communication circuit and connects to the entrance slave unit 3 . The control unit 43 communicates with the entrance cordless handset 3 via the communication unit 48 . The communication unit 48 outputs the data transmitted from the entrance slave unit 3 to the control unit 43 and transmits the data output from the control unit 43 to the entrance slave unit 3 .

マイクロフォン４９は、周囲の音声を集音してアナログ音声信号に変換し、音声処理部４４に出力する。 The microphone 49 collects surrounding sounds, converts them into analog sound signals, and outputs them to the sound processing unit 44 .

スピーカ５０は、音声処理部４４から出力されるアナログ音声信号を、音声に変換して出力する。 The speaker 50 converts the analog audio signal output from the audio processing unit 44 into audio and outputs the audio.

カメラ５１は、室内親機２の正面側に設けられている。カメラ５１は、撮影した画像データを画像処理部４５に出力する。 Camera 51 is provided on the front side of indoor master unit 2 . The camera 51 outputs captured image data to the image processing section 45 .

図１０は、スマートフォン１のディスプレイ１６と室内親機２のディスプレイ４６の表示例を示した図である。図１０に示すように、スマートフォン１は正面に、図７で説明したディスプレイ１６と、インカメラ２０と、を有している。室内親機２は正面に、図９で説明したディスプレイ４６と、カメラ５１と、を有している。なお、図１０には、スマートフォン１を所持する親Ａ３１ａと、建物Ａ１で留守番をしている子供Ａ３１ｂも示してある。 FIG. 10 is a diagram showing display examples of the display 16 of the smartphone 1 and the display 46 of the indoor master unit 2. As shown in FIG. As shown in FIG. 10, the smartphone 1 has the display 16 described in FIG. 7 and the in-camera 20 on the front. The indoor master unit 2 has the display 46 described in FIG. 9 and the camera 51 on the front. Note that FIG. 10 also shows a parent A31a who owns the smartphone 1 and a child A31b who is answering in the building A1.

親Ａ３１ａは、スマートフォン１のインカメラ２０で自分を撮影する。制御部１３は、インカメラ２０で撮影される親Ａ３１ａの画像をディスプレイ１６に表示する。制御部１３は、親Ａ３１ａの画像をディスプレイ１６に表示する際、インカメラ２０で撮影される画像に含まれる顔を判定し、判定した顔を含むように、画像の一部を正方形状で切り出し、表示する。例えば、制御部１３は、図１０の画像Ａ３３ａに示すように、親Ａ３１ａの顔を含むように画像を切り出して、ディスプレイ１６に表示する。 Parent A 31 a takes a picture of himself with the in-camera 20 of the smartphone 1 . The control unit 13 displays the image of the parent A 31a captured by the in-camera 20 on the display 16 . When displaying the image of the parent A 31a on the display 16, the control unit 13 determines the face included in the image captured by the in-camera 20, and cuts out a part of the image in a square shape so as to include the determined face. ,indicate. For example, the control unit 13 cuts out an image so as to include the face of the parent A31a, and displays it on the display 16, as shown in an image A33a in FIG.

なお、図１０では、制御部１３は、切り出した画像Ａ３３ａを縮小して、切り出した画像Ａ３３ａをディスプレイ１６に表示している。制御部１３は、切り出した画像Ａ３３ａの横幅を、ディスプレイ１６の横幅に一致させて、切り出した画像Ａ３３ａをディスプレイ１６に表示してもよい。 Note that in FIG. 10 , the control unit 13 reduces the clipped image A33a and displays the clipped image A33a on the display 16 . The control unit 13 may display the cut-out image A33a on the display 16 by matching the width of the cut-out image A33a with the width of the display 16 .

スマートフォン１の通信部１１は、制御部１３によって切り出された画像Ａ３３ａを、ネットワーク５を介して、室内親機２に送信する。室内親機２の制御部４３は、スマートフォン１から送信された画像Ａ３３ａを、ディスプレイ４６に表示する。例えば、制御部４３は、図１０の画像Ａ３２ｂに示すように、親Ａ３１ａの顔部分が切り出された画像を、ディスプレイ４６に表示する。 The communication unit 11 of the smartphone 1 transmits the image A<b>33 a cut out by the control unit 13 to the indoor master unit 2 via the network 5 . The control unit 43 of the indoor master unit 2 displays the image A33a transmitted from the smartphone 1 on the display 46 . For example, the control unit 43 displays on the display 46 an image in which the face portion of the parent A31a is cut out, as shown in the image A32b in FIG.

室内親機２のカメラ５１は、建物Ａ１で留守番をしている子供Ａ３１ｂを撮影する。制御部４３は、カメラ５１が撮影する子供Ａ３１ｂの画像をディスプレイ４６に表示する。例えば、制御部４３は、図１０の画像Ａ３３ｂに示すように、子供Ａ３１ｂの画像を表示する。 The camera 51 of the indoor master unit 2 photographs the child A31b who is answering in the building A1. The control unit 43 displays the image of the child A31b captured by the camera 51 on the display 46. FIG. For example, the control unit 43 displays an image of a child A31b as shown in an image A33b in FIG.

室内親機２の通信部４１は、カメラ５１が撮影する子供Ａ３１ｂの画像を、ネットワーク５を介して、スマートフォン１に送信する。スマートフォン１の制御部１３は、室内親機２から送信された画像Ａ３３ｂを、ディスプレイ１６に表示する。例えば、制御部１３は、図１０の画像Ａ３２ａに示すように、子供Ａ３１ｂの画像を、ディスプレイ１６に表示する。 Communication unit 41 of indoor master unit 2 transmits the image of child A 31 b captured by camera 51 to smartphone 1 via network 5 . The control unit 13 of the smartphone 1 displays the image A<b>33 b transmitted from the indoor master unit 2 on the display 16 . For example, the control unit 13 displays the image of the child A31b on the display 16 as shown in the image A32a in FIG.

このように、ドアホンシステムは、装置（スマートフォン１および室内親機２）を使用する使用者自身の画像と、ビデオ通話相手の画像とをディスプレイ１６，４６に表示してもよい。これにより、装置を使用する使用者は、ビデオ通話相手の装置に、自分自身の姿がどのように表示されているかを見ることができ、また、ビデオ通話相手の様子を見ることができる。 In this way, the intercom system may display on the displays 16 and 46 an image of the user himself who uses the devices (smartphone 1 and indoor master unit 2) and an image of the other party on the video call. As a result, the user using the device can see how his/her own image is displayed on the device of the other party of the video call, and can also see the state of the other party of the video call.

ドアホンシステムは、自分自身の画像をディスプレイ１６，４６に表示せず、ビデオ通話相手の画像をディスプレイ１６，４６に表示してもよい。 The intercom system may not display its own image on the displays 16,46, but instead display the image of the video call partner on the displays 16,46.

図１１は、スマートフォン１のディスプレイ１６と室内親機２のディスプレイ４６の別の表示例を示した図である。図１１において、図１０と同じものには同じ符号が付してある。 FIG. 11 is a diagram showing another display example of the display 16 of the smartphone 1 and the display 46 of the indoor master unit 2. As shown in FIG. In FIG. 11, the same reference numerals are given to the same parts as in FIG.

図１１では、スマートフォン１の制御部１３は、スマートフォン１の使用者である親Ａ３１ａの画像を、ディスプレイ１６に表示していない。制御部１３は、室内親機２から送信された子供Ａ３１ｂの画像Ａ３２ａのみを表示している。 In FIG. 11 , the control unit 13 of the smartphone 1 does not display the image of the parent A 31 a who is the user of the smartphone 1 on the display 16 . The control unit 13 displays only the image A32a of the child A31b transmitted from the indoor master unit 2. FIG.

室内親機２の制御部４３は、室内親機２の使用者である子供Ａ３１ｂの画像を、ディスプレイ４６に表示していない。制御部４３は、スマートフォン１から送信された親Ａ３１ａの画像Ａ３２ｂのみを表示している。 The control unit 43 of the indoor master unit 2 does not display the image of the child A31b who is the user of the indoor master unit 2 on the display 46 . The control unit 43 displays only the image A32b of the parent A31a transmitted from the smartphone 1. FIG.

このように、ドアホンシステムは、装置を使用する使用者自身の画像を表示せず、ビデオ通話相手の画像をディスプレイ１６，４６に表示してもよい。これにより、装置を使用する使用者は、自分自身の姿をディスプレイ１６，４６で見ることはできないが、ビデオ通話の相手の様子を見ることができる。 In this way, the intercom system may display the image of the video call partner on the displays 16, 46 without displaying an image of the user himself using the device. Thereby, the user using the device cannot see himself/herself on the displays 16 and 46, but can see the state of the other party of the video call.

なお、ドアホンシステムの表示形態は、図１０および図１１の例に限られない。例えば、図３に示したように、スマートフォン１は、スマートフォン１の使用者自身のみをディスプレイ１６に表示してもよい。そして、室内親機２は、スマートフォン１から送信された切り出された画像のみをディスプレイ４６に表示してもよい。これにより、スマートフォン１を使用する親は、子供の様子を見ることはできないが、室内親機２を使用する子供は、親の顔を見ながらビデオ通話できる。 The display form of the intercom system is not limited to the examples of FIGS. 10 and 11. FIG. For example, as shown in FIG. 3, the smartphone 1 may display only the user of the smartphone 1 on the display 16. FIG. Then, indoor master device 2 may display only the clipped image transmitted from smartphone 1 on display 46 . As a result, the parent using the smartphone 1 cannot see the child, but the child using the indoor master unit 2 can make a video call while looking at the parent's face.

また、表示形態は、使用者の操作に応じて、切替えられてもよい。例えば、スマートフォン１の制御部１３は、使用者の操作に応じて、図１０のディスプレイ１６に示した画面を表示してもよいし、図１１のディスプレイ１６に示した画面を表示してもよい。また、室内親機２の制御部４３は、使用者の操作に応じて、図１０のディスプレイ４６に示した画面を表示してもよいし、図１１のディスプレイ４６に示した画面を表示してもよい。 Also, the display mode may be switched according to the user's operation. For example, the control unit 13 of the smartphone 1 may display the screen shown on the display 16 of FIG. 10 or the screen shown on the display 16 of FIG. 11 according to the user's operation. . Further, the control unit 43 of the indoor master unit 2 may display the screen shown on the display 46 of FIG. 10 or display the screen shown on the display 46 of FIG. 11 according to the user's operation. good too.

図１２は、ドアホンシステムの動作例を示したシーケンス図である。スマートフォン１の制御部１３は、スマートフォン１の使用者（例えば、外出中の親）から、室内親機２とのビデオ通話の要求を示す操作を受付ける。制御部１３は、ビデオ通話の要求を示す操作に応じて、室内親機２を呼び出す（ステップＳ１）。 FIG. 12 is a sequence diagram showing an operation example of the intercom system. Control unit 13 of smartphone 1 receives an operation indicating a request for a video call with indoor master unit 2 from the user of smartphone 1 (for example, a parent who is out). Control unit 13 calls indoor master unit 2 in response to an operation indicating a request for a video call (step S1).

室内親機２の制御部４３は、ステップＳ１の呼び出しを受信すると、例えば、ディスプレイ４６の表示またはスピーカ５０の音によって、スマートフォン１から呼び出しがあったことを知らせる。制御部４３は、室内親機２の使用者（例えば、留守番中の子供）から、ビデオ通話の応答操作を受付けると、スマートフォン１に呼び出しの応答を返す（ステップＳ２）。 Upon receiving the call in step S1, the control unit 43 of the indoor master unit 2 notifies that the smartphone 1 has called by the display on the display 46 or the sound from the speaker 50, for example. Upon receiving a video call response operation from the user of indoor master unit 2 (for example, a child at home), control unit 43 returns a call response to smartphone 1 (step S2).

スマートフォン１の制御部１３および室内親機２の制御部４３は、ステップＳ２の処理の後、ビデオ通話を開始する（ステップＳ３）。ビデオ通話の開始によって、スマートフォン１のディスプレイ１６および室内親機２のディスプレイ４６には、例えば、図１０または図１１に示したような画面が表示される。 The control unit 13 of the smartphone 1 and the control unit 43 of the indoor master unit 2 start a video call after the process of step S2 (step S3). By starting the video call, the display 16 of the smartphone 1 and the display 46 of the indoor master unit 2 display, for example, screens as shown in FIG. 10 or 11 .

スマートフォン１の制御部１３および室内親機２の制御部４３のいずれか一方または両方は、使用者から、ビデオ通話の終了の操作を受付けると、ビデオ通話を終了する（ステップＳ４）。 Either or both of the control unit 13 of the smartphone 1 and the control unit 43 of the indoor master unit 2 end the video call upon receiving an operation to end the video call from the user (step S4).

このように、ドアホンシステムは、スマートフォン１から室内親機２への呼び出しを契機に、ビデオ通話を開始してもよい。 In this way, the door phone system may start a video call when the smart phone 1 calls the indoor master unit 2 as a trigger.

なお、スマートフォン１の制御部１３は、ステップＳ１の呼び出し処理の後、ステップＳ３のビデオ通話を開始する前から、画像の切り出し処理を開始してもよい。つまり、スマートフォン１の制御部１３は、スマートフォン１の使用者から、室内親機２の呼び出し操作を受付けた直後から、切り出し画像をディスプレイ１６に表示してもよい。これにより、スマートフォン１の使用者は、ビデオ通話を開始する前に、自分が室内親機２にどのように表示されるかを見ることができる。 Note that the control unit 13 of the smartphone 1 may start the image clipping process after the calling process in step S1 and before starting the video call in step S3. That is, the control unit 13 of the smartphone 1 may display the clipped image on the display 16 immediately after accepting the call operation of the indoor master unit 2 from the user of the smartphone 1 . This allows the user of the smartphone 1 to see how he or she will appear on the indoor master unit 2 before starting the video call.

図１２では、スマートフォン１から室内親機２を呼び出したが、室内親機２からスマートフォン１を呼び出してもよい。 Although the indoor master unit 2 is called from the smartphone 1 in FIG. 12 , the smartphone 1 may be called from the indoor master unit 2 .

図１３は、ドアホンシステムの動作例を示したシーケンス図である。室内親機２の制御部４３は、使用者（例えば、留守番中の子供）から、スマートフォン１とのビデオ通話の要求を示す操作を受付ける。制御部４３は、ビデオ通話の要求を示す操作に応じて、スマートフォン１を呼び出す（ステップＳ１１）。 FIG. 13 is a sequence diagram showing an operation example of the intercom system. Control unit 43 of indoor master unit 2 receives an operation indicating a request for a video call with smartphone 1 from a user (for example, a child at home). The control unit 43 calls the smartphone 1 in response to an operation indicating a request for a video call (step S11).

スマートフォン１の制御部１３は、ステップＳ１１の呼び出しを受信すると、例えば、ディスプレイ１６の表示またはスピーカ１９の音によって、室内親機２から呼び出しがあったことを知らせる。制御部１３は、スマートフォン１の使用者（例えば、外出中の親）から、ビデオ通話の応答操作を受付けると、室内親機２に呼び出しの応答を返す（ステップＳ１２）。 Upon receiving the call in step S11, the control unit 13 of the smartphone 1 notifies that the indoor master unit 2 has called by, for example, the display on the display 16 or the sound of the speaker 19. When the control unit 13 receives a video call response operation from the user of the smartphone 1 (for example, a parent who is out), the control unit 13 returns a call response to the indoor master unit 2 (step S12).

スマートフォン１の制御部１３および室内親機２の制御部４３は、ステップＳ１２の処理の後、ビデオ通話を開始する（ステップＳ１３）。ビデオ通話の開始によって、スマートフォン１のディスプレイ１６および室内親機２のディスプレイ４６には、例えば、図１０または図１１に示したような画面が表示される。 The control unit 13 of the smartphone 1 and the control unit 43 of the indoor master unit 2 start the video call after the process of step S12 (step S13). By starting the video call, the display 16 of the smartphone 1 and the display 46 of the indoor master unit 2 display, for example, screens as shown in FIG. 10 or FIG. 11 .

スマートフォン１の制御部１３および室内親機２の制御部４３のいずれか一方または両方は、使用者から、ビデオ通話の終了の操作を受付けると、ビデオ通話を終了する（ステップＳ１４）。 Either or both of the control unit 13 of the smartphone 1 and the control unit 43 of the indoor master unit 2 end the video call upon receiving an operation to end the video call from the user (step S14).

このように、ドアホンシステムは、室内親機２からスマートフォン１への呼び出しを契機に、ビデオ通話を開始してもよい。 In this way, the door phone system may start a video call when the indoor master unit 2 calls the smartphone 1 as a trigger.

図１４は、スマートフォン１の画像切り出し動作例を示したフローチャートである。スマートフォン１は、例えば、スマートフォン１の使用者から室内親機２の呼び出し操作を受付けた場合、または、室内親機２から呼び出しを受けた場合、図１４に示すフローチャートの処理を繰り返し実行する。 FIG. 14 is a flowchart showing an example of an image clipping operation of the smart phone 1. As shown in FIG. For example, when the smartphone 1 receives an operation to call the indoor master unit 2 from the user of the smartphone 1 or receives a call from the indoor master unit 2, the process of the flowchart shown in FIG. 14 is repeatedly executed.

画像取り込み部３１は、インカメラ２０が撮影する画像データを画像処理部１５から取得する（ステップＳ２１）。 The image capturing unit 31 acquires image data captured by the in-camera 20 from the image processing unit 15 (step S21).

顔検出部３２は、ステップＳ２１にて取得された画像データに含まれる顔を検出し、検出した顔の基準点座標を検出する（ステップＳ２２）。 The face detection unit 32 detects a face included in the image data acquired in step S21, and detects reference point coordinates of the detected face (step S22).

例えば、顔検出部３２は、ステップＳ２１にて取得された画像データ内の顔画像領域を検出し、検出した顔画像領域の中心座標を、顔の基準点座標として検出する。顔検出部３２は、顔画像領域の中心座標以外に、目、目の中間点、鼻、口、または耳を、顔の基準点座標として検出してもよい。 For example, the face detection unit 32 detects a face image area in the image data acquired in step S21, and detects the center coordinates of the detected face image area as the reference point coordinates of the face. The face detection unit 32 may detect the eyes, the middle point of the eyes, the nose, the mouth, or the ears as the reference point coordinates of the face, in addition to the coordinates of the center of the face image area.

移動量算出部３３は、ステップＳ２２にて検出された顔の基準点座標から、画像データに含まれる顔画像領域の移動量を算出する（ステップＳ２３）。例えば、移動量算出部３３は、前回撮影された顔の基準点座標と、今回、ステップＳ２２にて検出された顔の基準点座標とから、画像データに含まれる顔画像領域の移動量を算出する。 The movement amount calculator 33 calculates the movement amount of the face image area included in the image data from the reference point coordinates of the face detected in step S22 (step S23). For example, the movement amount calculation unit 33 calculates the movement amount of the face image area included in the image data from the reference point coordinates of the previously photographed face and the reference point coordinates of the face detected in step S22 this time. do.

なお、前回撮影された顔の基準点座標は、例えば、メモリ等の記憶装置に記憶されている。また、ステップＳ２２にて検出された顔の基準点座標と比較される基準点座標は、前回撮影された顔の基準点座標に限られない。例えば、前々回に撮影された顔の基準点座標であってもよい。 Note that the reference point coordinates of the previously photographed face are stored in a storage device such as a memory, for example. Further, the reference point coordinates to be compared with the reference point coordinates of the face detected in step S22 are not limited to the reference point coordinates of the previously photographed face. For example, it may be the reference point coordinates of the face photographed two times before.

切り出し部３４は、ステップＳ２３にて算出された顔の移動量が閾値以上であるか否かを判定する（ステップＳ２４）。 The clipping unit 34 determines whether or not the amount of movement of the face calculated in step S23 is equal to or greater than a threshold (step S24).

切り出し部３４は、ステップＳ２３にて算出された顔の移動量が閾値以上である場合（ステップＳ２４の「Ｙｅｓ」）、顔の基準点座標が切り出し範囲の中心に来るよう、切り出し範囲を移動させる（ステップＳ２５）。 If the amount of movement of the face calculated in step S23 is equal to or greater than the threshold value ("Yes" in step S24), the clipping unit 34 moves the clipping range so that the reference point coordinates of the face come to the center of the clipping range. (Step S25).

例えば、切り出し部３４は、顔の基準点座標が、室内親機２のディスプレイ４６の基準位置（例えば、ディスプレイ４６の中心またはディスプレイ４６の上から１／３の位置）に配置されるよう、切り出し範囲を移動させる。 For example, the clipping unit 34 clips such that the reference point coordinates of the face are arranged at the reference position of the display 46 of the indoor master unit 2 (for example, the center of the display 46 or the position ⅓ from the top of the display 46). Move range.

一方、切り出し部３４は、ステップＳ２３にて算出された顔の移動量が閾値以上でない場合（ステップＳ２４の「Ｎｏ」）、切り出し範囲を移動しない（ステップＳ２６）。 On the other hand, if the movement amount of the face calculated in step S23 is not equal to or greater than the threshold value ("No" in step S24), the clipping unit 34 does not move the clipping range (step S26).

切り出し部３４は、ステップＳ２５またはステップＳ２６の処理の後、今回の顔の基準点座標をメモリに記憶する（ステップＳ２７）。そして、スマートフォン１は、当該フローチャートの処理を終了する。 After the process of step S25 or step S26, the clipping unit 34 stores the reference point coordinates of the current face in the memory (step S27). Then, the smartphone 1 ends the processing of the flowchart.

なお、顔画像領域の移動が、所定量を超えない量で繰り返されると、顔画像領域が、切り出し範囲から外れる場合がある。このように、顔画像領域が切り出し範囲から外れた場合、切り出し部３４は、顔の基準点座標が中心に来るよう、切り出し範囲を移動する。 Note that if the facial image area is repeatedly moved by an amount that does not exceed the predetermined amount, the facial image area may fall outside the cutout range. In this way, when the face image area is out of the cutout range, the cutout unit 34 moves the cutout range so that the reference point coordinates of the face come to the center.

また、スマートフォン１は、ステップＳ２６の処理の後においては、ステップＳ２７の処理を実行しなくてもよい。例えば、スマートフォン１は、ステップＳ２５の処理の後にステップＳ２７の処理を実行し、ステップＳ２６の処理の後には、ステップＳ２７の処理を実行せず、当該フローチャートの処理を終了してもよい。 Further, the smartphone 1 does not have to execute the process of step S27 after the process of step S26. For example, the smartphone 1 may execute the process of step S27 after the process of step S25, and may end the process of the flowchart without executing the process of step S27 after the process of step S26.

また、切り出し範囲の移動（ステップＳ２５）には、例えば、次の３のバリエーションがあってもよい。 Further, the movement of the cutout range (step S25) may include, for example, the following three variations.

１．線形または非線形の速度での連続的な移動かつ顔の移動速度より遅い速度の移動
例えば、切り出し部３４は、移動した顔の基準点座標が、切り出し範囲の中心にくるよう、切り出し範囲を、線形または非線形の速度で連続的（例えば、人の目で見て連続的となるように）に追従させてもよい。その際、切り出し部３４は、移動した顔の速度より遅い速度で切り出し範囲を追従させる。なお、顔の基準点座標の速度（顔の移動速度）は、例えば、次の式で求められる。 1. Continuous movement at a linear or nonlinear speed and movement at a speed slower than the moving speed of the face. Alternatively, it may be followed continuously at a non-linear speed (for example, so as to be continuous to the human eye). At this time, the clipping unit 34 follows the clipping range at a speed slower than the moving speed of the face. Note that the speed of the reference point coordinates of the face (moving speed of the face) can be obtained by, for example, the following equation.

顔の基準点座標の移動量／｛（今回の画像データの取得時刻）－（前回の画像データの取得時刻）｝ Movement amount of face reference point coordinates/{(current image data acquisition time)−(previous image data acquisition time)}

２．段階的かつ顔の移動速度より遅い速度の移動
例えば、切り出し部３４は、切り出し範囲を連続的でなく、段階的（例えば、人の目で見て段階的となるように）に移動させてもよい。例えば、切り出し部３４は、１．による切り出し範囲の移動量より粗い移動量（大きい移動量）で切り出し範囲を移動させてもよい。 2. Movement at a speed slower than the moving speed of the face in steps For example, the clipping unit 34 may move the clipping range not continuously but stepwise (for example, stepwise when viewed by human eyes). good. For example, the clipping unit 34 may:1. The extraction range may be moved by a rougher movement amount (larger movement amount) than the movement amount of the extraction range by .

３．予め位置が設定された切り出し範囲の移動
図１５Ａ、図１５Ｂ、および図１５Ｃは、予め決められた切り出し範囲の位置を説明する図である。図１５Ａでは、切り出し範囲Ａ４１ａは、スマートフォン１のディスプレイの最上部に位置している。図１５Ｂでは、切り出し範囲Ａ４１ｂは、スマートフォン１のディスプレイの中央に位置している。図１５Ｃでは、切り出し範囲Ａ４１ｃは、スマートフォン１のディスプレイの最下部に位置している。 3. Movement of Preliminarily Positioned Clipping Range FIGS. 15A, 15B, and 15C are diagrams for explaining the position of a predetermined clipping range. In FIG. 15A , the cutout range A41a is positioned at the top of the display of the smartphone 1. In FIG. In FIG. 15B, the cutout range A41b is positioned at the center of the display of the smartphone 1. In FIG. In FIG. 15C , the cutout range A41c is positioned at the bottom of the display of the smartphone 1 .

切り出し範囲の移動位置は、例えば、図１５Ａ、図１５Ｂ、および図１５Ｃに示す位置に限られていてもよい。切り出し部３４は、図１５Ａ、図１５Ｂ、および図１５Ｃに示すいずれかの位置に切り出し範囲を移動する。例えば、切り出し部３４は、顔の基準点座標に、最も中心が近い切り出し範囲を選択する。このように、切り出し範囲の移動位置を予め設定しておく（決めておく）ことにより、スマートフォン１は、処理負荷を低減できる。 The movement positions of the cutout range may be limited to the positions shown in FIGS. 15A, 15B, and 15C, for example. The clipping unit 34 moves the clipping range to one of the positions shown in FIGS. 15A, 15B, and 15C. For example, the clipping unit 34 selects a clipping range whose center is closest to the reference point coordinates of the face. By presetting (determining) the movement position of the clipping range in this way, the smartphone 1 can reduce the processing load.

なお、切り出し範囲の位置は、３つに限られない。例えば、切り出し範囲の位置は、スマートフォン１のディスプレイの最上部と最下部との２つであってもよい。また、切り出し範囲の位置は、４以上であってもよい。 Note that the number of positions of the cutout range is not limited to three. For example, the positions of the cutout range may be two, the top and the bottom of the display of the smartphone 1 . Also, the number of positions of the cutout range may be four or more.

また、切り出し範囲は、例えば、切り出し範囲Ａ４１ａ、切り出し範囲Ａ４１ｂ、切り出し範囲Ａ４１ｃのように連続的に移動してもよいし、切り出し範囲Ａ４１ａから切り出し範囲Ａ４１ｃのように間を空けて移動してもよい。 Also, the cutout range may move continuously, for example, from cutout range A41a to cutout range A41b to cutout range A41c, or may move with a gap from cutout range A41a to cutout range A41c. good.

以上説明したように、玄関扉の近傍に配置される玄関子機３と通信を行う室内親機２とビデオ通話を行うスマートフォン１は、インカメラ２０と、インカメラ２０で撮影される画像に含まれる顔を検出する顔検出部３２と、画像に含まれる顔の移動量を算出する移動算出部３３と、顔を含むように画像の一部を切り出して切り出し画像を生成する切り出し部３４と、を備え、切り出し部３４は、顔の移動量が所定量以上の場合、画像の一部を切り出す切り出し範囲を、移動する顔に追従させる。 As described above, the indoor master unit 2 communicating with the entrance slave unit 3 placed near the entrance door and the smartphone 1 performing a video call are included in the in-camera 20 and the image captured by the in-camera 20. a face detection unit 32 for detecting a face included in the image, a movement calculation unit 33 for calculating the amount of movement of the face included in the image, a clipping unit 34 for clipping a part of the image so as to include the face and generating a clipped image; and the clipping unit 34 causes the clipping range for clipping a part of the image to follow the moving face when the amount of movement of the face is equal to or greater than a predetermined amount.

これにより、撮影する画像の動きは抑制され、室内親機のディスプレイにおいて画像を見やすくできる。また、スマートフォン１は、インカメラ２０が撮影する画像を切り出して室内親機２に送信するので、送信データ量が少なくて済む。また、スマートフォン１は、インカメラ２０が撮影する画像に含まれる顔を判定し、判定した顔を含むように画像を切り出すので、使用者は、インカメラ２０が撮影する画像の決まった箇所が切り出される場合よりも、顔の位置合わせが容易となる。言い換えれば、使用者は、ディスプレイ１６の決まった箇所に自分自身が映し出されるように、インカメラ２０の撮影方向を調整しなくても済む。 As a result, the movement of the captured image is suppressed, and the image can be easily viewed on the display of the indoor master unit. In addition, since the smartphone 1 cuts out the image captured by the in-camera 20 and transmits it to the indoor master unit 2, the amount of data to be transmitted can be reduced. In addition, the smartphone 1 determines the face included in the image captured by the in-camera 20 and cuts out the image so as to include the determined face. Alignment of the face becomes easier than in the case where In other words, the user does not need to adjust the photographing direction of the in-camera 20 so that the user himself/herself is projected on a fixed portion of the display 16 .

なお、切り出し部３４は、画像を正方形状に切り出すとしたが、これに限られない。例えば、切り出し部３４は、室内親機２のディスプレイ４６と同じアスペクト比の形状で画像を切り出してもよい。 Although the clipping unit 34 clips the image in a square shape, it is not limited to this. For example, the clipping unit 34 may clip the image in a shape having the same aspect ratio as the display 46 of the indoor master unit 2 .

また、正方形状の切り出し範囲の一辺の長さを、インカメラ２０が撮影する画像の短手方向の幅に一致させたが、これに限られない。例えば、正方形状の切り出し範囲の一辺の長さは、インカメラ２０が撮影する画像の短手方向の幅より短くてもよい。この場合、切り出し部３４は、切り出し範囲の中心に顔が来るよう、切り出し範囲を画像の短手方向にも動かしてもよい。 Moreover, although the length of one side of the square cutout range is made to match the width in the short direction of the image captured by the in-camera 20, it is not limited to this. For example, the length of one side of the square cutout range may be shorter than the width of the image captured by the in-camera 20 in the lateral direction. In this case, the clipping unit 34 may also move the clipping range in the lateral direction of the image so that the face comes to the center of the clipping range.

また、制御部１３は、画像取り込み部３１、顔検出部３２、移動量算出部３３、および切り出し部３４を有するとしたが、これに限られない。例えば、画像処理部１５が、前述の機能を有してもよい。 Also, although the control unit 13 has the image capture unit 31, the face detection unit 32, the movement amount calculation unit 33, and the clipping unit 34, it is not limited to this. For example, the image processing section 15 may have the functions described above.

また、室内親機２は、カメラ５１を備えるとしたが、これに限られない。室内親機２は、カメラ５１を備えなくてもよい。この場合、スマートフォン１のディスプレイ１６には、例えば、建物Ａ１で留守番をしている子供の様子が表示されないが、スマートフォン１を使用する外出中の親の様子は、室内親機２のディスプレイ４６に表示される。これにより、建物Ａ１で留守番をしている子供は、外出中の親の顔を見ることができ、安心できる。 Also, although the indoor master unit 2 is provided with the camera 51, it is not limited to this. The indoor master unit 2 does not have to be equipped with the camera 51 . In this case, the display 16 of the smartphone 1 does not display, for example, the child who is answering in the building A1, but the parent using the smartphone 1 who is out is displayed on the display 46 of the indoor master unit 2. Is displayed. As a result, the child who is answering in the building A1 can see the face of the parent who is out, and can feel at ease.

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。 Each functional block used in the description of the above embodiments is typically implemented as an LSI, which is an integrated circuit. These may be made into one chip individually, or may be made into one chip so as to include part or all of them. Although LSI is used here, it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、または、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。 Also, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI may be used.

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。 Furthermore, if an integration technology that replaces the LSI appears due to advances in semiconductor technology or another derived technology, the technology may naturally be used to integrate the functional blocks. Application of biotechnology, etc. is possible.

本開示は、ドアホンシステムとして有用である。 The present disclosure is useful as a door phone system.

１スマートフォン
２室内親機
３玄関子機
４無線ルータ
５ネットワーク
１１，４１，４８通信部
１２，４２記憶部
１３，４３制御部
１４，４４音声処理部
１５，４５画像処理部
１６，４６ディスプレイ
１７，４７操作部
１８，４９マイクロフォン
１９，５０スピーカ
２０インカメラ
２１アウトカメラ
３１画像取り込み部
３２顔検出部
３３移動量算出部
３４切り出し部
５１カメラ
Ａ１建物
Ａ１１ａ，Ａ１１ｂ，Ａ１３ａ，Ａ１３ｂ余白
Ａ１２，Ａ１４，Ａ１５切り出し範囲
Ａ３１ａ親
Ａ３１ｂ子供
Ａ３２ａ，Ａ３２ｂ，Ａ３３ａ，Ａ３３ｂ画像 1 smart phone 2 indoor main unit 3 entrance slave unit 4 wireless router 5 network 11, 41, 48 communication unit 12, 42 storage unit 13, 43 control unit 14, 44 audio processing unit 15, 45 image processing unit 16, 46 display 17, 47 operation unit 18, 49 microphone 19, 50 speaker 20 in-camera 21 out-camera 31 image capture unit 32 face detection unit 33 movement amount calculation unit 34 clipping unit 51 camera A1 building A11a, A11b, A13a, A13b margin A12, A14, A15 Crop range A31a Parent A31b Child A32a, A32b, A33a, A33b Image

Claims

A mobile terminal that performs a video call with an indoor master unit,
camera and
a detection unit that detects a face included in an image captured by the camera;
a calculation unit that calculates the amount of movement of the face included in the image;
a clipping unit that clips a portion of the image to include the face to generate a clipped image;
with
When the amount of movement of the face is equal to or greater than a predetermined amount, the clipping unit moves a clipping range for clipping a part of the image to a predetermined position to follow the moving face.
mobile terminal.

A mobile terminal that performs a video call with an indoor master unit,
camera and
a detection unit that detects a face included in an image captured by the camera;
a calculation unit that calculates the amount of movement of the face included in the image;
a clipping unit that clips a portion of the image to include the face to generate a clipped image;
with
When the amount of movement of the face is equal to or greater than a predetermined amount, the clipping unit moves the clipping range of the image step by step to follow the moving face.
mobile terminal.

The clipping unit clips a portion of the image in the square-shaped clipping range.
3. The mobile terminal according to claim 1 or 2 .

The clipping unit clips a portion of the image such that one side of the clipping range matches the width of the image in the lateral direction.
The mobile terminal according to any one of claims 1 to 3 .

further comprising a display that displays the clipped image;
The mobile terminal according to any one of claims 1 to 4 .

further comprising a communication unit that transmits the clipped image to the indoor master unit;
The mobile terminal according to any one of claims 1 to 5 .

The communication unit receives an indoor master unit image captured by the indoor master unit,
further comprising a display that displays the indoor master unit image,
The portable terminal according to claim 6 .

An image clipping method for a mobile terminal that makes a video call with an indoor master unit,
Detect faces in images captured by the camera,
calculating the amount of movement of the face included in the image;
clipping a portion of the image to include the face to generate a clipped image;
when the amount of movement of the face is equal to or greater than a predetermined amount, moving a cut-out range for cutting out a part of the image to a predetermined position to follow the moving face;
Image cropping method.

An image clipping method for a mobile terminal that makes a video call with an indoor master unit,
Detect faces in images captured by the camera,
calculating the amount of movement of the face included in the image;
clipping a portion of the image to include the face to generate a clipped image;
when the amount of movement of the face is greater than or equal to a predetermined amount, moving a cut-out range for cutting out a part of the image step by step to follow the moving face;
Image cropping method.

A program for executing each process of an image clipping method of a mobile terminal that performs a video call with an indoor master unit,
detecting a face in an image captured by a camera;
calculating a movement amount of the face included in the image;
cropping a portion of the image to include the face to generate a cropped image;
The step of generating the clipped image includes:
moving a cutout range for cutting out a part of the image to a predetermined position to follow the moving face when the amount of movement of the face is equal to or greater than a predetermined amount;
An image cropping program.

A program for executing each process of an image clipping method of a mobile terminal that performs a video call with an indoor master unit,
detecting a face in an image captured by a camera;
calculating a movement amount of the face included in the image;
cropping a portion of the image to include the face to generate a cropped image;
The step of generating the clipped image includes:
when the amount of movement of the face is equal to or greater than a predetermined amount, moving a cut-out range for cutting out a part of the image step by step to follow the moving face;
An image cropping program.