KR101839066B1 - Street view translation supplying apparatus and method for mobile - Google Patents

Street view translation supplying apparatus and method for mobile Download PDF

Info

Publication number
KR101839066B1
KR101839066B1 KR1020160104076A KR20160104076A KR101839066B1 KR 101839066 B1 KR101839066 B1 KR 101839066B1 KR 1020160104076 A KR1020160104076 A KR 1020160104076A KR 20160104076 A KR20160104076 A KR 20160104076A KR 101839066 B1 KR101839066 B1 KR 101839066B1
Authority
KR
South Korea
Prior art keywords
review
portable terminal
terminal
character
rotation
Prior art date
Application number
KR1020160104076A
Other languages
Korean (ko)
Other versions
KR20180019861A (en
Inventor
홍민
이동화
김성엽
김승완
염효섭
Original Assignee
순천향대학교 산학협력단
주식회사 블루코어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단, 주식회사 블루코어 filed Critical 순천향대학교 산학협력단
Priority to KR1020160104076A priority Critical patent/KR101839066B1/en
Publication of KR20180019861A publication Critical patent/KR20180019861A/en
Application granted granted Critical
Publication of KR101839066B1 publication Critical patent/KR101839066B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H04M1/72572—
    • G06F17/28—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 휴대 단말기에 거리뷰가 표시되는 경우에 휴대 단말기의 실시간 현재위치와 사용자의 시선방향에 따라 거리뷰의 화면이 변경되도록 하여 사용자가 실제 간판, 가고자 하는 층 등을 정확하게 인지하여 목적지를 용이하게 확인할 수 있는 휴대 단말기용 거리뷰 번역 제공장치 및 제공방법에 관한 것이다.
본 발명에 따른 휴대 단말기용 거리뷰 번역 제공장치(200)는, 3차원 카메라로 거리를 따라 촬영된 동영상과 촬영된 지역의 좌표정보와, 촬영방향에 대한 거리뷰에 대한 정보를 관리하는 거리뷰 관리부(210)와; 휴대 단말기(100)로부터 GPS 좌표정보를 실시간으로 제공받아 휴대 단말기(100)의 현재위치를 확인하는 단말기 현재위치 확인부(220)와; 휴대 단말기(100)로부터 사용자의 시선에 대응되는 휴대 단말기(100)의 회전 방위각을 제공받는 단말기 회전각도 확인부(230)와; 단말기 현재위치 확인부(220)를 통해서 제공받은 휴대 단말기(100)의 실시간 현재위치에 대응되는 거리뷰를 선택하는 단말기 현재위치 거리뷰 선택부(240)와; 단말기 회전각도 확인부(230)를 통해서 제공받은 휴대 단말기(100)의 회전 방위각에 대응되는 방향을 갖는 거리뷰를 선택하는 단말기 회전방향 거리뷰 선택부(250)와; 단말기 회전방향 거리뷰 선택부(250)에서 선택된 거리뷰를 휴대 단말기(100)의 화면에 표시되도록 제공하는 단말기 회전방향 거리뷰 표시부(290);를 포함한다.In the present invention, when a large review is displayed on the portable terminal, the screen of the review is changed according to the real-time current position of the portable terminal and the direction of the user's gaze so that the user can accurately recognize the signboard, And more particularly, to a device and method for providing a review and translation service for a mobile terminal.
The device 200 for translating and providing reviews for mobile terminals according to the present invention is a device for translating and displaying moving pictures photographed along a distance by a three-dimensional camera, coordinate information of the photographed area, A management unit 210; A terminal current position determiner 220 for receiving the GPS coordinate information from the portable terminal 100 in real time and confirming the current position of the portable terminal 100; A terminal rotation angle confirmation unit 230 for receiving a rotation azimuth angle of the portable terminal 100 corresponding to the user's line of sight from the portable terminal 100; A terminal current location review selection unit 240 for selecting a review corresponding to a current real time location of the portable terminal 100 provided through the terminal current location determination unit 220; A terminal rotation direction review selection unit 250 for selecting a review having a direction corresponding to a rotation azimuth angle of the portable terminal 100 provided through the terminal rotation angle confirmation unit 230; And a terminal rotation direction review display unit 290 for displaying the selected review in the terminal rotation direction review selection unit 250 to be displayed on the screen of the portable terminal 100.

Description

휴대 단말기용 거리뷰 번역 제공장치 및 제공방법{Street view translation supplying apparatus and method for mobile}TECHNICAL FIELD [0001] The present invention relates to a device and a method for providing translation interpretation for a mobile terminal,

본 발명은 휴대 단말기에 거리뷰가 표시되는 경우에 휴대 단말기의 실시간 현재위치와 사용자의 시선방향에 따라 거리뷰의 화면이 변경되도록 하면서 거리뷰에 포함된 문자를 사용자가 설정한 언어로 번역하여 사용자가 실제 간판, 가고자 하는 층 등을 정확하게 확인할 수 있는 휴대 단말기용 거리뷰 번역 제공장치 및 제공방법에 관한 것이다.The present invention relates to a method and apparatus for displaying a review screen on a mobile terminal by changing a screen of a review screen according to a real-time current position of the mobile terminal and a direction of a user's gaze, And more particularly, to a device and a method for providing a large-sized review and translation device for a mobile terminal that can accurately identify a real signboard, a floor to be visited, and the like.

일반적으로 네이버, 다음 등과 같이 지도정보를 제공하는 경우에는 도 1a와 같은 평면지도, 1b와 같은 스카이뷰와, 1c와 같은 3차원 카메라로 촬영된 거리뷰를 함께 제공하고 있다. 1b의 스카이뷰와, 1c의 거리뷰는 단말기에 표시되는 지도에서 포함된 옵션으로 사용자가 항목을 선택하면 표시된다.Generally, when providing map information such as Naver and the following, a plane map as shown in FIG. 1A, a skyview like 1b, and a review of a photograph taken with a three-dimensional camera such as 1c are provided together. 1b's Skyview and 1c's reviews are included on the map displayed on the terminal and are displayed when the user selects an item.

그러나, 종래의 거리뷰의 경우 사용자가 확인하고자 하는 지역을 선택해야하기 때문에 사용자가 좁은 단말기의 화면에 표시되는 지도에서 실시간 위치를 정확하게 지정할 수 없는 문제가 있다.However, in the conventional review, since the user has to select an area to check, there is a problem that the user can not accurately specify the real-time position on the map displayed on the screen of the narrow terminal.

또한, 정확한 위치를 지정하여 거리뷰가 표시되더라도 사용자의 방향에 관계없이 표시되기 때문에 사용자가 정확한 방향을 확인하기 위해서는 거리뷰를 회전시킬 수밖에 없는 문제가 있다.In addition, even if a correct review is displayed by designating an exact position, the user is forced to rotate his / her review in order to check the correct direction because it is displayed irrespective of the direction of the user.

또한, 외국인들은 거리뷰를 통해서 거리를 확인할 수 있지만, 실제거리와 차이가 없이 실제위치에서는 거리뷰를 사용하기 어려운 문제가 있다.In addition, although foreigners can check the distance through the review, there is a problem that it is difficult to use the review at the actual location without any difference from the actual distance.

본 발명이 해결하고자 하는 과제는 휴대 단말기에 거리뷰가 표시되는 경우에 휴대 단말기의 실시간 현재위치와 사용자의 시선방향에 따라 거리뷰의 화면이 변경되도록 하면서 거리뷰에 포함된 문자를 사용자가 설정한 언어로 번역하여 사용자가 현실의 거리상황을 정확하게 확인할 수 있는 휴대 단말기용 거리뷰 번역 제공장치 및 제공방법을 제공하는 데 있다.The present invention has been made to solve the above-mentioned problems occurring in the prior art, and it is an object of the present invention to provide a mobile terminal, a mobile terminal, and a mobile terminal, And provides a device and a method for providing a large-sized review translation for a mobile terminal, which enables the user to accurately ascertain the actual distance situation.

본 발명에 따른 휴대 단말기용 거리뷰 번역 제공장치(200)는, 3차원 카메라로 거리를 따라 촬영된 동영상과 촬영된 지역의 좌표정보와, 촬영방향에 대한 거리뷰에 대한 정보를 관리하는 거리뷰 관리부(210)와; 휴대 단말기(100)로부터 GPS 좌표정보를 실시간으로 제공받아 휴대 단말기(100)의 현재위치를 확인하는 단말기 현재위치 확인부(220)와; 휴대 단말기(100)로부터 사용자의 시선에 대응되는 휴대 단말기(100)의 회전 방위각을 제공받는 단말기 회전각도 확인부(230)와; 단말기 현재위치 확인부(220)를 통해서 제공받은 휴대 단말기(100)의 실시간 현재위치에 대응되는 거리뷰를 선택하는 단말기 현재위치 거리뷰 선택부(240)와; 단말기 회전각도 확인부(230)를 통해서 제공받은 휴대 단말기(100)의 회전 방위각에 대응되는 방향을 갖는 거리뷰를 선택하는 단말기 회전방향 거리뷰 선택부(250)와; 단말기 회전방향 거리뷰 선택부(250)에서 선택된 거리뷰에 포함되어 있는 문자와 상기 거리뷰의 영역 중 문자가 검출된 영역의 위치정보를 확인하는 거리뷰 문자 확인부(260)와; 거리뷰 문자 확인부(260)에서 확인된 거리뷰에 포함된 문자를 설정된 언어로 번역하는 번역 관리부(270)와; 번역 관리부(270)에서 번역된 문자를 문자 확인부에서 확인된 상기 위치정보의 로드뷰의 문자가 검출된 위치에 표시하는 번역 문자 표시부(280)와; 번역 문자 표시부(280)에 의해서 번역된 문자로 변경된 거리뷰를 휴대 단말기(100)의 화면에 표시되도록 제공하는 단말기 회전방향 거리뷰 표시부(290);를 포함하는 것을 특징으로 한다.The device 200 for translating and providing reviews for mobile terminals according to the present invention is a device for translating and displaying moving pictures photographed along a distance by a three-dimensional camera, coordinate information of the photographed area, A management unit 210; A terminal current position determiner 220 for receiving the GPS coordinate information from the portable terminal 100 in real time and confirming the current position of the portable terminal 100; A terminal rotation angle confirmation unit 230 for receiving a rotation azimuth angle of the portable terminal 100 corresponding to the user's line of sight from the portable terminal 100; A terminal current location review selection unit 240 for selecting a review corresponding to a current real time location of the portable terminal 100 provided through the terminal current location determination unit 220; A terminal rotation direction review selection unit 250 for selecting a review having a direction corresponding to a rotation azimuth angle of the portable terminal 100 provided through the terminal rotation angle confirmation unit 230; A review character confirmation unit (260) for confirming characters included in the review selected by the terminal rotation direction review selection unit (250) and the location information of a region where characters are detected in the area of the review; A translation management unit 270 for translating the characters included in the review reviewed by the review character confirmation unit 260 into a predetermined language; A translation character display unit 280 for displaying the translated character in the translation management unit 270 at the position where the character of the load view of the position information confirmed by the character confirmation unit is detected; And a terminal rotation direction review display unit (290) for providing a review of the translated character by the translated character display unit (280) to be displayed on the screen of the portable terminal (100).

바람직하게, 휴대 단말기(100)는 설치되어 있는 GPS 수신기로부터 현재위치 좌표를 제공받아 단말기 현재위치 확인부(220)로 제공하는 것을 특징으로 한다.Preferably, the portable terminal 100 receives the current location coordinates from the installed GPS receiver and provides the current location coordinates to the terminal current location determination unit 220.

바람직하게, 휴대 단말기(100)의 회전 방위각은 휴대 단말기(100)에 표시되는 화면의 상단이 위치하는 방위각을 기준으로 하는 것을 특징으로 한다.Preferably, the rotation azimuth angle of the portable terminal 100 is based on an azimuth angle at which an upper end of the screen displayed on the portable terminal 100 is located.

바람직하게, 휴대 단말기(100)의 회전 방위각은 가속도센서로 측정되는 것을 특징으로 한다.Preferably, the rotational azimuth angle of the portable terminal 100 is measured by an acceleration sensor.

본 발명에 따른 거리뷰 번역 제공방법은, 휴대 단말기(100)에서 거리뷰가 선택되는 단계; 거리뷰 제공장치(200)는 휴대 단말기(100)로부터 현재위치와 휴대 단말기(100)의 회전 방위각을 제공받는 단계; 거리뷰 제공장치(200)는 휴대 단말기(100)의 실시간 현재위치와 회전 방위각에 대응되는 방향을 갖는 거리뷰를 확인하는 단계; 거리뷰 제공장치(200)는 휴대 단말기(100)의 회전 방위각에 대응되는 방향을 갖는 거리뷰에 포함되어 있는 문자와 상기 로드뷰에서 상기 문자가 검출된 영역의 위치정보를 확인하는 단계; 거리뷰에서 문자가 확인되면 확인된 문자를 설정된 언어로 번역하는 단계; 거리뷰 제공장치(200)는 번역된 문자를 로드뷰의 상기 위치정보에 대응하는 위치에 기재하는 단계; 거리뷰 제공장치(200)는 번역된 문자로 변경된 실시간 현재위치에서 회전 방위각을 갖는 거리뷰를 휴대 단말기(100)의 화면에 표시되도록 제공하는 단계;를 포함하는 것을 특징으로 한다.The method of providing and providing interpretation for a review according to the present invention includes the steps of: selecting a review in the portable terminal (100); The submissions review providing apparatus 200 comprises: receiving a current position from a portable terminal 100 and a rotating azimuth angle of the portable terminal 100; The submissions review providing apparatus 200 includes a step of confirming a review having a direction corresponding to a real-time current position and a rotation azimuth of the portable terminal 100; The rough review providing apparatus 200 includes a step of confirming a character included in a review having a direction corresponding to a rotation azimuth angle of the portable terminal 100 and a location information of an area in which the character is detected in the road view; Translating the confirmed character into the set language if the character is confirmed in the review; The rough review providing apparatus (200) includes the steps of: writing the translated character at a position corresponding to the position information of the road view; The mobile device 100 provides the mobile device 100 with a review having a rotation azimuth angle at a real-time current position changed to a translated character.

이러한 본 발명의 휴대 단말기용 거리뷰 번역 제공장치 및 제공방법에 의하면, 휴대 단말기에 거리뷰가 표시되는 경우에 휴대 단말기의 실시간 현재위치와 사용자의 시선방향에 매칭되도록 거리뷰의 화면에 포함된 문자가 자국어로 변경되기 때문에 사용자가 외국인이더라도 실제 간판, 가고자 하는 층 등을 정확하게 확인할 수 있는 장점이 있다.According to the present invention, when a review is displayed on the portable terminal, the user can easily recognize the character included in the review screen to match the real- Is changed to the native language, it is possible to accurately check the actual signboard and the floor to go even if the user is a foreigner.

도 1은 일반적인 지도와 거리뷰의 예시도.
도 2는 본 발명에 따른 휴대 단말기용 거리뷰 번역 제공장치의 개략도.
도 3은 발명에 따른 휴대 단말기용 거리뷰 번역 제공장치의 블록도.
도 4는 발명에 따른 거리뷰 번역 제공과정을 나타낸 플로차트.1 is an exemplary diagram of a general map and a map review.
FIG. 2 is a schematic view of a device for providing a long review for a portable terminal according to the present invention. FIG.
3 is a block diagram of a device for providing translation interpretation for a portable terminal according to the present invention.
FIG. 4 is a flow chart illustrating a process for providing interpretation and interpretation according to the invention; FIG.

이하, 첨부된 도면을 참조하여 본 발명에 따른 휴대 단말기용 거리뷰 번역 제공장치 및 제공방법에 대하여 자세히 살펴본다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the present embodiments of the present invention, examples of which are illustrated in the accompanying drawings.

도 2에 도시된 바와 같이, 본 발명에 따른 휴대 단말기용 거리뷰 번역 제공장치 및 제공방법의 기본개념은 휴대 단말기(100)에서 휴대 단말기용 거리뷰 번역 제공장치(200)로 거리뷰를 요청하면서 휴대 단말기(100)의 실시간 현재위치와 회전 방위각을 제공하면, 휴대 단말기용 거리뷰 번역 제공장치(200)에서 제공받은 현재위치와 회전 방위각에 대응되는 위치 및 방향을 갖는 거리뷰를 선택하고, 선택된 거리뷰에 포함된 문자를 번역한 후에 휴대 단말기의 현재위치 및 방향을 일치되면서 번역된 문자가 기재된 거리뷰를 휴대 단말기(100)로 제공하는 것이다. 이에 따라 휴대 단말기 사용자가 지도상으로 현재위치의 거리뷰를 통해서 간판 등의 문자를 자국어로 확인하면서 거리상황을 정확하게 인지할 수 있게 된다. 이때, 휴대 단말기(100)는 스마트폰, PDA, 태블릿 PC 등을 포함한다. As shown in FIG. 2, the basic idea of the apparatus and method for providing and providing review of a large-sized mobile terminal according to the present invention includes a method of requesting a review of a large- If the mobile terminal 100 provides a real-time current position and a rotation azimuth angle, the mobile terminal 100 selects a review having a position and a direction corresponding to the current position and the rotation azimuth provided by the device 200 After the characters included in the review are translated, the portable terminal 100 provides a review on which the translated characters are written while the current position and the direction of the portable terminal coincide with each other. Accordingly, the user of the mobile terminal can accurately recognize the distance situation while checking the characters of the signboard in the native language through the review of the current location on the map. At this time, the portable terminal 100 includes a smart phone, a PDA, a tablet PC, and the like.

도 3에 도시된 바와 같이, 본 발명에 따른 휴대 단말기용 거리뷰 번역 제공장치(200)는, 거리뷰 관리부(210), 단말기 현재위치 확인부(220), 단말기 회전각도 확인부(230), 단말기 현재위치 거리뷰 선택부(240), 단말기 회전방향 거리뷰 선택부(250), 거리뷰 문자 확인부(260), 번역 관리부(270), 번역 문자 표시부(280), 단말기 회전방향 거리뷰 표시부(290)를 포함한다. 3, the device 200 for providing a long review for a portable terminal according to the present invention includes a location review management unit 210, a terminal current location confirmation unit 220, a terminal rotation angle confirmation unit 230, The terminal rotation direction review selection unit 250, the review character confirmation unit 260, the translation management unit 270, the translation character display unit 280, the terminal rotation direction review display unit 250, (290).

거리뷰 관리부(210)는 3차원 카메라로 거리를 따라 촬영된 동영상과 촬영된 지역의 좌표정보와, 촬영방향에 대한 거리뷰에 대한 정보를 거리뷰DB(211)를 저장하고 관리한다. 이러한 촬영된 지역의 좌표정보는 GPS 좌표이고, 촬영방향은 카메라의 촬영방향인 것이 바람직하다.The meridian review management unit 210 stores and manages the review review DB 211 about the moving picture photographed along the distance by the three-dimensional camera, the coordinate information of the photographed area, and information on the review of the photographing direction. It is preferable that the coordinate information of the photographed area is GPS coordinates and the photographing direction is the photographing direction of the camera.

단말기 현재위치 확인부(220)는 휴대 단말기(100)로부터 GPS 좌표정보를 실시간으로 제공받아 휴대 단말기(100)의 현재위치를 확인한다. 이때, 휴대 단말기(100)는 설치되어 있는 GPS 수신기로부터 휴대 단말기(100)의 현재위치 좌표를 제공받아 전송하게 되다.The terminal current position confirmation unit 220 receives the GPS coordinate information from the portable terminal 100 in real time and confirms the current position of the portable terminal 100. At this time, the portable terminal 100 receives the current position coordinates of the portable terminal 100 from the installed GPS receiver and transmits the coordinates.

단말기 회전각도 확인부(230)는 휴대 단말기(100)로부터 사용자의 시선에 대응되는 휴대 단말기(100)의 회전 방위각을 제공받는다. 이때, 휴대 단말기(100)의 회전 방위각은 휴대 단말기(100)에 표시되는 화면의 상단이 위치하는 방위각을 기준으로 하는 것이 바람직하다. 즉, 사용자가 휴대 단말기(100)의 화면을 확인하면서 회전하는 경우에는 통상적으로 휴대 단말기(100)의 화면 상단이 전방을 향하도록 위치한 상태에서 회전하기 때문에 화면 상단의 회전방향을 사용자의 시선방향으로 결정하는 것이 타당하게 된다. 그리고, 휴대 단말기(100)는 화면 상단의 회전 방위각을 휴대 단말기(100)에 장착된 통상의 가속도센서 등의 각도확인장비를 통해서 확인할 수 있다. The terminal rotation angle confirmation unit 230 receives the rotation azimuth angle of the portable terminal 100 corresponding to the user's gaze from the portable terminal 100. At this time, the rotation azimuth angle of the portable terminal 100 is preferably based on an azimuth angle at which the top of the screen displayed on the portable terminal 100 is located. That is, when the user rotates while checking the screen of the portable terminal 100, since the top of the screen of the portable terminal 100 normally rotates in a state facing forward, the rotation direction of the top of the screen is changed to the direction of the user's gaze It becomes appropriate to decide. The portable terminal 100 can confirm the rotational azimuth angle of the upper end of the screen through an angle checking device such as a normal acceleration sensor mounted on the portable terminal 100.

단말기 현재위치 거리뷰 선택부(240)는 단말기 현재위치 확인부(220)를 통해서 제공받은 휴대 단말기(100)의 실시간 현재위치에 대응되는 거리뷰를 선택한다. 단말기 현재위치 거리뷰 선택부(240)는 휴대 단말기(100)로부터 제공받은 실시간 GPS 좌표정보를 등록된 거리뷰의 좌표정보와 비교하여 일치되는 거리뷰를 선택하게 된다.The terminal current location review selection unit 240 selects a review corresponding to the current real time location of the portable terminal 100 provided through the terminal current location determination unit 220. [ The terminal current location review selecting unit 240 compares the real time GPS coordinates information provided from the portable terminal 100 with the coordinate information of the registered reward review to select a matching review.

단말기 회전방향 거리뷰 선택부(250)는 단말기 현재위치 거리뷰 선택부(240)에서 선택된 거리뷰 중에서 단말기 회전각도 확인부(230)를 통해서 제공받은 휴대 단말기(100)의 회전 방위각에 대응되는 방향을 갖는 거리뷰를 선택한다. The terminal rotation direction review review selection unit 250 selects a direction of rotation corresponding to the rotation azimuth angle of the mobile terminal 100 provided through the terminal rotation angle confirmation unit 230 among the reviews selected by the terminal current location review selection unit 240 Select the review that you have.

거리뷰 문자 확인부(260)는 단말기 회전방향 거리뷰 선택부(250)에서 선택된 거리뷰에 포함되어 있는 문자와 문자의 위치정보를 확인한다. 거리뷰 문자 확인부(260)는 문자인식 프로그램을 이용하여 거리뷰에 포함된 간판 등의 문자를 확인하게 된다. The meridian review character confirmation unit 260 confirms location information of characters and characters included in the meridian review selected by the terminal rotation direction review selection unit 250. [ The merge review character confirmation unit 260 confirms a character such as a signboard included in the review using a character recognition program.

번역 관리부(270)는 거리뷰 문자 확인부(260)에서 확인된 거리뷰에 포함된 문자를 설정된 언어로 번역한다. 이때, 번역언어는 휴대 단말기 사용자가 선택할 수 있도록 지도의 일측에 번역언어 선택항목이 표시되는 것이 바람직하다. 이에 따라, 번역 관리부(270)는 번역문자로 영어가 설정된 경우에 거리뷰 문자 확인부(260)에서 확인된 문자가 한글, 일어 등이면 영어로 번역하게 된다.The translation managing unit 270 translates the characters included in the review reviewed by the rough review character verifying unit 260 into the set language. At this time, it is preferable that a translation language selection item is displayed on one side of the map so that the user of the portable terminal can select the translation language. Accordingly, when the English is set as the translation character, the translation management unit 270 translates the character confirmed by the review character verification unit 260 into Korean, Japanese, or the like.

번역 문자 표시부(280)는 번역 관리부(270)에서 번역된 문자를 문자 확인부에서 확인된 로드뷰의 문자 위치에 표시한다. 이때, 번역된 문자는 거리뷰의 문자 위치에 표시되거나 또는 함께 기재하는 것이 바람직하다.The translation character display unit 280 displays the translated character in the translation management unit 270 at the character position of the load view confirmed by the character confirmation unit. At this time, it is preferable that the translated character is displayed at the character position of the review or is described together.

단말기 회전방향 거리뷰 표시부(290)는 번역 문자 표시부(280)에 의해서 번역된 문자로 변경된 거리뷰를 휴대 단말기(100)의 화면에 표시되도록 제공한다. 이에 따라 휴대 단말기(100)의 화면에 거리뷰에 문자가 포함되어 있으면 문자가 사용자가 요청한 번역문자로 표시되기 때문에 외국인이더라도 거리뷰의 내용으로 실제 거리의 간판 등의 특성을 확인할 수 있게 된다. 또한, 사용자의 시선방향으로 휴대 단말기(100)가 회전되면 휴대 단말기(100)의 회전방향에 대응되도록 거리뷰도 회전하면서 번역문자가 표시되기 때문에 사용자의 시선과 동일하게 거리뷰의 내용을 확인할 수 있게 된다. The terminal rotation direction review review display unit 290 provides a review of the translated character by the translated character display unit 280 to be displayed on the screen of the portable terminal 100. [ Accordingly, if a character is included in the review of the screen of the portable terminal 100, the character is displayed as a translation character requested by the user. Therefore, even if a foreigner, the characteristics of the actual distance can be confirmed by the content of the review. When the portable terminal 100 is rotated in the direction of the user's gaze, since the translation character is displayed while the viewer's view is rotated so as to correspond to the rotation direction of the portable terminal 100, the contents of the review can be confirmed in the same manner as the user's gaze .

도 4에 도시된 바와 같이, 본 발명에 따른 거리뷰 번역 제공과정에 대하여 살펴본다. As shown in FIG. 4, a description will be given of a process of providing interpretation and interpretation according to the present invention.

먼저, 스마트폰 등의 휴대 단말기(100)에서 지도를 확인하면서 거리뷰가 선택되면(단계 S101), 거리뷰 제공장치(200)는 휴대 단말기(100)로부터 GPS 수신기로부터 수신된 GPS 좌표정보와 사용자의 시선에 대응되는 휴대 단말기(100)의 회전 방위각을 제공받는다(단계 S102). First, when a review is selected while checking the map on the portable terminal 100 such as a smart phone (step S101), the device 201 provides the GPS coordinate information received from the GPS receiver and the user The rotation azimuth angle of the portable terminal 100 corresponding to the line of sight of the user is provided (step S102).

그 후, 거리뷰 제공장치(200)는 휴대 단말기(100)의 실시간 현재위치에 대응되는 거리뷰를 선택하고(단계 S103), 선택된 거리뷰 중에서 휴대 단말기(100)의 회전 방위각에 대응되는 방향을 갖는 거리뷰를 확인한다(단계 S104). 이때, 휴대 단말기(100)는 실시간 현재위치를 GPS 좌표정보를 이용하고, 회전 방위각은 휴대 단말기(100)에 표시되는 화면의 상단이 위치하는 방위각을 기준으로 하는 것이 바람직하다. Thereafter, the rough review providing apparatus 200 selects a review corresponding to the real-time current position of the portable terminal 100 (step S103), selects a direction corresponding to the rotation azimuth of the portable terminal 100 (Step S104). At this time, it is preferable that the portable terminal 100 uses the GPS coordinate information in the real time current position, and the rotation azimuth angle is based on the azimuth angle at which the top of the screen displayed on the portable terminal 100 is located.

그리고, 거리뷰 제공장치(200)는 휴대 단말기(100)의 회전 방위각에 대응되는 방향을 갖는 거리뷰에 포함되어 있는 문자와 문자의 위치정보를 확인한다(단계 S105). 이때, 거리뷰 제공장치(200)는 문자인식 프로그램을 이용하여 거리뷰에 포함된 간판 등의 문자를 확인하게 된다.Then, the rough review providing apparatus 200 confirms the positional information of characters and characters included in the review having the direction corresponding to the rotation azimuth angle of the portable terminal 100 (step S105). At this time, the rough review providing apparatus 200 confirms a character such as a signboard included in the rough review by using a character recognition program.

거리뷰에서 문자가 확인되면 확인된 문자를 설정된 언어로 번역한다(단계 S106). 예를 들면, 번역문자가 영어로 설정된 경우에 로드뷰에서 확인된 문자가 한글, 일어 등이면 영어로 번역하게 된다.If the character is confirmed in the review, the confirmed character is translated into the set language (step S106). For example, if the translation character is set to English, the character confirmed in the load view is translated into English if the character is Korean, Japanese, or the like.

그리고, 거리뷰 제공장치(200)는 번역된 문자를 원래의 로드뷰의 문자 위치에 기재하고(단계 S107), 휴대 단말기(100)의 화면에 표시되도록 제공한다(단계 S108). 이때, 번역된 문자는 거리뷰의 문자 위치에 표시되거나 또는 함께 기재하는 것이 바람직하다.Then, the rough review providing apparatus 200 writes the translated character in the character position of the original load view (step S107), and provides the translated character to be displayed on the screen of the portable terminal 100 (step S108). At this time, it is preferable that the translated character is displayed at the character position of the review or is described together.

이러한 거리뷰 제공장치(200)에 의해서 거리뷰의 동영상에 글자가 존재하는 경우에 여행자라도 자국의 문자로 변역되어 표시되기 거리부를 이용하여 간판 등의 내용을 확인할 수 있게 된다.When there is a character in the moving picture of the rough review by the apparatus 200 for providing review, the traveler can change the character of his / her own station and display the contents of the sign etc. by using the displayed distance.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Various modifications and variations are possible within the scope of the appended claims.

100 : 휴대 단말기
200 : 거리뷰 제공장치
210 : 거리뷰 관리부
220 : 단말기 현재위치 확인부
230 : 단말기 회전각도 확인부
240 : 단말기 현재위치 거리뷰 선택부
250 : 단말기 회전방향 거리뷰 선택부
260 : 거리뷰 문자 확인부
270 : 번역 관리부
280 : 번역 문자 표시부
290 : 단말기 회전방향 거리뷰 표시부100: portable terminal
200: Reviewing device
210: Review Management Division
220: terminal current location confirmation unit
230: terminal rotation angle confirmation unit
240: terminal current position review selection unit
250: Terminal rotation direction review selection section
260: a review character confirmation part
270: translation management department
280: Translated character display unit
290: Terminal rotation direction review display section

Claims (11)

3차원 카메라로 거리를 따라 촬영된 동영상과 촬영된 지역의 좌표정보와, 촬영방향에 대한 거리뷰에 대한 정보를 관리하는 거리뷰 관리부(210)와;
휴대 단말기(100)로부터 GPS 좌표정보를 실시간으로 제공받아 휴대 단말기(100)의 현재위치를 확인하는 단말기 현재위치 확인부(220)와;
휴대 단말기(100)로부터 사용자의 시선에 대응되는 휴대 단말기(100)의 회전 방위각을 제공받는 단말기 회전각도 확인부(230)와;
단말기 현재위치 확인부(220)를 통해서 제공받은 휴대 단말기(100)의 실시간 현재위치에 대응되는 거리뷰를 선택하는 단말기 현재위치 거리뷰 선택부(240)와;
단말기 회전각도 확인부(230)를 통해서 제공받은 휴대 단말기(100)의 회전 방위각에 대응되는 방향을 갖는 거리뷰를 선택하는 단말기 회전방향 거리뷰 선택부(250)와;
단말기 회전방향 거리뷰 선택부(250)에서 선택된 거리뷰에 포함되어 있는 문자와 상기 거리뷰의 영역 중 문자가 검출된 영역의 위치정보를 확인하는 거리뷰 문자 확인부(260)와;
거리뷰 문자 확인부(260)에서 확인된 거리뷰에 포함된 문자를 설정된 언어로 번역하는 번역 관리부(270)와;
번역 관리부(270)에서 번역된 문자를 문자 확인부에서 확인된 상기 위치정보의 거리뷰의 문자가 검출된 위치에 표시하는 번역 문자 표시부(280)와;
번역 문자 표시부(280)에 의해서 번역된 문자로 변경된 거리뷰를 휴대 단말기(100)의 화면에 표시되도록 제공하는 단말기 회전방향 거리뷰 표시부(290);를 포함하는 것을 특징으로 하는 휴대 단말기용 거리뷰 번역 제공장치.
A review management unit 210 for managing information on a moving picture photographed along a distance by a three-dimensional camera, coordinates information of the photographed area, and information on a review of the photographing direction;
A terminal current position determiner 220 for receiving the GPS coordinate information from the portable terminal 100 in real time and confirming the current position of the portable terminal 100;
A terminal rotation angle confirmation unit 230 for receiving a rotation azimuth angle of the portable terminal 100 corresponding to the user's line of sight from the portable terminal 100;
A terminal current location review selection unit 240 for selecting a review corresponding to a current real time location of the portable terminal 100 provided through the terminal current location determination unit 220;
A terminal rotation direction review selection unit 250 for selecting a review having a direction corresponding to a rotation azimuth angle of the portable terminal 100 provided through the terminal rotation angle confirmation unit 230;
A review character confirmation unit (260) for confirming characters included in the review selected by the terminal rotation direction review selection unit (250) and the location information of a region where characters are detected in the area of the review;
A translation management unit 270 for translating the characters included in the review reviewed by the review character confirmation unit 260 into a predetermined language;
A translation character display unit 280 for displaying the translated character in the translation management unit 270 at a position where the character of the review of the position information confirmed by the character confirmation unit is detected;
And a terminal rotation direction review display unit (290) for displaying the changed character interpreted by the translated character display unit (280) to be displayed on the screen of the portable terminal (100) Translation providing device.
청구항 1에 있어서, 휴대 단말기(100)는 설치되어 있는 GPS 수신기로부터 현재위치 좌표를 제공받아 단말기 현재위치 확인부(220)로 제공하는 것을 특징으로 하는 휴대 단말기용 거리뷰 번역 제공장치.
The apparatus as claimed in claim 1, wherein the portable terminal (100) receives current position coordinates from an installed GPS receiver and provides the current position coordinates to the terminal current position determination unit (220).
청구항 1에 있어서, 휴대 단말기(100)의 회전 방위각은 휴대 단말기(100)에 표시되는 화면의 상단이 위치하는 방위각을 기준으로 하는 것을 특징으로 하는 휴대 단말기용 거리뷰 번역 제공장치.
The apparatus of claim 1, wherein the rotation azimuth angle of the portable terminal (100) is based on an azimuth angle at which an upper end of a screen displayed on the portable terminal (100) is located.
청구항 1에 있어서, 휴대 단말기(100)의 회전 방위각은 가속도센서로 측정되는 것을 특징으로 하는 휴대 단말기용 거리뷰 번역 제공장치.
The apparatus as claimed in claim 1, wherein the rotational azimuth angle of the portable terminal (100) is measured by an acceleration sensor.
청구항 1에 있어서, 번역언어는 휴대 단말기 사용자가 선택할 수 있도록 지도의 일측에 번역언어 선택항목이 표시되는 특징으로 하는 휴대 단말기용 거리뷰 번역 제공장치.
The device according to claim 1, wherein a translation language selection item is displayed on one side of the map so that a user of the portable terminal can select the translation language.
청구항 1에 있어서, 번역된 문자는 거리뷰의 문자 위치에 표시되거나 또는 함께 기재되는 것을 특징으로 하는 휴대 단말기용 거리뷰 번역 제공장치.
The device according to claim 1, wherein the translated character is displayed at a character position of the review or is displayed together with the translated character.
휴대 단말기(100)에서 거리뷰가 선택되는 단계;
거리뷰 제공장치(200)는 휴대 단말기(100)로부터 현재위치와 휴대 단말기(100)의 회전 방위각을 제공받는 단계;
거리뷰 제공장치(200)는 휴대 단말기(100)의 실시간 현재위치와 회전 방위각에 대응되는 방향을 갖는 거리뷰를 확인하는 단계;
거리뷰 제공장치(200)는 휴대 단말기(100)의 회전 방위각에 대응되는 방향을 갖는 거리뷰에 포함되어 있는 문자와 상기 거리뷰에서 상기 문자가 검출된 영역의 위치정보를 확인하는 단계;
거리뷰에서 문자가 확인되면 확인된 문자를 설정된 언어로 번역하는 단계;
거리뷰 제공장치(200)는 번역된 문자를 거리뷰의 상기 위치정보에 대응하는 위치에 기재하는 단계;
거리뷰 제공장치(200)는 번역된 문자로 변경된 실시간 현재위치에서 회전 방위각을 갖는 거리뷰를 휴대 단말기(100)의 화면에 표시되도록 제공하는 단계;를 포함하는 것을 특징으로 하는 거리뷰 번역 제공방법.
Selecting a review in the portable terminal (100);
The submissions review providing apparatus 200 comprises: receiving a current position from a portable terminal 100 and a rotating azimuth angle of the portable terminal 100;
The submissions review providing apparatus 200 includes a step of confirming a review having a direction corresponding to a real-time current position and a rotation azimuth of the portable terminal 100;
The rough review providing apparatus (200) comprises: confirming a character included in a review having a direction corresponding to a rotation azimuth angle of the portable terminal (100) and a location information of an area where the character is detected in the review;
Translating the confirmed character into the set language if the character is confirmed in the review;
The rough review providing apparatus (200) includes the steps of: writing the translated character at a position corresponding to the position information of the review;
And providing the rough review having the rotation azimuth angle at the real time current position changed to the translated character to be displayed on the screen of the mobile terminal 100. [ .
청구항 7에 있어서, 휴대 단말기(100)는 실시간 현재위치를 GPS 좌표정보를 이용하고, 회전 방위각은 휴대 단말기(100)에 표시되는 화면의 상단이 위치하는 방위각을 기준으로 하는 것을 특징으로 하는 거리뷰 번역 제공방법.
The mobile terminal according to claim 7, wherein the portable terminal (100) uses the GPS coordinate information in the real time current position and the azimuth angle in which the top of the screen displayed on the portable terminal (100) How to provide translation.
청구항 7에 있어서, 휴대 단말기(100)의 회전 방위각은 가속도센서로 측정되는 것을 특징으로 하는 거리뷰 번역 제공방법.
The method according to claim 7, wherein the rotational azimuth angle of the portable terminal (100) is measured by an acceleration sensor.
청구항 7에 있어서, 번역언어는 휴대 단말기 사용자가 선택할 수 있도록 지도의 일측에 번역언어 선택항목이 표시되는 것을 특징으로 하는 거리뷰 번역 제공방법.
The method according to claim 7, wherein a translation language selection item is displayed on one side of the map so that the user of the mobile terminal can select the translation language.
청구항 7에 있어서, 번역된 문자는 거리뷰의 문자 위치에 표시되거나 또는 함께 기재되는 것을 특징으로 하는 거리뷰 번역 제공방법.The method according to claim 7, wherein the translated character is displayed at the character position of the review or is described together.
KR1020160104076A 2016-08-17 2016-08-17 Street view translation supplying apparatus and method for mobile KR101839066B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160104076A KR101839066B1 (en) 2016-08-17 2016-08-17 Street view translation supplying apparatus and method for mobile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160104076A KR101839066B1 (en) 2016-08-17 2016-08-17 Street view translation supplying apparatus and method for mobile

Publications (2)

Publication Number Publication Date
KR20180019861A KR20180019861A (en) 2018-02-27
KR101839066B1 true KR101839066B1 (en) 2018-03-16

Family

ID=61394497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160104076A KR101839066B1 (en) 2016-08-17 2016-08-17 Street view translation supplying apparatus and method for mobile

Country Status (1)

Country Link
KR (1) KR101839066B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102133472B1 (en) * 2018-03-08 2020-07-13 네이버 주식회사 Method and system for providing street view information
KR102347500B1 (en) * 2020-03-13 2022-01-05 네이버 주식회사 Method and apparatus for providing street view

Also Published As

Publication number Publication date
KR20180019861A (en) 2018-02-27

Similar Documents

Publication Publication Date Title
US11164379B2 (en) Augmented reality positioning method and apparatus for location-based service LBS
AU2011211601B2 (en) Method for providing information on object within view of terminal device, terminal device for same and computer-readable recording medium
US10677596B2 (en) Image processing device, image processing method, and program
US9154742B2 (en) Terminal location specifying system, mobile terminal and terminal location specifying method
US10025985B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program
US11776185B2 (en) Server, user terminal, and service providing method, and control method thereof for displaying photo images within a map
KR102344012B1 (en) Method and apparatus for displaying point of interest
US20120044264A1 (en) Apparatus and method for providing augmented reality
US8712689B2 (en) Method for computer-based determination of a position in a map, navigation device and mobile radio telephone
CN110457571B (en) Method, device and equipment for acquiring interest point information and storage medium
TW201910902A (en) Information display method and device
US20150130833A1 (en) Map superposition method and electronic device
KR101839066B1 (en) Street view translation supplying apparatus and method for mobile
JP4464780B2 (en) Guidance information display device
US20210160424A1 (en) Mobile information terminal, information presentation system and information presentation method
KR20150077607A (en) Dinosaur Heritage Experience Service System Using Augmented Reality and Method therefor
CN105807274A (en) Radar location method and system based on social platform and social platform
JP2011118687A (en) Object management device and object management method
JP5271965B2 (en) Object distribution range setting device and object distribution range setting method
US9032287B2 (en) Systems and methods of modifying a web page based on environmental factors
KR102219232B1 (en) Method and system for providing information of artist to a user using mural
CN109933642B (en) Method and device for generating guide picture, electronic equipment and storage medium
CN108062786B (en) Comprehensive perception positioning technology application system based on three-dimensional information model
KR20180019860A (en) Navigation supplying apparatus and method based on street view for mobile
JP2011069773A (en) Information terminal device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant