네이버 부동산 매물 목록을 엑셀에 자동으로 가져오기

네이버 부동산 매물 목록을 엑셀에 자동으로 가져오기

앞선 글에서 네이버 증권에 있는 1분 단위 주가지수를 엑셀로 가져오는 방법(https://kongyine.com/223432522460)과 이를 이용한 주가지수 예측을 소개한 바 있었는데, 이러한 엑셀의 웹 쿼리(Web Query)로 데이터를 가져오는 기능을 활용하면, 네이버 부동산에 나와있는 부동산 매물 목록을 아주 쉽게 엑셀로 가져와 활용할 수가 있다.

이렇게 부동산 매물 목록을 엑셀로 가져오게 되면, 내가 원하는 조건에 맞는 부동산 매물을 보다 효율적으로 검색할 수 있고, 중개업소별 물건, 가격 추세를 확인하는데도 유용할 듯하다.

네이버 부동산의 매물정보를 엑셀로 가져오는 방법은…..

크롬 브라우저에서, 다음과 같이 네이버 부동산(mobile 버전이 더 편리)에 들어가 대상 지역을 정한 후,

F12를 누르면 다음과 같이 웹페이지의 코드 화면이 나타나는데,

여기서 “네트워크” –> Fetch/XHR을 탭을 선택해 준다. 그러면 다음과 같이 “cluster……”항목을 볼 수 있다. (만일 이미 이 부분에 항목이 많다면 F5를 눌러 화면을 한번 고쳐쓰기 해 준다.)

그런데, 이 상태에서 위의 매물 목록을 마우스로 클릭하면, 다음과 같이 화면 왼쪽에는 매물 목록이 나타나고, 웹페이지 소스 부분에는 기존에 없던 ” articleList….”라는 행이 생기는 것을 볼 수가 있다.

이 articleList 부분을 마우스로 클릭하고 “헤더” 탭을 선택해 주면, 다음처럼 해당 매물 목록의 URL을 확인할 수가 있다.

그리고 매물 목록을 죽죽 아래로 내리다 보면, 이러한 articleList가 추가로 생성되는 것을 볼 수 있다.

각각의 articleList의 URL을 확인해 보면, 다음처럼 page 번호만 다른 것을 확인할 수 있다.

현재 기준으로는 20개 매물 단위로 페이지가 나누어진다.

여기서, URL을 복사한 후,

(Note: 만일 확장 프로그램들이 설치된 경우, 간혹 복사가 되지 않는 경우도 있다. 이때는 아랫줄에 있는 “해당 웹페이지 이동을 먼저 선택”한 후 해당 페이지에서 주소를 복사하면 된다.)

엑셀의 “데이터” –>”웹 ” 메뉴를 선택한 후, 다음 화면이 되면 복사해 둔 URL을 붙여 넣어준다.

확인을 눌러주면 다음과 같은 화면이 되는데, 여기서 다음 화면의 List 부분을 마우스로 눌러

다음과 같은 20개의 레코드를 모두 나열해 준다.

그리고 상단의 “테이블로..” 메뉴 버튼을 눌러주면 다음과 같은 화면이 나오는데,

단순히 그냥 확인 버튼을 눌러주면, 다음과 같은 테이블의 형태가 된다.

위의 화면과 비슷하나, 마킹된 부분이 다른데, 이 부분을 마우스로 눌러서 확장시키면

다음과 같이 확장 표시 가능한 필드 항목들이 나타난다.

여기서 불필요한 필드들을 선택 해제해도 되지만, 그냥 다음처럼 확인을 해 주어도 된다.

그러면 다음과 같이 해당 필드들이 확장되어 표시된 테이블의 형태가 된다.

각 필드들의 내용을 보면서 불필요한 필 듯 열들은 다음과 같이 마우스로 선택(첫 줄 부분을 마우스로 누르면 됨) 한 후, 메뉴의 “열 제거” 명령으로 삭제해 준다.

이를 통해 필요한 필드만 표시되도록 테이블이 정리된 후,

필요한 경우 각 필드의 이름을 좀 더 알아보기 쉬운 것으로 대체할 수 있는데, 해당 이름 부분에서 마우스 우측버튼 메뉴에 있는 “이름 바꾸기”를 이용하거나, 해당 이름 부분을 마우스로 더블클릭해도 변경이 가능하다.

각 필드의 이름을 다음과 같이 변경한 후에는,

다음 메뉴를 선택해 주면,

다음과 같이 해당 URL 페이지에 속하는 20개 매물의 목록이 엑셀 시트로 불려들여지게 된다.

또한 일정한 주기로, 이러한 테이블을 최신 테이블로 자동 갱신하도록 설정하려면, 다음과 같이 쿼리 메뉴에서, 속성을 선택하고 새로고침 주기를 설정해 주면 된다.

이러한 전 과정에 대한 동영상은 다음과 같다.

여러 페이지에 해당되는 매물 목록을 가져오려면…..

위에서 소개한 방법으로 부동산 매물 목록을 엑셀로 가져오는 경우, 해당 URL 당 20개씩의 매물 목록을 엑셀로 가져오게 되는데, 만일 20개 이상의 목록이 필요한 경우라면 다음 2가지 방법을 사용할 수 있어 소개한다.

먼저, 해당 URL의 페이지 번호만 변경해서 URL List를 만든다.

그리고, 해당 URL List를 사용해 데이터를 엑셀로 가져오되 다음 2가지 방법이 있다.

1) URL들을 위의 방법으로 페이지만 변경해 반복(횟수가 2-4개 정도라면 추천) 하는 방법이다.

– 번거롭지만 이해하기 쉽다. 다음 예제 동영상을 참조하기 바란다.

2) 두번째 방법은 가져올 데이타 목록수가 많을때 필수적인 방법으로.

URL List를 테이블로 만들고, 별도 글에서 소개한대로 매개변수를 활용하여전체 URL List의 목록을 한 번에 가져오는 방법이다.

이 방법의 예제 동영상은 다음과 같다.

이 방법은 불러올 목록이 많을수록 효율적이고 편리하나, 매개변수를 이용하는 함수를 한번 만들고, 이 매개변수 함수를 이용하는 이중 쿼리 방식이라, 다소 복잡하고 이해가 어려울 수도 있다.

이처럼 매개변수를 이용하는 방법 자체에 대해서는 별도의 글에서 자세히 (https://kongyine.com/223432522460) 소개했으며, 분량이 길므로 해당 글을 참조하기 바란다.