목차
저장된 페이지의 이해
블로그 또는 웹사이트를 운영하면서 방문자 수를 늘리기 위해 네이버, 구글등의 검색엔진에 사이트를 등록하게 됩니다.
등록 후 일정 시간이 지나면 자신의 사이트가 검색 결과에 노출되며 검색 엔진의 크롤링 봇은 끈임없이 사이트 정보를 가져가게 되는데요.
방문자가 원하는 검색어를 입력해 나오는 결과에 대한 사이트 링크를 서핑하게 되는데 만일 어떤 사이트가 접속이 되지 않거나 전혀 다른 내용의 페이지로 링크된다면 검색엔진은 다음 크롤링이 되는 즉시 이를 반영해 검색엔진을 사용하는 유저들의 불편을 최소화 하고 있습니다.
하지만 방대한 양의 사이트의 모든 정보에 대한 변경점을 순식간에 반영하기는 힘들기 때문에 검색 결과로 반영될때의 이전 문서에 대한 정보를 제공하는데 이것이 바로 ‘저장된 페이지’ 입니다.
‘저장된 페이지’는 이처럼 방문자 편의를 위해 제공되는 기능이긴 하지만 사이트 운영자 입장에서 민감한 정보가 크롤링 되었거나 사이트 리뉴얼 이전의 정보가 저장된 페이지에 노출된 경우 이를 삭제해야 하는 경우가 생깁니다.
저장된 페이지 삭제
구글과 네이버 같은 경우 검색 엔진에게 제공하는 문서 정보인 메타태그 <meta tag> 규약을 잘 따르기 떄문에 메타태그를 통해 저장된 페이지를 삭제할 수 있습니다.
<head> <meta name="robots" content="noarchive" /> </head>
위와 같이 <head> 태그 안에 크롤링된 이전 정보를 제공하지 말라는 메타태그를 작성해 넣으면 끝입니다.
워드프레스 같은 경우 테마에서 제공하는 <head> 편집 기능을 통해 직접 넣거나 AD inserter 같은 플러그인을 통해 삽입하면 되고 티스토리 같은 경우 skin.html 상단의 <head> 태그 안에 넣으면 되겠습니다.
여기서 중요한 점은 robots.txt 에서 해당 페이지가 disable 에 포함된 경우 크롤링이 되지 않아 위 메타태그가 적용되지 않으므로 robots.txt 에서 크롤링이 가능하게 허용해 메타 태그가 반영되게 해야 합니다.
Yeti(네이버), Google-bot(구글) 봇이 다음에 크롤링을 할때 적용되며 사이트 전체에 적용되려면 어느 정도의 시간이 소요되므로 참고하시길 바랍니다.
1 댓글. Leave new
안녕하세요 정말 급해서 댓글 남겨봅니다 현재는 네이버가 저장된 페이지 기능을 지원하지 않고 있는 것 같은데요… 삭제된 사이트인데 (제 글입니다) 네이버 웹캐쉬에는 저장되어 있는 것 같습니다 혹시 이거 볼 수 있는 방법이 어떻게 없을까요… 혹시 아신다면 한번만 도움 부탁드려보겠습니다…