WebInfo

웹사이트 검색 노출 설정 방법

Dexlee 2022. 9. 19. 23:10

Intro.

내 웹사이트가 검색 사이트에서 노출이 잘 되게 하려면 두 가지 파일이 있어야 한다. 바로 sitemap.xml과 robots.txt 파일이다.

 

1. 브라우저(구글, 네이버)

브라우저는 내 웹사이트가 해당 브라우저에서 검색될 수 있도록 사이트를 등록해주는 어드민 검색 콘솔을 제공해준다. 이 어드민 검색 콘솔에서 내 검색 설정을 하게 되는데, 여기서 가장 중요한 파일이 sitemap.xml과 robots.txt이다. 왜냐하면 이 두 파일이 내 웹사이트가 검색될 수 있도록 페이지를 색인해주는 역할을 하기 때문이다.

 

2. sitemap.xml

사이트맵스(Sitemaps) 프로토콜은 웹마스터가 크롤링 통해 이용 가능한 웹사이트 상의 URL에 관해 검색 엔진에 정보를 제공할 수 있게 하는 프로토콜이다. 사이트맵은 사이트에 대한 URL을 나열해놓은 XML 파일이다.

Sitemap.xml(사이트 맵)  파일은 검색 엔진 크롤링 로봇에게 웹 사이트에서 크롤링 해야 할 URL 을 전달한다.

 

해당 파일은 구글 서치 콘솔이 제공하고 다운받아서 직접 티스토리에다가 업로드하면 된다.

 

- 경로

스킨 편집 > html 편집 > 파일업로드

 

3. robots.txt

robots.txt는 웹사이트에 웹 크롤러같은 로봇들의 접근을 제어하기 위한 규약이다.

아직 권고안이라 꼭 지킬 의무는 없다.

사이트맵(sitemap.xml) 파일의 위치를 알려주는 역할을 하는 파일이다. 

 

모든 로봇에게 문서 접근 허락

User-agent: *
Allow: /

 

만약에 해당 파일이 google search console에서 제공하지 않는다면 직접 txt 파일에 작성해서 tistory에 파일을 첨부하면 된다.

 

- 경로

스킨 편집 > html 편집 > 파일업로드

 

 

 

references

https://ko.wikipedia.org/wiki/%EC%82%AC%EC%9D%B4%ED%8A%B8%EB%A7%B5%EC%8A%A4

https://namu.wiki/w/robots.txt

https://baessi.tistory.com/5

https://www.ascentkorea.com/what-is-robots-txt-sitemap-xml/