오늘 오후 방문수 변동이 거의 없었는데, 생각난 김에 티스토리 블로그에 올린 글 5개를 네이버 웹마스터 도구, 빙(Bing) 웹마스터도구, 구글 서치 콘솔(Google Search Concole)에 URL을 제출하여 웹페이지 수집 요청을 했습니다.
그런 후 조회수가 10 정도 늘어났습니다.
글 하나에 대한 통계를 보면, 직접 유입이 2입니다. 나머지 글도 마찬가지입니다.
오후 내내 유입이 없다가 URL을 제출하자마자 유입이 생겼네요.
항상 글을 발행하고 URL 제출로 색인 요청하고 나면 조회수가 늘어나길래 검색엔진 봇(검색엔진 크롤러)이 다녀가도 조회수 올라가는 게 아닌가 항상 의심스러웠는데, 점점 확신에 가까워지는 것 같습니다.
검색엔진 봇이 웹페이지를 크롤링하나요?
네, 검색 엔진은 웹페이지를 크롤링합니다. 검색 엔진 크롤러 또는 검색 엔진 봇은 인터넷을 돌아다니며 웹페이지를 자동으로 수집하고 색인화하는 소프트웨어입니다. 이 크롤러는 검색 엔진이 웹상의 다양한 페이지를 인덱싱하여 사용자의 검색 쿼리에 대한 결과를 제공할 수 있도록 합니다.
검색 엔진 크롤러는 웹사이트의 로봇.txt 파일을 확인하여 크롤링 범위를 제한하거나 특정 디렉토리 또는 페이지를 제외할 수도 있습니다. 또한, 크롤러는 링크를 따라 웹페이지를 순회하며 새로운 페이지를 발견하고 크롤링합니다. 이러한 크롤러는 웹의 광대한 양의 정보를 수집하여 검색 엔진의 데이터베이스에 저장하고 인덱싱합니다.
검색 엔진 크롤러는 웹페이지의 HTML 콘텐츠, 링크, 메타 데이터 등을 수집하여 검색 결과를 생성하는 데 사용됩니다. 이러한 크롤러들은 주기적으로 웹을 순회하며 변경된 내용을 갱신하고 새로운 페이지를 추가하여 최신 정보를 반영합니다.
웹사이트 운영자는 로봇.txt 파일이나 메타 태그 등을 사용하여 크롤러의 동작을 제어하고 특정 페이지를 제한하는 등의 설정을 할 수 있습니다.
검색엔진 봇이 크롤링할 때 티스토리 블로그의 조회수가 증가하나요?
일반적으로 검색 엔진 봇이 웹페이지를 크롤링할 때, 해당 웹페이지의 조회수가 증가하지 않습니다. 검색 엔진 봇은 웹페이지의 콘텐츠와 링크를 수집하고 검색 엔진의 인덱스에 추가하기 위해 웹을 순회합니다. 이 작업은 웹페이지의 콘텐츠를 수집하는 것에 초점을 두며, 조회수를 증가시키는 목적으로 동작하지 않습니다.
조회수는 보통 사용자가 웹페이지를 방문할 때 증가하며, 웹페이지에 방문한 사용자가 브라우저를 통해 웹서버에 요청을 보내는 과정에서 발생합니다. 검색 엔진 봇은 일반적으로 웹페이지를 방문하기 위해 브라우저를 사용하지 않고, 직접 HTTP 요청을 보내서 웹서버에서 응답을 받습니다. 따라서 검색 엔진 봇의 동작으로는 조회수가 증가하지 않는 것이 보통입니다.
그러나 일부 웹서버 또는 특정 환경에서는 검색 엔진 봇의 접근도 조회수 증가로 처리될 수 있기도 합니다. 이는 웹서버나 특정 분석 도구에서 검색 엔진 봇의 접근을 웹페이지의 방문으로 간주하여 조회수를 증가시키는 것입니다. 하지만 이는 검색 엔진의 크롤링 동작과는 직접적인 관련이 있는 것이 아니며, 구체적인 환경 및 설정에 따라 다를 수 있습니다. 일반적으로는 조회수 증가에 크롤러의 동작은 영향을 주지 않습니다.
구글 애널리틱스에 사용자수 2명이 검색엔진 봇이 아닌가 의심됩니다.
구글 애널리틱스는 웹사이트의 트래픽과 사용자 동작에 대한 분석을 제공하는 도구입니다. 하지만 애널리틱스 데이터만으로는 정확하게 어떤 방문자가 검색 엔진 봇인지 구분하기는 어렵습니다. 검색 엔진 봇은 실제 사용자처럼 웹페이지를 방문하여 데이터를 수집하기 때문에 애널리틱스에서도 검색 엔진 봇의 방문을 사용자로 기록할 수 있습니다.
구글 애널리틱스는 일반적으로 사용자를 구분하기 위해 쿠키와 사용자 에이전트(User Agent) 정보를 사용합니다. 하지만 검색 엔진 봇은 일반적으로 자체적으로 생성한 쿠키를 가지지 않거나 사용자 에이전트 정보가 고유하지 않을 수 있어서, 애널리틱스에서 사용자로 인식되는 경우가 있을 수 있습니다.
따라서 애널리틱스에서 2명의 사용자로 표시된 데이터가 검색 엔진 봇인지 아닌지를 정확히 확인하려면 다른 방법을 사용해야 합니다. 예를 들어, 애널리틱스의 "유입원" 레포트를 살펴보거나 사용자 에이전트 정보를 분석하여 검색 엔진 봇의 특정 패턴을 확인하는 등의 방법을 사용할 수 있습니다.
검색 엔진 봇의 데이터를 애널리틱스에서 제외하려면 애널리틱스 설정에서 봇 필터링을 활성화하는 것이 좋습니다. 이렇게 하면 일반적으로 검색 엔진 봇으로 식별되는 트래픽을 제외할 수 있습니다. 구글 애널리틱스 설정에서 봇 필터링에 대한 자세한 내용은 구글 애널리틱스 도움말이나 지원 문서를 참조하시기 바랍니다.
구글 애널리틱스 도움말에서 확인해봤습니다.
봇 필터링: 알려진 봇 및 스파이더 트래픽을 제외합니다. GA4는 봇과 스파이더를 자동으로 필터링합니다. 유니버설 애널리틱스와 달리 이 옵션을 사용하기 위해 별도로 취해야 할 조치는 없습니다.
[GA4] 알려진 봇 트래픽 제외
Google 애널리틱스 4 속성에서 알려진 봇 및 스파이더의 트래픽은 자동으로 제외됩니다. 이렇게 하면 애널리틱스 데이터에 알려진 봇의 이벤트가 포함되지 않습니다. 현재는 알려진 봇 트래픽 제외를 사용 중지하거나 알려진 봇 트래픽이 얼마나 제외되었는지 확인하는 것이 불가능합니다.
Google 애널리틱스 4 및 유니버설 애널리틱스 속성의 알려진 봇 트래픽은 Google 연구와 인터넷광고협회에서 유지 관리하는 국제 스파이더 및 봇 목록의 조합을 사용하여 식별됩니다. 자세한 내용은 인터넷광고협회(IAB) 웹사이트를 참고하세요.
+ 이 글은 조회수가 0입니다. (2023.06.05일 기준)
구글 서치 콘솔, 네이버 웹마스터 도구, 빙 웹마스터 도구에 URL 제출해서 색인 생성을 했습니다.
그리고 구글(Google), 네이버(Naver), 빙(Bing)에서 조회되고 있습니다.
티스토리 방문 통계에서 직접 조회 2건은 검색엔진 봇(검색엔진 크롤러)이 아니라 실제 사용자가 조회한 것 같습니다.
글을 발행하고 색인 생성 요청하면 바로 조회수가 올라가는 경우를 많이 봐서 봇인가 의심했는데 봇이 아니라서 다행이기도 하면서 아직도 바로 조회수 올라가는게 신기합니다.
하루 수천 명씩 방문하는 블로그라면 그럴 수도 있겠지만, 제 블로그는 10분에 한 명 방문하는 수준이라 갑자기 조회수가 10씩 올라가면 이상하다 여길 수밖에 없습니다. 그래서 저는 검색엔진 봇이 다녀간 거라고 해석했던 거고요.
'블로그 운영' 카테고리의 다른 글
| 검색결과에서 타원형 탭에 대한 궁금증 | meat 태그? (0) | 2023.06.20 |
|---|---|
| 티스토리 로그인제한 7일 규제 - 청소년 유해(청소년 유해 정보) (0) | 2023.06.15 |
| 웹사이트 구조화를 위한 데이터 표현 방식: JSON-LD 예제와 활용 (0) | 2023.06.04 |
| 웹사이트 데이터 구조화 방법: Microdata와 RDFa (0) | 2023.06.04 |
| 구조화된 데이터 표현 방식: Microdata, RDFa, JSON-LD, Structure 및 기타 방법 (0) | 2023.06.03 |
댓글