robots.txt
2022/8/11 8:18:00
SemrushBotのアクセスを拒否
2022/10/10 11:41:00
SemrushBotからのアクセスを拒否する設定にした。
robots.txtに下記の設定を追加したところ、SemrushBotはrobots.txt以外にはアクセスしなくなった。
User-agent: SemrushBot
Disallow: /
SemrushBotからのアクセスを拒否する設定にした。
robots.txtに下記の設定を追加したところ、SemrushBotはrobots.txt以外にはアクセスしなくなった。
User-agent: SemrushBot
Disallow: /