Mange nettstedoperatører er urolige. Tilsynelatende må du absolutt ha en fil som heter robots.txt. Hva er det?
Windows + Linux / engelsk / åpen kildekode. Hvis du har en hjemmeside, vil du vanligvis bli funnet. Det er stor frustrasjon når din egen side ikke vises på Google. Dette kan godt skyldes robots.txt -filen. Men bare hvis den er der. Denne filen kan bare gjøre én ting: Forby.
I robots.txt -filen kan du forhindre at automatiske programmer som surfer på Internett døgnet rundt får tilgang til sidene dine. Du kan uttale forbudet over hele linjen for alle disse robotene eller for visse. Du kan blokkere sidene dine helt eller bare bestemte områder.
Hvis filen ikke eksisterer, er det derfor ingen forbud. Sidene dine er åpne for alle søkemotorer. Hvis du fremdeles ikke vises på Google, oppstår et helt annet spørsmål: Har du allerede registrert sidene dine? Det beste du kan gjøre er å gjøre det med en gang. Bare skriv inn adressen her:
https://www.google.com/webmasters/tools/submit-url
For å gjøre dette må du logge deg på Google -kontoen din.
For at en manglende robots.txt -fil skal være et problem, må serveren også være konfigurert feil. Deretter kan en robot prøve å få tilgang til filen og støte på uvanlige feilmeldinger, slik at prosessen avbrytes. Men denne saken er svært usannsynlig.
Hvis du vil opprette en robots.txt -fil, lagrer du den i hovedmappen på webserveren din. Hvis du vil tillate alle å gjøre alt, skriver du følgende inn i den:
Bruker agent: *
Ikke tillat:
Linjen "User-Agent" angir hvem forbudet gjelder. * betyr: for alle. Linjen "Disallow" uttrykker forbudet. Hvis det ikke er noe mer, betyr det at alle tilganger er tillatt.
Mer om emnet:Gardin opp, her kommer nettstedet ditt: Hvordan lage et nettsted med liten innsats
