{"id":14154,"date":"2023-05-24T09:00:18","date_gmt":"2023-05-24T06:00:18","guid":{"rendered":"https:\/\/blog.sh.com.tr\/?p=14154"},"modified":"2023-05-22T15:44:54","modified_gmt":"2023-05-22T12:44:54","slug":"robot-txt-dossyasi-hakkinda-detayli-bilgiler","status":"publish","type":"post","link":"https:\/\/sh.com.tr\/blog\/robot-txt-dossyasi-hakkinda-detayli-bilgiler\/","title":{"rendered":"Robot.txt Dosyas\u0131 Hakk\u0131nda Detayl\u0131 Bilgiler"},"content":{"rendered":"

Web sitesinin SEO performans\u0131n\u0131<\/strong> art\u0131rmak i\u00e7in bir\u00e7ok strateji ve teknik mevcuttur ve bunlardan biri de robot.txt dosyas\u0131n\u0131<\/strong> do\u011fru bir \u015fekilde kullanmakt\u0131r. \u0130nternet \u00fczerinde yer alan her web sitesi, arama motoru<\/strong> \u00f6r\u00fcmceklerine, web sayfalar\u0131n\u0131 tararken hangi sayfalar\u0131 ve hangi k\u0131s\u0131mlar\u0131 ge\u00e7meleri gerekti\u011fini belirtmek i\u00e7in robot.txt<\/strong> dosyas\u0131n\u0131 kullan\u0131r. Bu makalede, robot.txt dosyas\u0131n\u0131n<\/strong> ne oldu\u011funu, ne ama\u00e7la kullan\u0131ld\u0131\u011f\u0131n\u0131 ve nas\u0131l etkili bir \u015fekilde kullanabilece\u011finizi ayr\u0131nt\u0131l\u0131 olarak anlataca\u011f\u0131z.<\/p>\n

Robot.txt Dosyas\u0131 Ne \u0130\u015fe Yarar?<\/strong><\/h3>\n

Robot.txt dosyas\u0131<\/strong>, web sitesinin k\u00f6k dizininde bulunan ve web sitenin hangi b\u00f6l\u00fcmlerinin arama motorlar\u0131 taraf\u0131ndan taranmas\u0131na izin verildi\u011fini belirleyen basit bir metin dosyas\u0131d\u0131r. Bu dosya, arama motoru \u00f6r\u00fcmceklerinin sitenin hangi k\u0131s\u0131mlar\u0131n\u0131 tarayabilece\u011fini ve hangi k\u0131s\u0131mlar\u0131n\u0131 taramaktan ka\u00e7\u0131naca\u011f\u0131n\u0131 belirler. Bu nedenle, robot.txt dosyas\u0131n\u0131n do\u011fru bir \u015fekilde olu\u015fturulmas\u0131 ve y\u00f6netilmesi, web sitenizin SEO performans\u0131<\/strong> \u00fczerinde \u00f6nemli bir etkiye sahiptir.<\/p>\n

Robot.txt dosyas\u0131n\u0131n iki ana bile\u015feni vard\u0131r: User-agent ve Disallow. User-agent<\/strong>, belirli bir arama motoruna y\u00f6nelik talimatlar\u0131 belirtir. \u00d6rne\u011fin, Google’\u0131n arama \u00f6r\u00fcmce\u011fi i\u00e7in User-agent, Googlebot olarak belirlenir. Disallow<\/strong> komutu ise belirli bir URL’nin taranmas\u0131n\u0131 engeller. \u00d6rne\u011fin, “\/private” URL’sinin taranmas\u0131n\u0131 engellemek i\u00e7in “Disallow: \/private” \u015feklinde bir komut kullan\u0131l\u0131r.<\/p>\n

Robot.txt Dosyas\u0131 Olu\u015fturman\u0131n Ve Y\u00f6netmenin Ad\u0131mlar\u0131<\/strong><\/h3>\n
    \n
  1. Hangi Sayfalar\u0131n Taranmamas\u0131 Gerekti\u011fine Karar Verin:<\/strong> Sitenizin t\u00fcm sayfalar\u0131n\u0131n arama motorlar\u0131 taraf\u0131ndan taranmas\u0131na izin vermek genellikle en iyi stratejidir, ancak baz\u0131 durumlarda belirli sayfalar\u0131n taranmas\u0131n\u0131 engellemek isteyebilirsiniz. \u00d6rne\u011fin, \u00f6zel bilgilerin bulundu\u011fu veya test ama\u00e7l\u0131 olarak kullan\u0131lan sayfalar\u0131 engellemek isteyebilirsiniz.<\/li>\n
  2. Robot.txt Dosyas\u0131n\u0131 Olu\u015fturun ve Y\u00fckleyin:<\/strong> Robot.txt dosyas\u0131n\u0131 olu\u015fturmak i\u00e7in bir metin d\u00fczenleyici kullanabilirsiniz. Dosya, sitenizin k\u00f6k dizinine y\u00fcklenmelidir. URL’nizin sonuna “\/robots.txt” ekleyerek dosyan\u0131z\u0131n do\u011fru y\u00fcklendi\u011fini kontrol edebilirsiniz.<\/li>\n
  3. Dosyan\u0131n Do\u011fru \u00c7al\u0131\u015ft\u0131\u011f\u0131n\u0131 Kontrol Edin:<\/strong> Dosyan\u0131z\u0131n do\u011fru bir \u015fekilde \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 ve arama motorlar\u0131n\u0131n gerekti\u011fi gibi tepki verdi\u011fini kontrol etmek i\u00e7in Google’\u0131n Robots Testing Tool<\/strong>‘unu kullanabilirsiniz.<\/li>\n<\/ol>\n

    Robot.txt dosyas\u0131<\/strong> \u00f6nemli bir SEO arac\u0131d\u0131r, ancak yaln\u0131zca do\u011fru bir \u015fekilde kullan\u0131ld\u0131\u011f\u0131nda etkili olur. Her zaman dosyan\u0131n do\u011fru bir \u015fekilde olu\u015fturuldu\u011fundan ve i\u015flevini yerine getirdi\u011finden emin olun. Aksi takdirde, istenmeyen sonu\u00e7larla kar\u015f\u0131la\u015fabilirsiniz, \u00f6rne\u011fin arama motorlar\u0131 sitenizin \u00f6nemli k\u0131s\u0131mlar\u0131n\u0131 tarayamaz ve bu da SEO performans\u0131n\u0131z\u0131<\/strong> olumsuz etkileyebilir.<\/p>\n

    Robots.txt Dosyas\u0131nda Kullan\u0131lan Baz\u0131 Komutlar\u0131n A\u00e7\u0131l\u0131mlar\u0131<\/strong><\/h3>\n
      \n
    1. User-agent:<\/strong> Bu komut, a\u015fa\u011f\u0131daki direktifleri belirtilen arama motoru botlar\u0131na uygular.<\/li>\n
    2. Disallow:<\/strong> Bu komut, belirtilen arama motoru botlar\u0131ndan belirli bir URL veya dizini taranmamas\u0131n\u0131 istedi\u011fimizi belirtir. \u00d6rnek olarak, “Disallow: \/private” ifadesi, “\/private” dizinini veya URL’sini taranmas\u0131n\u0131 engeller.<\/li>\n
    3. Allow<\/strong>:Belirtilen arama motoru botlar\u0131na taranmas\u0131 engellenen dizinler veya URL’ler i\u00e7inde izin verilen \u00f6zel bir dosyay\u0131 veya dizini tarayabileceklerini belirtir. “Allow” komutu, “Disallow” komutuyla birlikte kullan\u0131ld\u0131\u011f\u0131nda belirli bir kural\u0131 iptal etmek i\u00e7in kullan\u0131l\u0131r.<\/li>\n
    4. Sitemap:<\/strong> Web sitesinin XML site haritas\u0131n\u0131n (sitemap) URL’sini belirtir. Arama motorlar\u0131, site haritalar\u0131n\u0131 kullanarak web sitenizin sayfalar\u0131n\u0131 daha etkili bir \u015fekilde tarayabilir.<\/li>\n
    5. Crawl-delay<\/strong>: Arama motoru botlar\u0131n\u0131n web sitesini taramalar\u0131 aras\u0131ndaki bekleme s\u00fcresini belirtir. “Crawl-delay: 5” ifadesi, arama motoru botlar\u0131n\u0131n her istekte en az 5 saniye beklemesini sa\u011flar.<\/li>\n<\/ol>\n

      \u00d6zetle, robot.txt dosyas\u0131<\/strong>, arama motorlar\u0131n\u0131n sitenizin hangi k\u0131s\u0131mlar\u0131n\u0131 tarayaca\u011f\u0131n\u0131 kontrol etme yetene\u011fi sa\u011flar. Bu, sitenizin SEO performans\u0131n\u0131<\/strong> optimize etme ve kullan\u0131c\u0131lar\u0131n deneyimini iyile\u015ftirme f\u0131rsat\u0131 sa\u011flar. Ancak, do\u011fru kullan\u0131lmad\u0131\u011f\u0131nda, sitenizin g\u00f6r\u00fcn\u00fcrl\u00fc\u011f\u00fcn\u00fc ve arama motoru s\u0131ralamalar\u0131n\u0131 olumsuz etkileyebilir. Bu nedenle, robot.txt dosyas\u0131n\u0131n<\/strong> do\u011fru bir \u015fekilde olu\u015fturulmas\u0131na ve y\u00f6netilmesine dikkat etmek \u00f6nemlidir.<\/p>\n","protected":false},"excerpt":{"rendered":"

      Web sitesinin SEO performans\u0131n\u0131 art\u0131rmak i\u00e7in bir\u00e7ok strateji ve teknik mevcuttur ve bunlardan biri de robot.txt dosyas\u0131n\u0131 do\u011fru bir \u015fekilde kullanmakt\u0131r. \u0130nternet \u00fczerinde yer alan her web sitesi, arama motoru \u00f6r\u00fcmceklerine, web sayfalar\u0131n\u0131 tararken hangi sayfalar\u0131 ve hangi k\u0131s\u0131mlar\u0131 ge\u00e7meleri gerekti\u011fini belirtmek i\u00e7in robot.txt dosyas\u0131n\u0131 kullan\u0131r. Bu makalede, robot.txt dosyas\u0131n\u0131n ne oldu\u011funu, ne ama\u00e7la kullan\u0131ld\u0131\u011f\u0131n\u0131 […]<\/p>\n","protected":false},"author":4,"featured_media":14155,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[30],"tags":[317,36,318],"class_list":["post-14154","post","type-post","status-publish","format-standard","has-post-thumbnail","category-bilgi-bankasi","tag-robots-txt","tag-seo","tag-websaite"],"_links":{"self":[{"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/posts\/14154","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/comments?post=14154"}],"version-history":[{"count":0,"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/posts\/14154\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/media\/14155"}],"wp:attachment":[{"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/media?parent=14154"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/categories?post=14154"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/sh.com.tr\/blog\/wp-json\/wp\/v2\/tags?post=14154"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}