{"id":7478,"date":"2021-06-29T16:49:25","date_gmt":"2021-06-29T13:49:25","guid":{"rendered":"https:\/\/egegen.com\/blog\/?p=7478"},"modified":"2022-04-08T17:20:26","modified_gmt":"2022-04-08T14:20:26","slug":"robots-txt","status":"publish","type":"post","link":"https:\/\/egegen.com\/blog\/robots-txt\/","title":{"rendered":"Robots.txt Nedir, Nas\u0131l Olu\u015fturulur ?"},"content":{"rendered":"\n<p>Crawl budget (tarama b\u00fct\u00e7esi), <a href=\"https:\/\/egegen.com\/seo\"><strong>SEO<\/strong><\/a> stratejisi i\u00e7erisinde en belirgin paya sahip alanlardan biridir ve <strong>tarama b\u00fct\u00e7esini efektif kullanarak<\/strong> arama motoru botlar\u0131n\u0131n internet sitemizi anlamland\u0131rma s\u00fcrecine yard\u0131mc\u0131 olmak i\u00e7in kullanabilece\u011fimiz ara\u00e7lardan biri de robots.txt&#8217;dir. <\/p>\n\n\n\n<h2>Robots.txt Nedir<\/h2>\n\n\n\n<p>Kaliteli i\u00e7erikleri sitenizde bar\u0131nd\u0131rd\u0131\u011f\u0131n\u0131z ve gelir elde edebilece\u011finiz bir web siteniz varsa Robots.txt sizin i\u00e7in olduk\u00e7a \u00f6nemlidir. Web sitenizde hangi kategorilerin veya sayfalar\u0131n kullan\u0131lmas\u0131n\u0131 istedi\u011finiz bir ara\u00e7t\u0131r. Genel anlam\u0131 ile s\u00f6yleyecek olursak, <strong>Robots.txt, taray\u0131c\u0131lar i\u00e7in bir t\u00fcr kullan\u0131m k\u0131lavuzu i\u015flevi g\u00f6r\u00fcr<\/strong>. Web taray\u0131c\u0131lar\u0131n\u0131n, indeksleme i\u00e7in hangi sayfalar\u0131n ve dosyalar\u0131n taranabilece\u011fini ve hangilerinin taranamayaca\u011f\u0131n\u0131 bilmesini sa\u011flar. <\/p>\n\n\n\n<p>Genellikle robots.txt, web sitenize gelen taray\u0131c\u0131 trafi\u011fini kontrol etmek i\u00e7in kullan\u0131l\u0131r, bu nedenle istemedikleri sayfaya y\u00f6nlenmek ya da bozuk sayfalar\u0131n\u0131z varsa bunlar\u0131n indekslerini kapatman\u0131za yarayan bir t\u00fcr ara\u00e7t\u0131r.<strong> Robots.txt dosyalar\u0131n\u0131n en iyi kullan\u0131m\u0131, ses veya komut dosyalar\u0131 gibi web sitesi \u00f6\u011felerinin Google&#8217;da g\u00f6r\u00fcnmesini engellemektir. <\/strong>Amac\u0131n\u0131z i\u00e7eri\u011fin taranmas\u0131n\u0131 engellemekse noindex i\u015flevini kullanman\u0131z yeterli olacakt\u0131r, farkl\u0131 bir i\u015flev sa\u011flayacaks\u0131n\u0131z bunu yaz\u0131m\u0131z\u0131 okuyarak \u00f6\u011frenebilirsiniz.<\/p>\n\n\n\n<h2>Robots.txt Ne \u0130\u015fe Yarar ?<\/h2>\n\n\n\n<p>Robots.txt asl\u0131nda her sitede bulunmas\u0131 gereken ba\u015flang\u0131\u00e7 ara\u00e7lar\u0131ndan bir tanesidir. Sadece Robots.txt de\u011fil sitemap ile birlikte sitenizin daha iyi bir kullan\u0131c\u0131 deneyimi sunmas\u0131 ve Google&#8217;a tan\u0131tmak a\u00e7\u0131s\u0131ndan b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r. Gereksiz sayfalar\u0131 engellemenin en \u00f6nemli yolu Robots.txt&#8217;yi sizde mutlaka kurmal\u0131s\u0131n\u0131z<strong>. Robots.txt, web sitesini taramas\u0131n\u0131 veya arama motorlar\u0131nda hepsini bir arada dizine eklemesini engellemenize olanak tan\u0131r<\/strong>. robots.txt dosyas\u0131, arama motoruna bir sayfadaki i\u00e7eri\u011fi taramamas\u0131n\u0131 s\u00f6yler. <\/p>\n\n\n\n<p>Bazen bir arama motoru sayfalar\u0131 tarar veya URL&#8217;lere i\u015faret eden \u00e7ok say\u0131da ba\u011flant\u0131 oldu\u011funu g\u00f6r\u00fcr. Bu, kullan\u0131c\u0131 arac\u0131lar\u0131na ve botlara bu sayfalar\u0131n yetkili oldu\u011funu s\u00f6yler. Bu nedenle, dizine eklenirler ve bir meta a\u00e7\u0131klama kullan\u0131larak Google&#8217;da ilk sayfalarda \u00e7\u0131kmak i\u00e7in Google&#8217;a bildiri olu\u015fturmaktad\u0131rlar. R<strong>obots.txt dosyan\u0131zda ne kadar \u00e7ok sat\u0131r varsa, sitenizin tamam\u0131nda i\u015flevleriniz i\u00e7in o kadar fazla taramas\u0131 gereken dosya oldu\u011funu unutmay\u0131n.<\/strong> Bu, genel anlamda bir gecikme yaratabilir ve sayfalar\u0131n\u0131z\u0131n h\u0131z\u0131n\u0131 tam olarak yava\u015flatabilir, bu nedenle \u00e7ok fazla dosyaya izin vermeme gibi d\u00fczenlemeler yaparken dikkat edin. Yava\u015f h\u0131zlar genellikle sayfalar\u0131n\u0131z\u0131n d\u00fc\u015f\u00fck s\u0131ralanmas\u0131na veya kullan\u0131c\u0131 deneyimini engellemesine neden olur.<\/p>\n\n\n\n<h3>Robots.txt Neden Kullan\u0131l\u0131r ?<\/h3>\n\n\n\n<ul><li>\u00d6rne\u011fin, bir web sitesinin baz\u0131 b\u00f6l\u00fcmlerinin gizlili\u011fini korumak istedi\u011finizde.<\/li><li>Google&#8217;da yinelenen i\u00e7eri\u011fin g\u00f6r\u00fcnmesini \u00f6nlemek i\u00e7in.<\/li><li>Site haritalar\u0131n\u0131n konumunu belirtmek i\u00e7in.<\/li><li>Hatal\u0131 veya gereksiz sayfalar\u0131n indekslenmesini istemedi\u011finizde.<\/li><\/ul>\n\n\n\n<h2>Robots.txt Komutlar\u0131 Nas\u0131l Olu\u015fturulur ve Kullan\u0131l\u0131r?<\/h2>\n\n\n\n<p>Robotx.txt dosyam\u0131z\u0131n ne anlama geldi\u011fini anlad\u0131ysak \u015fimdi komutlar\u0131n ne anlama geldi\u011fine yak\u0131ndan bakal\u0131m. Bunlar, taray\u0131c\u0131lar\u0131n\u0131n hangi i\u00e7eri\u011fe eri\u015fti\u011fini ve nereye izinsiz giri\u015f yapamayaca\u011f\u0131n\u0131z\u0131n i\u015faretini Google&#8217;a bildirme y\u00f6ntemidir. <strong>Bilinmesi gereken \u00fc\u00e7 ana komut var ve hepsini ele alaca\u011f\u0131z<\/strong>. Bunun \u00f6ncesinde Robots.txt dosyas\u0131 nas\u0131l olu\u015fturulur buna de\u011finelim. \u0130lk olarak sitenizde robots.txt dosyas\u0131n\u0131n var olup olmad\u0131\u011f\u0131n\u0131 tespit etmek i\u00e7in site adresinizin sonuna \/robots.txt yazarak kontrol edebilirsiniz.<\/p>\n\n\n\n<ul><li>\u0130lk olarak yapman\u0131z gereken yeni bir metin dosyas\u0131 olu\u015fturmak ve ad\u0131n\u0131 Robots.txt olarak de\u011fi\u015ftirmek olacak. Daha sonra sizlere \u00f6rnekte verece\u011fimiz gibi kodlar\u0131 yaz\u0131p kaydedebilirsiniz.<\/li><li>Daha sonra web sitenizin k\u00f6k klas\u00f6r\u00fcne y\u00fckleyin<\/li><li>Burada kolay bir \u015fekilde yapmak istiyorsan\u0131z Wordpress eklentilerini de kullanabilirsiniz.<\/li><li><a href=\"https:\/\/egegen.com\/blog\/wordpress-seo-eklentileri\/\" rel=\"nofollow\">Wordpress eklentileri<\/a> i\u00e7inde <a href=\"https:\/\/tr.wordpress.org\/plugins\/wordpress-seo\/\" rel=\"nofollow\">Yoast Seo<\/a> eklentisini y\u00fcklerseniz otomatik bir \u015fekilde hem sitemap hemde robots.txt dosyan\u0131z olu\u015fmu\u015f olacakt\u0131r.<\/li><\/ul>\n\n\n\n<h4>Allow &#8211; \u0130zin Verme<\/h4>\n\n\n\n<p>\u0130lk paragraflarda bahsetti\u011fimiz durumda belirtildi\u011fi gibi, Google&#8217;\u0131n dizine eklemesini istemeyece\u011finiz baz\u0131 dosyalar olabilir. Allow etiketi bu ama\u00e7la olu\u015fturulmu\u015f olup izin verece\u011finiz dosyalar\u0131 belirtmek i\u00e7in bu etiketi kullanabilirsiniz. <strong>\u0130zin verme se\u00e7ene\u011fi, taray\u0131c\u0131lar\u0131n belirtti\u011finiz sayfa veya dosyan\u0131n yasak oldu\u011funu bilmesini sa\u011flar.<\/strong> Multimedya ve tasar\u0131m \u00f6\u011feleri gibi \u00f6zelliklerin dizine eklenmesini ve Google&#8217;da g\u00f6r\u00fcnmesini engellemek i\u00e7in izin verme komutunu kullan\u0131n.<\/p>\n\n\n\n<h4>Disallow &#8211; \u0130zin vermek<\/h4>\n\n\n\n<p>Burada bilmeniz gereken en \u00f6nemli detay Robot.txt dosyas\u0131n\u0131n birincil amac\u0131 taray\u0131c\u0131lar\u0131n\u0131n bilgilendirmek iken de\u011fil taramak i\u00e7in i\u015flemini ger\u00e7ekle\u015ftirdi\u011fini unutmay\u0131n. Robot.txt izin ver komutu, genellikle bir sayfaya izin verme komutu verildi\u011finde kullan\u0131l\u0131r, ancak s\u00f6z konusu sayfa, taramak istedi\u011finiz belirli \u00f6\u011felere sahip olabilir; \u00f6rne\u011fin, taray\u0131c\u0131lar\u0131n genel ana sayfan\u0131z\u0131 taramas\u0131na izin vermemek, belirli bir sayfay\u0131 taramalar\u0131n\u0131 istemek gibi de\u011fi\u015fimler ya da d\u00fczenlemeleri siz belirleyebilirsiniz.<\/p>\n\n\n\n<h4>Noindex Etiketi<\/h4>\n\n\n\n<p>Noindex etiketi genel anlamda daha \u00e7ok Robot.txt dosyas\u0131na yerle\u015ftirilmek yerine meta etikete g\u00f6m\u00fcl\u00fcr. Google, robot.txt dosyan\u0131z\u0131 bulmadan \u00f6nce, noindex komutunuzla kar\u015f\u0131la\u015fabilir ve hangi i\u00e7eri\u011fin atlanaca\u011f\u0131n\u0131 yani indekslenmeyece\u011fini tam olarak anlamas\u0131n\u0131 sa\u011flar.<\/p>\n\n\n\n<p><strong>Sayfalar\u0131n\u0131za noindex komutu eklemenin iki yolu vard\u0131r.<\/strong> Birincisi, ba\u015fl\u0131\u011f\u0131n\u0131za ekleyerek t\u00fcm taray\u0131c\u0131lara hangi sayfalar\u0131n dizine eklenmeyece\u011fini s\u00f6ylemektir. \u0130kincisi ise i\u00e7eri\u011fi \u00f6zellikle Google&#8217;\u0131n d\u0131\u015f\u0131nda tutmak istiyorsan\u0131z, bunun yerine ekleyebilirsiniz.<\/p>\n\n\n\n<h2>WordPress i\u00e7in \u00f6rnek robots.txt dosyas\u0131<\/h2>\n\n\n\n<p>WordPress i\u00e7in kullanabilece\u011finiz ister b\u00fcy\u00fck i\u015fletme olun isterseniz de yeni ba\u015flam\u0131\u015f bir i\u00e7erik web sitesine sahip olun fark etmez, sizler i\u00e7in robot.txt dosyas\u0131 \u00f6rne\u011fi a\u015fa\u011f\u0131da verilmi\u015ftir:<\/p>\n\n\n\n<ul><li>Allow: \/wp-content\/uploads\/<\/li><li>Disallow: \/wp-content\/plugins\/<\/li><li>Disallow: \/wp-admin\/<\/li><li>Site Haritas\u0131: https:\/\/example.com\/sitemap_index.xml<\/li><\/ul>\n","protected":false},"excerpt":{"rendered":"<p>Crawl budget (tarama b\u00fct\u00e7esi), SEO stratejisi i\u00e7erisinde en belirgin paya sahip alanlardan biridir ve tarama b\u00fct\u00e7esini efektif kullanarak arama motoru botlar\u0131n\u0131n internet sitemizi anlamland\u0131rma s\u00fcrecine yard\u0131mc\u0131 olmak i\u00e7in kullanabilece\u011fimiz ara\u00e7lardan biri de robots.txt&#8217;dir. Robots.txt Nedir Kaliteli i\u00e7erikleri sitenizde bar\u0131nd\u0131rd\u0131\u011f\u0131n\u0131z ve gelir elde edebilece\u011finiz bir web siteniz varsa Robots.txt sizin i\u00e7in olduk\u00e7a \u00f6nemlidir. Web sitenizde hangi &hellip;<\/p>\n","protected":false},"author":19,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[175],"tags":[],"_links":{"self":[{"href":"https:\/\/egegen.com\/blog\/wp-json\/wp\/v2\/posts\/7478"}],"collection":[{"href":"https:\/\/egegen.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/egegen.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/egegen.com\/blog\/wp-json\/wp\/v2\/users\/19"}],"replies":[{"embeddable":true,"href":"https:\/\/egegen.com\/blog\/wp-json\/wp\/v2\/comments?post=7478"}],"version-history":[{"count":0,"href":"https:\/\/egegen.com\/blog\/wp-json\/wp\/v2\/posts\/7478\/revisions"}],"wp:attachment":[{"href":"https:\/\/egegen.com\/blog\/wp-json\/wp\/v2\/media?parent=7478"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/egegen.com\/blog\/wp-json\/wp\/v2\/categories?post=7478"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/egegen.com\/blog\/wp-json\/wp\/v2\/tags?post=7478"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}