در این مقاله درباره محتوای تکراری در دنیای گوگل پاندا صحبت می‌کنیم . در دنیای پس از پاندا دیگر نمی‌توانیم محتوای تکراری را نادیده بگیریم چون باعث آسیب جدی به سایت ما خواهد شد.
در اینجا توضیح خواهیم داد محتوای تکراری چه چیزی هست و چگونه باید بازاریابان اینترنتی و صاحبان سایت آن‌ها را تشخیص و حل کنند.
در سال ۲۰۱۱ گوگل در مرحله اول پاندا را به‌روزرسانی کرد که یک زنگ بیدارباش برای سئو کاران بود و مسئله‌ای بود که مدت‌ها مدیران سایت‌ها آن را نادیده می‌گرفتند. محتوای تکراری یکی از مسائل مهم سئو در چند سال اخیر بوده است و با توجه به پیچیده‌تر و تکمیل تر شدن الگوریتم‌های گوگل و ورود آپدیت پاندا باید این مسئله را جدی تر بگیریم.
تخفیف ویژه
محتوای تکراری چیست؟
محتوای تکراری موقعی به وجود می‌اید که دو یا چند صفحه با محتوای مشابه به اشتراک گذاشته می‌شوند.
برای موتورهای جستجو هر صفحه باید آدرس منحصربه‌فرد داشته باشد که از طریق لینک های داخلی و خارجی اتفاق می‌افتد. در سایت‌های بزرگ‌تر یا دینامیک گاهی اوقات به صورت غیر عمدی محتوای تکراری ساخته می‌شود.
چرا محتوای تکراری مهم است
محتوای تکراری چند سال است که به موضوع بااهمیتی تبدیل شده است
از سال ۲۰۰۶ گوگل بحث یکپارچه‌سازی را مطرح کرد و اغلب نتایج تکراری را از صفحات جستجویش حذف کرد.
ولی تعداد زیادی محتوا روزانه چه به صورت عمدی و چه غیر عمد در سایت‌ها ساخته می‌شود. خب چه اتفاقی می‌افتد وقتی گوگل هر روز بازدید می‌کند و صفحات تکراری زیادی می‌بیند. بهترین حالت این است که صفحات شما خزیده و نمایه نمی‌شوند و در سطح بدتر آن تاثیر روی بقیه محتوای سایت شما می‌گذارد و رتبه سایتتان کاهش می‌یابد.
سه نوع محتوای تکراری
محتوای تکراری درست , تکراری نزدیک , تکراری متقابل با دامنه
محتوای تکراری درست:
هر صفحه که ۱۰۰ درصد با محتوای یک صفحه دیگر سایت ما یکسان باشد با این نام شناخته می‌شوند و تفاوتشان فقط در آدرس صفحه است.
محتوای تکراری نزدیک :
در این نوع محتواها مقدار کمی از متن یا تصاویر یک صفحه نسبت به صفحه دیگر تغییر می‌کند
محتوای تکراری مقابل با دامنه دیگر:
این نوع محتوا می‌توانند هم ۱۰۰ درصد منطبق و یا به نسبت مرتبط باشند ولی منظور مقایسه محتوا در دو سایت مختلف است.
ابزارهای شناخت محتوای تکراری
توصیه می‌کنم که ابتدا انواع مختلف محتوای تکراری را شناسایی کنید. بعد با ابزارهای مناسب مشکل آن را حل کنید.
خطای ۴۰۴ : اولین کاری که می‌توان با یک محتوای تکراری کرد حذف آن صفحه است. و بعد یک خطای ۴۰۴ ایجاد شود. اگر آن صفحه ترافیک و یا بک لینک ندارد می‌توانید از این روش استفاده کنید. البته مقداری با دقت عمل کنید چون در بهینه سازی سایت تان موثر است.
ریدارکت ۳۰۱ : در این روش به ربات‌های جستجو گفته می‌شود که به صورت موقت صفحه به آدرس جدید منتقل شده است . اگر شما یک محتوای تکراری دارید که ترافیک یا بک لینک های زیادی دارد انجام این روش می‌تواند گزینه خوبی باشد.
فایل robots.txt : با استفاده از این روش محتوا برای کاربران قابل رویت ولی برای موتورهای جستجو مسدود می‌شود. این روش قدیمی‌ترین و شاید ساده‌ترین روش برای مسدود کردن محتوا بوده است.
از مزایای این روش این است که به سادگی می‌توان کلی فولدر یا آدرس خاص را مسدود کرد ولی از معایب آن هم این است که خیلی قابل‌اعتماد نیست.
اگرچه این روش برای مسدود کردن محتوا مفید است ولی برای حذف از ایندکس خیلی خوب نیست و موتورهای جستجو خیلی توصیه‌ای به استفاده از این روش را ندارند.
متا ربات: با استفاده از تگ متا روبات می‌توانید رفتار موتورهای جستجو را نسبت به نمایه کردن یا نکردن یک صفحه و همچنین دنبال کردن یا نکردن آن صفحه محدود کرد.
با این روش می‌توانید به موتورهای جستجو بگویید که یک صفحه ایندکس نشود و لینک های آن نیز دنبال نشود.
از نظر سئو این گزینه نسبت به robot.txt گزینه مناسب تری هست چون به صورت کد در سایت‌های دینامیکی قرار می‌گیرد و قابلیت انعطاف بیشتری ایجاد می‌کند.
شکل متداول noindex,follow است که اجازه می‌دهد به موتورهای جستجو خزش را انجام دهند ولی آن‌ها را نمایه نکنند. این روش برای صفحات داخلی خوب است, مثلا مسیر به صفحه محصول باشد ولی نمایه نشود.
به صورت پیش‌فرض, بدون نوشتن کد همه صفحات هم نمایه و هم دنبال‌کردنی تعریف می‌شوند.
تگ کانونیکال: با استفاده از این تگ می‌توان به گوگل گفت که یک صفحه نسخه اصلی است. و بقیه نسخه‌های ایجادشده نسخه تکراری این صفحه‌اند.
تگ کانونیکال کیفیت لینک ها را منتقل می‌کند.
توجه داشته باشید که شما نیاز دارید که مفهوم تگ کانونیکال را بدانید , متعارف سازی برای کل سایت شما کاری اشتباه است.
گوگل وبمستر تولز: در این سرویس شما می‌توانید درخواست بدهید که یک آدرس به صورت موقت حذف شود.
از آنجایی که این ابزار فقط یک آدرس را در زمان حذف می‌کند معمولا باید آخرین روش استفاده باشد و اگر شما می‌خواهید یک صفحه به صورت دائم حذف و مسدود شوند نیاز به استفاده از ۴۰۴ , ریدارکت ۳۰۱ یا noindex قبل از استفاده romove url گوگل دارید. با این روش آدرس صفحه ۹۰ روز از نتایج حذف می‌شود.
از ابزار گوگل وبمستر تولز نیز می‌توان برای تشخیص محتوای تکراری استفاده کرد. کافی است به قسمت crawl بعد url parameters بروید و تنظیمات را انجام دهید.
این ابزار توصیه نمی‌شود اولین وسیله باشد چون بحث بقیه موتورهای جستجو نیز مطرح است.
بینگ وبمستر : عملکرد آن مشابه وبمستر گوگل است
ابتدا وارد قسمت index tab شوید بعد follow url و بعد باید به قسمت block url بروید که با نمایش یک پیغام, سوال مسدود کردن یک آدرس یا کل سایت را می‌پرسد, و انتخاب مسدودسازی کل سایت طبیعتاً گزینه خوبی نیست.
لینک سازی داخلی
اگر شما با استفاده از لینک سازی داخلی محتوای تکراری ایجاد کرده باشید گاهی از ابزارهای معرفی‌شده نباید استفاده کرد و باید تغییر در ساختار و معماری سایت داد.
اقدامی انجام ندهید
می‌توانید اصلاً این روش‌ها را نادیده بگیرید و اجازه بدید که گوگل خودش تصمیم بگیرد , ولی طبق تجربه برای سایت‌های بزرگ و با اعتبار داشتن صفحات تکراری باعث آسیب زدن به سایت می‌گردد و نمی‌توان از آن صرف‌نظر کرد.
مثال‌های محتوای تکراری و روش مناسب برای حل آن‌ها:
آدرس www در مقابل آدرس بدون www
ممکن است هر دو نوع برای محتوای شما ایجاد شود و با توجه به اینکه گوگل هر دو نوع را نمایه می‌کند بیشتر اوقات ریدارکت ۳۰۱ بهترین راه حل برای این موضوع است.
در قسمت تنظیمات preferred domain ابزار گوگل وبمستر تولز, شما هر یک از این دو نوع را ممکن است تنظیم کرده باشید که با ریدارکت ۳۰۱ می‌توانید این مسئله را حل کنید.
چطور ترافیک بودن www را به حالت www دار منتقل کنیم؟
کافی است ابتدا داخل یک فایل ویرایشگر متنی مانند notepad یا مستقیما داخل فایل .htaccess کدهای زیر را وارد کنید:
RewriteEngine On
RewriteCond %{HTTP_HOST} !^www\.example\.com$|
RewriteRule (.*)http://www. example.com/$1 [R=301,L]
چطور ترافیک www را به حالت بدون www منتقل کنیم؟
کافی است از کدهای زیر در فایل .htaccess استفاده کنید:
RewriteEngine On
RewriteCond %{HTTP_HOST} !^ example\.com$|
RewriteRule (.*)http:// example.com/$1 [R=301,L]
دامین‌های فرعی و ایجاد محتوای تکراری:
گاهی اوقات مدیران وب‌سایت‌ها یک زیر دامنه برای سایت خود تعریف می‌کنند. باز کردن این آدرس برای خزنده‌ها باعث ایجاد محتوای تکراری در سایت می‌شود.
بهترین راه برای حل این مشکل مسدود کردن از طریق robots.txt است و اگر صفحات مربوطه نمایه شده‌اند باید از تگ noindex استفاده کنیم.
اسلش در انتهای آدرس:
یکی از مسائلی است که خیلی بین مدیران سایت‌ها رایج است و اغلب برای آن‌ها جای سوال است. قرار دادن اسلش یا عدم قرار دادن در انتها به معنای دو آدرس متفاوت است و اگر اسلش نباشد یک صفحه را برمی‌گرداند و اگر وجود داشته باشد یک فولدر را برمی‌گرداند.
با استفاده از ریدارکت می‌توانید این مشکل را حل کنید.
صفحات امن https :
سایت شما ممکن است دارای صفحات امنی باشد که با https نمایه شوند, مثل فروشگاه‌ها یا صفحات خرید.
در حال ایده‌آل این مشکلات با ساختار سایت به خودی خود حل می‌شود و در بیشتر موارد بهتر است با استفاده از تگ noindex صفحات خرید و پرداخت را از نمایه حذف کنیم.
تکراری بودن صفحه اصلی:
گاهی دامنه اصلی در دو حالت ممکن است نمایه شود.
Example.com
Example.com/index.html
این مسئله با ریدارکت ۳۰۱ قابل حل است.
شناسه‌های نگه‌دارنده:
بعضی از سایت‌های تجارت الکترونیکی با توجه به تعریف کاربرها مختلف ممکن است باعث ایجاد دو صفحه با و بدون نگه‌دارنده در آدرس نمایه شوند و تعداد زیادی آدرس تکراری ایجاد کنند.
بهترین گزینه این است که در کوکی‌های ذخیره‌شده, این شناسه‌های نگه‌دارنده حذف شوند و اگر امکان‌پذیر نبود در نظر گرفتن تگ کانونیکال می‌تواند گزینه‌ی خوبی باشد و اگر باز هم حل نشد سراغ گوگل وبمستر تولز بروید.
تکراری بودن مسیرها:
به صورت ایده‌آل این نسخه‌ها نباید ایجاد شود و باید فقط یک آدرس برای اهداف سئو وجود داشته باشد.
اگر انواع مختلف آن‌ها را نمایه کرده‌اید استفاده از ریدارکت یا کانونیکال می‌توانند گزینه‌ی خوبی باشند و در اکثر موارد کانونیکال گزینه خوبی هست. گاهی اوقات هم باید یک ارزیابی مجدد در ساختار سایتتان بکنید.
پارامترهای تابعی:
پارامترهایی که آدرس صفحه را تغییر می‌دهند ولی ارزشی برای موتورهای جستجو ندارند مثل آدرس مستقیم و آدرس نسخه چاپی آن آدرس.
بهترین گزینه این است که نمایه نشوند و از تگ noindex استفاده شود البته از تگ کانونیکال نیز می‌توانید استفاده کنید.
مثال‌هایی که تا حالا ذکر شد شامل تکراری‌های درست و دقیق بود.
در ادامه چند تا از انواع مثال‌های تکراری‌های نسبی صحبت می‌کنیم.
فیلترگذاری‌های جستجو :
باعث ایجاد یک آدرس مجزا می‌شوند. اگرچه با فیلترگذاری آدرس متفاوت شاید ایجاد شود ولی محتوا خیلی فرقی نکند که ارزشی برای موتورهای جستجو نداشته باشد.
اول اینکه این موارد بهتر است نمایه نشوند. در بیشتر مواقع بهتر است که نسخه‌های قابل فیلترگذاری این آدرس‌ها با متای noindex مسدود شوند . همچنین می‌توان از گوگل وبمستر تولز استفاده کرد.
محتوای تکراری دامنه متقابل :
این نوع محتوا جزو مواردی است که محتوای سایت‌های دیگر را بر می‌دارید و در سایت خودتان می‌گذارید.
شما باید یک لینک به منبع اصلی برگردانید و از تگ کانونیکال متقابل استفاده کنید. که به این نوع محتوای همزمان می‌گویند.
تگ کانونیکال به این معنی است که گوگل فرض می‌کند شما نمی‌خواهید صفحه‌تان نمایه شود و رتبه بگیرد. پس بهتر است شما محتوای یونیک و مستقل تولید کنید که از نظر سئو دچار مشکل نگردد.
البته این موقعی اثرگذار می‌شود که همزمان حجم زیادی از محتوای شما از محتوای تکراری متقابل باشد.
محتوای تقلبی مثل محتوای همزمان است ولی شما به منبع آن لینک نمی‌دهید که در این حالت به صورت جدی تحت تأثیر اپدیت پاندا قرار خواهید گرفت و تضمینی برای جریمه نشدن وجود ندارد پس سعی کنید از محتوای یونیک که خودتان تولید کرده‌اید استفاده کنید.
ابزارهای تشخیص تکراری بودن:
در اینجا چند ابزار معرفی کرده‌ایم که چطور این محتواهای تکراری را تشخیص دهیم.
با استفاده از گوگل وبمستر تولز می‌توانید قسمتی از محتوای تکراری که به صورت طبیعی در سایتتان ایجادشده‌اند ببینید که باید به قسمت html improvement بروید.
روش بعدی استفاده از جست‌وجو در گوگل است که ابزار عالی برای پیدا کردن محتوای های تکراری سایتتان هست.
اگر نگران در تکرار در صفحه اصلی‌تان هستید کافی است از عبارات زیر برای جستجو استفاده کنید و ببینید تکراری از آن وجود دارد یا نه.
Site:example.com intitle:”home page title”
از روش زیر برای پیدا کردن subdomain و همچنین آدرس با و بدون www می‌توان استفاده کرد
Site:example.com inurl:”home page title”
برای بحث فیلترگذاری از جستجوی زیر استفاده کنید
Site:example.com inurl:sort=
برای امنیت
Site:example.com inurl:https
برای فهم وجود محتوای تکراری دامنه متقابل می‌توانید با کپی کردن چند جمله از متن و جستجو در گوگل ببینید تکرار وجود دارد یا نه و همچنین ببینید که از نظر گوگل شما نسخه تقلبی هستید یا اصل؟!
اگر فکر می کنید راهکارهای ارائه شده این مقاله برای رهایی از شر جریمه گوگل پاندا به دلیل محتوای تکراری برایتان مفید بود لطفا با دوستان خود نیز به اشتراک بگذارید و نظرات خود را اعلام بفرمائید.
تخفیف ویژهنوشته چطور از شر جریمه سایت توسط گوگل پاندا به دلیل محتوای تکراری خلاص و آن را سئو کنیم اولین بار در مدیر سئو | آموزش سئو | بهبود جایگاه سایت در گوگل پدیدار شد.
