رفع خطای soft 404

گوگل در راهنمای سرچ کنسول این خطا را به شکل زیر تعریف کرده است :

خطای soft 404 به این معنی است که شما در حال نشان دادن صفحه‌ای به کاربر هستید که وجود ندارد و عملا یک صفحه 404 است؛ درحالیکه HTTP status code مربوط به این صفحه کد 200 را برمی‌گرداند.

برای دیدن کدهای HTTP status code مربوط به یک صفحه کافی است بر روی صفحه راست کلیک کرده و گزینه Inspect Element را انتخاب کنید. در پنجره باز شده داخل بخش Network  شوید ومطابق شکل کد مربوط را پیدا کنید.

البته اگر به دنبال همه کدهای HTTP هستید حتما مقاله کدهای HTTP status code را مطالعه بکنید، و با کلی خطا که مهم هستند آشنا شوید.

وضعیت کدها یک سایت در مرورگر

به زبان ساده تر، شما در سایت خودتان صفحاتی دارید که به کاربر می‌گویند این صفحه وجود ندارد اما همزمان به مرورگر می‌گویند که این صفحه موجود است.

اما چرا این اتفاق می‌افتد

در اکثر موارد، صفحاتی در سایت شما وجود دارند که یا محتوای کمی دارند یا اصلا محتوایی داخل آن‌ها وجود ندارد.
به عنوان مثال، سایت شما با سیستم مدیریت محتوای وردپرس کار می‌کند و شما یک تگ جدید به مجموعه تگ‌هایتان اضافه کرده‌اید که هنوز هیچ محصول یا مقاله‌ای از آن تگ استفاده نمی‌کند. وردپرس به صورت اتوماتیک صفحه‌ای با عنوان آن تگ تولید می‌کند که محتوایی داخل آن وجود ندارد. در نتیجه، با این کار سایت خود را در معرض مواجه شدن با خطای soft 404 قرار داده اید.

صفحاتی که محتوای کمی دارند به شدت برای ربات‌های گوگل گیج کننده هستند. بیایید نحوه کار ربات گوگل در هنگام خواندن این نوع صفحات را برررسی کنیم.

وقتی ربات گوگل یا هر موتور جست‌و‌جوی دیگری در حال بررسی سایت شماست، سرور پیغامی تحت عنوان HTTP status code به این ربات‌ها ارسال می‌کند. همانطور که می‌دانید، کد 200 به معنای موجود بودن یک صفحه است. ربات از سرور پیغام موجود بودن صفحه را می‌گیرد اما با صفحه‌ای بدون محتوا، محتوای کم یا تکراری روبرو می‌شود. واکنش ربات موتورهای جست‌و‌جو به این حالت این است: “این صفحه ارزشمند نیست و دلیلی برای index شدن آن وجود ندارد.”

هم‌چنین ممکن است بخواهید آدرسی از صفحات سایت تان که در گوگل ایندکس شده‎ است را  به یک صفحه دیگر مثل صفحه اصلی ریدایرکت کنید. اتفاقی که می‌افتد این است که کاربر در صفحه جست و جوی نتایج موتور جست و جو (SERP) روی لینک مطلبی که ریدایرکت شده است کلیک می‌کند و به صفحه ای کاملا نامرتبط با درخواستی که داشته هدایت می‌شود. در این حالت صفحه اول که به صفحه اصلی ریدایرکت شده است برچسب خطای soft 404  می‌گیرد.

آیا مشکل خطا soft404 احتیاج به حل شدن دارد

صفحه‌ای که توسط گوگل برچسب soft404 می‌خورد از ایندکس گوگل خارج می‌شود و دیگر در نتایج جست و جو نشان داده نمی‌شود. ( توجه داشته‌باشید که این خطا جزو کدهای وضعیت رایج بین سرور نیست و تنها برچسبی است که گوگل به بعضی صفحات می‌زند.)

چگونه متوجه وجود صفحاتی با برچسب soft 404 شویم

برای اینکه ببینید صفحات سایت شما به چه شکل توسط ربات‌های گوگل دیده می‌شوند کافی است داخل حساب سرچ کنسول سایتتان شوید و آدرس آن صفحه را فچ (fetch) کنید. در این حالت شما نمای شبیه سازی شده از زمانیکه ربات گوگل آن آدرس از صفحه شما را می‌خواند خواهید داشت. اگر صفحه‌ای به صورت دائمی یا موقت ریدایرکت شده باشد، باید بعد از فچ شدن حالت ریدایرکت به شما نشان داده شود.

اگر صفحه‌ای از سایت شما وجود داشته باشد که بعد از فچ شدن پیغام ریدایرکت به شما ندهد، در حالیکه آن صفحه ریدایرکت شده است نشان می‌دهد خطایی در قسمت  HTTP status code  برای آن صفحه وجود دارد.

fetch

اگر آشنایی نسبت به ابزار قدرمند سرچ کنسول گوگل ندارید پیشنهاد می‌شود حتما به آموزش سرچ کنسول میزفا سر بزنید.

چگونه ارور soft 404 را برطرف کنیم ؟

دقت کنید اگر صفحات اصلی سایت شا مثل صفحه محصولات، دسته‌بندی ها یا صفحاتی که برایتان ارزشمند است دچار خطای soft 404 شده اند باید خیلی زود مشکل آن‌ها را برطرف کنید تا این صفحات سریعتر توسط گوگل ایندکس شوند.

داشتن تعداد زیادی صفحه که از طرف گوگل ارور soft404 خورده‌اند، باعث می‌شود گوگل سایت شما را به عنوان سایتی که اطلاعات درستی از وضعیت صفحات خود ارائه نمی‌دهد شناسایی کند. این حالت باعث می‌شود crawl budget سایت شما کاهش پیدا کند.
منظور از crawl budget چیست ؟ یک مقدار بودجه تقریبی است که گوگل برای بازدید ربات‌هایش از سایت شما در نظر می‌گیرد. اگر سایت شما یک سایت با تعداد آدرس‌های زیاد است کم شدن crawl budget  می‌تواند بر روی رنکینگ سایت شما تأثیر منفی بگذارد و باعث کاهش رتبه سایت در نتایج گوگل شود. و اگر جدا از این خطاها، مشکلات دیگر در سئو داشته باشید احتمال پنالتی شدن صفحات سایت در کلمات مرتبط و یا خاص وجود دارد.

برای اینکه بتوانید  مشکل صفحات با خطای soft404  را حل کنید ابتدا باید به علت وقوع این خطا پی ببرید. قبل از هر اقدامی مطمئن شوید  صفحاتی که این مشکل را دارند HTTP status code ، 200 را برگردانند.

چند راه حل برای برطرف کردن خطای soft 404

آدرسی که با این خطا روبه‌رو شده، دیگر وجود ندارد

صفحاتی که دیگر وجود ندارند باید کد 404 یا 410 را به سرور برگردانند. این کد به مرورگرها و موتورهای جست‌و‌جو اعلام می‌کند که آدرس مدنظر دیگر وجود خارجی ندارد.
اگر یکی از 3 حالت زیر برای صفحات سایت شما وجود داشته باشد، ممکن است با خطای soft404 رو به رو شوید.

۱) صفحات خالی
۲) صفحات دسته بندی محصولات که محصولی در آن وجود ندارد
۳) صفحات دسته بندی مجله سایت که هنوز مطلبی مختص آن دسته بندی داخل آن قرار نگرفته و خالی مانده است.

اگر از سیستم مدیریت محتوای وردپرس استفاده می‌کنید و دسته بندی جدیدی به سایت خود اصافه کرده اید که هنوز مطلب یا محصولی داخل آن قرار ندارد مشمول یکی از 3 حالت بالا شده اید.

در این حالت بهترین راه برای برطرف کردن خطای soft 404 ، طراحی یک صفحه 404 است که HTTP status code 404 را به مرورگر برگرداند.  صفحه 404 شما باید به گونه ای طراحی شود که کاربران را به صفحاتی مشابه با درخواستشان انتقال دهد. تنها در این حالت است که ربات‌های گوگل قانع می‌شوند سایت شما پاسخ درستی به نیاز کاربران ارائه داده است.اگر از سیستم مدیریت محتوای وردپرس استفاده می‌کنید و دسته بندی جدیدی به سایت خود اصافه کرده اید که هنوز مطلب یا محصولی داخل آن قرار ندارد مشمول یکی از 3 حالت بالا شده اید.

در این حالت بهترین راه برای برطرف کردن خطای soft404 ، طراحی یک صفحه 404 است که HTTP status code 404 را به مرورگر برگرداند.  صفحه 404 شما باید به گونه ای طراحی شود که کاربران را به صفحاتی مشابه با درخواستشان انتقال دهد. تنها در این حالت است که ربات‌های گوگل قانع می‌شوند سایت شما پاسخ درستی به نیاز کاربران ارائه داده است.

آدرسی که با این خطا روبه‌رو شده، به صفحه ای دیگر منتقل شده است.

فرض کنید آدرس یک صفحه را که قبلا در گوگل ایندکس شده است را به  صفحه ای با محتوای کامل تر و آدرسی جدید تغییر داده اید.در اینصورت باید آدرس قبلی را به صورت دائمی به آدرس جدید منتقل کنید. (redirect 301)

آدرسی که با این خطا روبه‌رو شده، در سایت شما موجود است.

اگر آدرس صفحه مورد نظر هنوز در سایت شما قرار دارد و می‌خواهید در نتایج جست و جوی گوگل نشان داده شود اما اما آن صفحه برچسب soft404 گرفته است ممکن است به علت کم بودن محتوا یا داشتن محتوای تکراری باشد
در اینصورت باید بر روی غتی کردن محتوای آن صفحه تمرکز کنید. توجه داشته باشید همیشه باید بتوانید به نیاز کاربران پاسخ درستی بدهید.

اگر آدرسی که این برچسب خطا را خورده است؛ وجود دارد اما شما نمی‌خواهید که در نتایج جست و جوی گوگل نمایش داده شود.

اگر صفحه‌ای از سایت شما از طرف گوگل برچسب soft 404 گرفته است و قصد ندارید که با غنی کردن محتوای آن صفحه آن را در نتایج جست و جوی گوگل نمایش دهید بهتر است دسترسی ربات های گوگل را از داخل فایل robots.txt به آن صفحه ببندید تا دیگر توسط ربات های گوگل قابل خواندن نباشد.

پایان وجمع بندی

در پایان به خاطر داشته باشید با بررسی مستمر صفحات سایت خود در ابزار وبمستری گوگل ( search console) می‌توانید صفحات با برچسب soft404  را پیدا کنید و با بررسی علت های مختلفی که در این آموزش به آن‌ها اشاره شد مشکل این صفحات را برطرف کنید.

در پایان امیدواریم این مقاله از سایت میزفا مورد توجه شما قرار گرفته باشد و بتوانید به راحتی به حل مشکل soft 404 که از رده خطاهای 4xx هست، پایان دهید. چرا که این خطا همانطور که در مقاله اشاره شد تاثیر مهمی بر روی سئو داخلی سایت شما دارد و باید برای پیدا کردن و حل کردن انواع خطاهای سایت هوشیار باشید.