چرا ویدیو های سایت ایندکس نمی شوند؟

چرا سایت و صفحات سایت در گوگل ایندکس نمی شوند؟

  تمامی وب سایت ها بخش عمده ای از بازدید ها و دیده شدنشان توسط کاربران از طریق گوگل می باشد و به بک لینک آن وابسته هستند. تمامی صفحات ایجاد شده در تمام وب سایت ها و وبلاگ ها باید ابتدا توسط گوگل تایید و ایندکس شود تا شرایط دیده شدن برای کاربران مختلف که در اینترنت در حال جستجو هستند فراهم شود. این راهی است که در به طور عادی باید پیش برود.

 اما شرایط همیشه به این سادگی نیست و گاهی این امر بسیار پیچیده تر عمل می کند و ایندکس شدن پست های سایت همیشه به این شکل نخواهد بود. گاهی بسیاری از صفحاتی که ما در سایت خود ایجاد می کنیم هیچگاه در گوگل تایید و ایندکس نمی شود. در این مقاله تصمیم داریم شما را به نحوه رفع مشکل ایندکس نشدن صفحات سایت توسط گوگل آشنا کنیم. از مشکلات تا مشکلات سئو فنی؛ با ما همراه باشید.

ایندکس یا Index در گوگل یعنی چه؟

 اگر شما هم یک وب سایت دارید و سایت شما مقالات بسیار زیادی در آن وجود دارد و تعداد صفحات آن زیاد است به احتمال زیاد با این مشکل مواجه شده اید و از طریق راهکار های مختلف مانند بررسی و آنالیز سایت توسط ابزار Google search Console و یا سرچ کردن در گوگل متوجه شده اید که برخی از صفحات و نوشته های شما در وب سایت با مشکل ایندکس نشدن توسط گوگل روبرو استو بسیاری از صفحات روزها، هفته ها و حتی ماه ها منتظر می مانند تا Google آنها را ایندکس یا Index کند.

ایندکس شدن در گوگل به چه معناست؟

زمانی که صفحه ای توسط خزنده های گوگل (Googlebot) بازدید شده باشد، از نظر محتوا و معنا و دیگر موارد تجزیه و تحلیل شده باشد و در فهرست گوگل ذخیره شده باشد توسط گوگل ایندکس می شود. صفحات INDEX شده را می توان در نتایج جستجوی گوگل نشان داد. (اگر از دستورالعمل ها و قوانین وب مستر گوگل پیروی کنند.

مدت زمان ایندکس شدن یک مقاله توسط گوگل

مدت زمان ایندکس شدن یک مقاله یا یک صفحه سایت در گوگل به موارد متعددی بستگی دارد اما به طور معمول ایندکس شدن نوشته ها و صفحات در گوگل در کمترین حالت از 1 روز و در بیشترین مدت معمولا 6 ماه یه طول می انجامد تا یک سایت توسط Google خزیده شود اعتبار به دامنه ببخشد. هنگامی که یک پست وبلاگ، صفحه سایت یا به طور کلی یک وب سایت جدید را انتشار می دهید، عوامل زیادی وجود دارد که تعیین می کند در چه مدت زمان گوگل باید شما را Index کند.

رایج ترین خطا ها در سرچ کنسول که مانع ایندکس می شود

در صورتی که وب سایت شما به اندازه کافی از لحاظ SEO خوب نباشد با خطای خزیدن و ایندکس نشدن در گوگل مواجه می شود، ممکن است به یک راه حل آسان نیاز داشته باشد یا نشان دهنده یک مشکل فنی بسیار بزرگتر در سایت شما باشد. رایج ترین خطاهایی که خزنده های گوگل پیدا می کنند عبارتند از:

• خطاهای DNS
• ارور هایسرور
• خطاهای Robots.txt
• خطاهای 404

دلایلی که گوگل صفحات را ایندکس نمیکند

رایج‌ترین دلایلی که گوگل تصمیم می‌گیرد چیزی را که از نظر فنی بدون مشکل و سئو شده می باشد و باید ایندکس شود را ایندکس نمی کند چیست؟

 چندین وضعیت را برای صفحات ایندکس نشده گزارش می‌کند، مانند «ربات های گوگل خزیده اند یا بررسی شده اما هنوز یا در حال حاضر Index یا تایید نشده است» یا «بررسی و کشف شده اما در حال حاضر ایندکس نشده است». هرچند که این اطلاعات به رفع مشکل کمک نمی کند، اما برای شروع تشخیص و عیب یابی مشکل اطلاعات خوبی است.

 یک راه دیگر برای تشخیص ایندکس نشدن صفحات در گوگل این است که عبارت site:yoursite.com را در کادر URL وارد نمائید (بجای yoursite.com آدرس سایت خود را وارد کنید). با انجام این کار، لیستی از تمام صفحات سایتتان که در گوگل Index شده‌ اند را تماشا کنید. دلایل مختلفی وجود دارد که گوگل مقاله ها یا پست های شما را ایندکس نمیکند مثل ، محتوای کپی، مقالات تکراری، محتوای بد و…

رفع مشکل ایندکس نشدن صفحات سایت، مقالات، پست ها و… توسط گوگل

 هنگام ایندکس نشدن صفحات سایت توسط گوگل می توانید در ابزار مهم سرچ کنسول Google به دنبال دلایل و نحوه رفع این نوع از مشکلات بگردید و پیغام هایی که در Google Search Console به ما می دهد را بررسی و آنالیز کنیم.

 بررسی خطای Crawled – currently not indexed در سرچ کنسول گوگل

 این پیغام برای زمانی است که گوگل از یک صفحه بازدید کرده است اما آن را ایندکس نکرده.  بر اساس تجربه من، این پیغام معمولاً نشانگر یک مشکل در کیفیت محتوا صفحه است و باید تری را جای گذاری کنید. با توجه به رونق تجارت های الکترونیکی و رقابت برای تولید محتوای با کیفیت، می‌توان انتظار داشت که گوگل در مورد کیفیت محتوا حساس تر و دقیق تر عمل می کند.

بنابراین، اگر متوجه شدید که صفحات شما خزیده شده (بررسی شده) است اما در حال حاضر ایندکس نشده، بهتر است ابتدا مطمئن شوید که محتوای آن صفحات منحصر به فرد، با کیفیت، کامل و ارزشمند تر از دیگر صفحات در گوگل است. گوگل به سادگی محتوا های کپی شده را تشخیص می دهد و در صورت کپی بودن شما را جریمه می کند. بهتر است برای رفع این معضل در و محتوای خود اصول زیر را رعایت نمائید:

اصول تولید محتوای با کیفیت از نظر گوگل

• می توانید از عناوین منحصر به فرد و جذاب در پست استفاده کنید.
• بهتر است از کپی کردن توضیحات محصول، مقاله و… از دیگر سایت ها خودداری کنید.
• از  برای ادغام محتوای تکراری استفاده کنید.
• با استفاده از فایل robots.txt و تگ noindex، گوگل را از خزیدن یا ایندکس کردن بخش های بی کیفیت وب سایت خود مسدود کنید.

دلیل پیغام Discovered – currently not indexed در سرچ کنسول گوگل

 خزنده های گوگل پست شما را بررسی کرده اند اما آن را تایید نکرده اند.
این پیغام دلایل جدی تری دارد زیرا می تواند همه چیز را از مشکلات خزیدن گرفته تا کیفیت پائین محتوا را در بر بگیرد. این یک مشکل جدی است، به ‌ویژه در مورد سایت های بزرگ در دنیای تجارت الکترونیک. این مشکل معمولا برای اکثر سایت ها رخ می دهد.

 حجم بالای درخواست ایندکس در Google:

ایندکس نشدن صفحات سایت ممکن است به این دلیل رخ دهد که URL های زیادی در صف خزیدن باشند؛ در این صورت ممکن است در آینده این صفحات خزیده و ایندکس شوند (البته اگر مشکلات دیگری مانند بی ارزش بودن یا بی کیفیت بودن را نداشته باشند).

• مشکل در کیفیت و ارزش صفحه :

امکان دارد که به دلیل کپی بودن محتوای صفحه از سایت های دیگر، بی ارزش بودن آن محتوا، بی معنی و مفهوم بودن و بی کاربرد بودن آن صفحه، URL نامناسب و یا تکراری بودن صفحه، تصمیم بگیرد که آن صفحه را بررسی نکند و یا از خزیدن در آن صفحه خودداری کند.

• تکراری بودن صفحه و مقاله:

تکراری بودن محتوا و مقاله در سایت خود و رقبا و url های یک شکل، عدم استفاده از تگ Canonical هنگام ایجاد صفحات تکراری نیز از دلایل ایندکس نکردن می باشد.

ایندکس کردن پست ها و مقالات در گوگل

مقابله با این مشکل نیاز به تخصص دارد. اگر متوجه شدید که صفحات شما با پیغام “Discovered – currently not indexed” مواجه شده است باید موارد زیر را انجام دهید:

 مشخص کنید که آیا الگوهایی از صفحات در این دسته قرار می گیرند یا خیر.

• شاید مشکل، مربوط به دسته خاصی از محصولات باشد و کل دسته به صورت داخلی لینک نشده باشد.
• یا شاید بخش عظیمی از صفحات محصول در صف منتظرند تا ایندکس شوند؟
• درخواست های ایندکس و خزیدن در سایت خود را بهینه کنید و صفحات بی ارزش خود را noindex کنید تا صف خزیدن و درخواست ایندکس کم تر شود.

ایندکس نشدن سایت به دلیل خطاهای سایت

ایندکس نشدن یک سایت در گوگل می‌تواند به دلایل مختلفی از جمله خطاهای سایت اتفاق بیافتد. در اینجا چند نمونه از این خطاها را با هم بررسی می‎کنیم:

خطاهای DNS

این خطا وقتی ایجاد می‌شود که سعی می‌کنیم به صفحه‌ی دسترسی پیدا کنیم اما ارتباط با سرور DNS برقرار نمی‌شود. این خطا می‌تواند به این دلیل باشد که سرورتان از کار افتاده است یا مشکلی در مسیریابی DNS به دامنه شما وجود دارد. این ارورها اهمیت خیلی زیادی دارند و باید در اولین فرصت آن‌ها را رفع کنید؛ چون وجود خطاهای DNS باعث می‌شود تا ربات‌های گوگل نتوانند به سایت شما دسترسی پیدا کنند.

آموزش رفع خطاهای DNS

برای رفع کردن این خطا باید قبل از هر چیز وارد صفحه اصلی گوگل وبمستر شوید و از منوی crawl گزینه Fetch as Google را پیدا کرده و روی آن کلیک کنید. در این مرحله باید در کادر جستجو URL صفحه مورد نظرتان را وارد کرده و گزینه FETCH AND RENDER را بزنید. با کلیک روی این گزینه، گوگل نتایج بررسی را به شما نمایش می‌دهد. اگر مشکلی وجود داشته باشد، در مقابل آدرس صفحه‌ای که وارد کردید، یک تیک قرمز می‎خورد. دقت کنید اگر گوگل بدون هیچ مشکلی با صفحه اول سایت‌ شما ارتباط برقرار کرد، یعنی هیچ مشکلی در این وب‌سایت وجود ندارد. خطاهای DNS معمولا ۲ نوع هستند:

• خطای Timeout: این اتفاق زمانی می‌افتد که سرور DNS قادر به پاسخگویی به درخواست Google در یک زمان خاص نیست.
• خطای Lookup: این اتفاق زمانی رخ می‌دهد که سرور DNS قادر به شناسایی نام میزبان نباشد. (به عنوان مثالwww.example.com )

وجود خطاهای سرور

خطای سرور زمانی اتفاق می‌افتد که سرور برای پاسخگویی به یک درخواست، زمان خیلی زیادی صرف کند و مهلت درخواست به پایان برسد. این خطا ممکن است وقتی رخ دهد که ترافیک سایت شما، بیش از اندازه‌ای باشد که سرور بتواند آن را اداره کند. خطاهای سرور معمولا ۷ نوع هستند:

• Timeout: زمان انتظار برای یک درخواست به پایان می‌رسد.
• Truncated headers: گوگل توانسته به سرور شما متصل شود، اما اتصال را قبل از ارسال headerهای کامل، قطع کرده است.
• Connection reset: سرور شما درخواست گوگل را با موفقیت پردازش کرده، اما هیچ محتوایی را برنمی‌گرداند؛ زیرا ارتباط با سرور ریست شده است.
• Truncated Response: سرور شما قبل از اینکه گوگل بتواند پاسخ کاملی دریافت کند، قطع شده است.
• Connection Failed: گوگل قادر به اتصال به سرور شما نیست زیرا شبکه غیرقابل دسترسی شده یا از کار افتاده است.
• No Response: گوگل قبل از ارسال داده‌های مورد نیاز می‌تواند به سرور شما متصل شود.

درست مثل خطاهای DNS ، خطای سرور هم باید بسیار فوری رفع شوند. این خطا یک خطای اساسی است و به سایت شما آسیب می‌رساند. در صورت مشاهده خطاهای سرور در Search Console، برای رفع آن‌ها هر چه سریع‌تر اقدام کنید.

راهکارهایی برای رفع خطای سرور

بارگذاری صفحات پویا را کاهش دهید. پارامترهای URL را کوتاه نگه داشته و از آن‌ها خیلی کم استفاده کنید. در صورت بروز مشکلات اتصال و مهلت زمانی یا پاسخگویی، با ارائه دهنده هاست خود مشورت کنید و توانایی سایت‌تان را برای مدیریت ترافیک افزایش دهید. مطمئن شوید که هاست شما درست کار می‌کند و پهنای باند آن تمام نشده است. ابزاری به نام Fetch as Google  وجود دارد که با استفاده از آن می‌توانید مطمئن شوید که آیا ربات‌های خزنده‌ گوگل می‌توانند صفحات شما را پردازش کند یا خیر.

رفع خطاهای موجود در فایل robots.txt

این خطا به این معنی است که Googlebot نمی‎تواند به شما که در [yourdomain.com] /robots.txt قرار دارد، دسترسی پیدا کند. طبق گفته گوگل: «خزنده‌های گوگل حداقل یکبار فایل robots.txt را بازبینی می‌کنند تا از چگونگی خزیده شدن و ایندکس کردن صفحات وب‌سایت‌ شما اطلاع پیدا کنند.»

شما در robots.txt می‌توانید رفتار خزنده‌های موتور جستجو مثل گوگل را درباره سایت‌تان تعیین کنید و به آن‌ها بفهمانید که کدام قسمت از صفحات وب‌سایت‌ را نباید جستجو و ایندکس کنند. برای این کار می‌توانید از متاتگ noindex استفاده کنید. اما اگر مشابه کد زیر، از این متاتگ به شکل اشتباه استفاده کنید، ممکن است گوگل نتواند سایت شما را ایندکس کند:

 اگر فایل robots.txt ندارید، هنگام درخواست Googlebot، سرور شما ارور 404 را برمی‌گرداند. حتما مطمئن شوید که گوگل به فایل robots.txt دسترسی داشته باشد.

نداشتن سایت‌مپ

حتما باید داشته باشید و مطمئن شوید که سایت‌مپ را به درستی بارگذاری و معرفی کرده‌اید. نداشتن نقشه سایت، یک مانع جدی سر راه ایندکس شدن سایت شما در گوگل است.

همچنین بعد از آپلود سایت‌مپ، نیاز است درخواست خزیدن گوگل به منظور ایندکس شدن سایت را برای گوگل ارسال کنید تا گوگل بعد از بررسی درخواست، برای ایندکس کردن سایت اقدام کند.

ایندکس نشدن سایت به علت خطاهای URL

به‌طور معمول خطاهای URL یکی از انواع زیر هستند:

وجود خطای 404

وقتی کاربر آدرس صفحه‌ای از سایت را بدهد که وجود خارجی ندارد، سرور صفحه‌ای با عنوان خطای 404 را به کاربر نشان می‌دهد و به او و ربات‌های موتورهای جستجو می‌گوید که چنین صفحه‌ای در این سایت وجود ندارد. بنابراین محتوای آن صفحه نمی‌تواند توسط موتورهای جستجو بررسی یا ایندکس شود. اگر صفحه‌های خیلی مهم سایت شما با ارور 404 مواجه است، باید هر چه زودتر این مشکل را رفع کنید.

رفع خطای 404

بسیاری از خطاهای 404 نیاز به رفع کردن ندارند، زیرا به ایندکس شدن یا رتبه بندی سایت شما آسیب نمی‌رسانند. اگر صفحه پاک شده‌ای روی سایت باشد که جایگزین یا معادلی برای آن ندارید، استفاده از صفحه‌ای با خطای 404 کار درستی است.

اما اگر لینک‌هایی به صفحه 404 در GSC پیدا کردید:

• اگر محتوایتان را به صفحه دیگری منتقل کرده‌اید، حتما انجام دهید.
• اگر صفحه شما تعداد زیادی ترافیک ورودی دارد، این ترافیک را به صفحه مناسب با سطح بالاتر هدایت کنید.
• بررسی کنید و ببینید لینک‌های اشتباه از چه صفحه و سایتی لینک شده‌اند. این لینک‌های اشتباه ممکن است داخل سایت خودتان باشند یا به دلیل یک غلط تایپی در URL، به یک سایت دیگر لینک شوند.
• از سایر خطاهای 404 چشم‌پوشی کنید جون مشکل چندانی برای سایت شما ایجاد نمی‌کنند.

آشنایی با خطای hard 404

خطای hard 404 چیزی است که شما احتمالا بارها در زمان گشت‌وگذار در اینترنت با آن رو به رو شده‌اید. به زبان ساده، این خطا یک سیگنال برای کاربر است که صفحه را نمی‌توان یافت یا به آن دسترسی پیدا کرد. خطای hard 404 در بسیاری از مواقع می‌تواند به دلیل عدم وجود صفحه باشد. مثلا اگر شخصی آدرس URL را اشتباه وارد کند، ممکن است با خطای hard 404 مواجه شود.

آشنایی با خطای soft 404

خطای Soft 404 وقتی اتفاق می‌افتد که سرور سایت شما برای لینکی که در سایت موجود نیست، یک صفحه واقعی را برمی‌گرداند. این خطا زمانی به وجود می‌آيد که سرور، لینک‌های خراب یا لینک‌های ناموجود را لینک سالم حساب می‎کند و کاربرانی که درخواست مشاهده این لینک‌ها را داده‌اند به صفحه اصلی سایت یا یک صفحه ۴۰۴ سفارشی که از قبل طراحی و پیاده‌سازی شده هدایت می‌کند.

این خطا یک مشکل جدی برای سایت شما ایجاد می‌کند؛ زیرا موتورهای جستجو ممکن است بیشتر وقت خود را صرف crawling و ایندکس کردن URLهای اغلب تکراری در سایت شما کنند.

آموزش رفع خطای soft 404

برای صفحات ناموجود:

• اگر صفحه از بین رفته است و هیچ بازدید یا پیوند قابل توجهی دریافت نمی‌کند، اجازه نمایش صفحات 404 یا 410 را بدهید. اطمینان حاصل کنید که پاسخ هدر سرور 404 یا 410 است، نه 200.
• تعداد خیلی زیادی از صفحات از دست رفته را به صفحه اصلی سایت، ریدایرکت نکنید. این صفحات باید به 404 یا صفحات مشابه مناسب هدایت شوند.
• برای صفحات موجود که قرار نیست soft 404 باشند:
• از وجود محتوای مناسب در صفحه اطمینان حاصل کنید، زیرا محتوای کم حجم ممکن است باعث ایجاد خطای 404 شود.
• مطمئن شوید که محتوای صفحه شما زمان اجرای کد پاسخ 200، صفحه 404 را نشان نمی‌دهد.