نحوه چرخش و حذف سوابق قدیمی Elasticsearch در یک ماه – CloudSavvy IT


شاخص های Elasticsearch می توانند به سرعت با گیگابایت داده پر شوند ، به خصوص اگر بارها در ثانیه از چندین سرور وارد سیستم شوید. برای مدیریت داده ها ، Elasticsearch

با استفاده از API حذف درخواستی حذف کنید

Elasticsearch یک API حذف درخواستی را ارائه می دهد که تمام اسناد مطابق با یک درخواست را حذف می کند. می توانید از این مورد برای ترکیب مهرهای زمانی بزرگتر یا کوچکتر از یک تاریخ خاص استفاده کنید ، البته کمی خشن:

POST indexname/_delete_by_query
{
  "query": {
    "range" : {
      "@timestamp" : {
        "gte" : "09/02/2020",
        "lte" : "11/02/2020",
        "format": "dd/MM/yyyy||yyyy"
      }
    }
  }
}

با این حال ، این درخواست واقعا کند. با اندازه سند به صورت خطی مقیاس می شود. اگر اسناد کافی برای چرخش دارید تا از انفجار نمونه Elasticsearch خود جلوگیری کنید ، احتمالاً نمی توانید سوابق را از این طریق حذف کنید و به جای آن باید از فهرست های مبتنی بر زمان استفاده کنید.

روش بهتر: شاخص های مبتنی بر زمان

در Elasticsearch شما معمولاً مستقیماً از شاخص ها استفاده نمی کنید. داشبورد شما از مدل های شاخص استفاده می کند که می تواند همزمان با چندین نمایه مطابقت داشته باشد. دلیل این امر این است که شاخص ها می توانند به عنوان گروه داده ای ، به عنوان گروه بندی بر اساس روز یا ماه عمل کنند.

مدیریت و چرخش کل شاخص ها بسیار آسان تر است ، بنابراین اگر هر سینک را پیکربندی کرده اید تا تاریخ فعلی را به نام فهرست اضافه کنید ،

index: "indexname-%{+yyyy.MM.dd}"

البته ، این امر مستلزم پیکربندی خط لوله جذب برای نوشتن در شاخص روزانه است. باید ثبت کننده های خود را تنظیم کنید تا داده ها را در این قالب جذب کنند.

با این حال ، پس از اتمام کار ، می توانید یک خط مشی جدید برای چرخه زندگی ایجاد کنید تا انتقال داده ها به صورت خودکار انجام شود. این گزینه در Stack Management در کنترل پنل Kibana موجود است.

می توانید چندین مرحله چرخش شاخص را پیکربندی کنید ، اما آسان تر است که به راحتی چرخش را غیرفعال کرده و مرحله حذف را با پیکربندی آن برای حذف شاخص های بالاتر از X روز فعال کنید.

سپس ، برای استفاده از آن در الگوی نمایه ، باید “افزودن خط مشی به الگوی شاخص” را در زیر “اقدامات” در لیست خط مشی های چرخه عمر ، انتخاب کنید.

مدل نمایه ای را که می خواهید اضافه کنید انتخاب کنید و خط مشی باید بلافاصله اجرا شود و نمایه های قدیمی شما در الگو حذف شوند.


منبع: khabar-mehman.ir

دیدگاهتان را بنویسید

Comment
Name*
Mail*
Website*