انبار داده یا Data Warehouse چیست؟
برای استفاده از ابزارهای هوشمندی کسب و کار به انبارداده نیاز داریم. انبار داده، دادهها را از یک یا چند منبع جمع آوری کرده و آنها را به گروههای اطلاعاتی تبدیل میکند، سپس دادهها را به همراه اطلاعات زمان و تاریخ برای پشتیبانی بهتر از تصمیم گیریها ذخیره میکند. به طور کلی اطلاعات توسط ETL (در یک پست جداگانه به شرح ETL خواهم پرداخت) از سیستمهای عملیاتی متعدد جمع آوری، پاکسازی و به یک بانکاطلاعاتی انتقال داده میشود. این بانک اطلاعاتی اطلاعات حاصل را برای استفاده از ابزارهای هوش تجاری جهت تحلیل و گزارش گیری کاربران نهایی فراهم میکند و در نتیجه به کاربران اجازه تحلیل و ایجاد پرس و جوهای گوناگون بر روی دادهها را میدهد که پیش از این هیچ ارتباطی با هم نداشتند.
این اطلاعات در جهت آنالیز کردن داده های موجود در سیستم های عملیاتی مورد استفاده قرار می گیرد. فلسفه بکارگیری انبارداده در سازمان این است که اطلاعات مورد نیاز مدیران از درون داده های سیستم های عملیاتی موجود استخراج گردد. معمولا انبار داده به دلیل وجود حجم انبوهی از داده ها، کندتر از سیستم های عملیاتی است و از طرفی محیطی جهت تولید گزارشات تحلیلی و آماری برای مدیران و تصمیم گیرندگان سازمانها فراهم میکند.
…………………………………………
پایگاه داده تحلیلی (Data Warehouse) یا DWH مجموعهای از اطلاعات است که به گونهای مناسب برای انجام عملیات گزارشگیری و تحلیل دادهها طراحی شده است.
DWH شامل یک پایگاه داده و تعدادی (component) است این پایگاهداده به گونهای سازماندهی شده است که تمامی اطلاعاتی که به یک موضوع یا موجودیت خاص مربوط هستند با یکدیگر مرتبط هستند.اطلاعات موجود در پایگاهداده از سراسر سازمان جمعآوری شدهاند و با هم سازگاری دارند.
هدف اصلی DWH ایجاد بستری مناسب برای تولید اطلاعاتی است که به Knowledg worker های سازمان (مدیران، عوامل اجرایی و تحلیلگران) برای اتخاذ تصمیمهای درست کمک میکند.
بطورساده تر: Data Warehouse مجموعه ای از داده های جمع آوری شده از یک پایگاه داده است که این داده ها به منظور انجام یکسری تحلیل ها وانجام گزارش گیری آماری وکشف دانش جدید باید به طور یک پارچه و مرتبط با یک موضوع خاص جمع آماری بشن. Data Warehouseدر داده کاوی به کار میره.البته جهت انجام عملیات داده کاوی باید یکسری فرایندهایی روی داده ها انجام بشه تا بشه تحلیل روشون انجام بدیم این فرایندها شامل مواردی مثل حذف داده های مفقود وداده های غیر مرتبط با موضوع و… می باشد .
تفاوت database , data warehouse در چیست؟
به نظرم با دانستن تفاوت هاشون می تونی تشخیص بدی که چه بانک اطلاعاتی انباره داده هم هست:
1- بانک اطلاعاتی برای ثبت سریع و بی درنگ تراکنش های یک سیستم استفاده می شود. (OLTP) درصورتی که از انباره های داده برای آنالیز برخط و تصمیم گیری های کلان(درسطح BI ) استفاده می شود (OLAP).
2- روابط بین جداول ونرمالیتی در بانک های اطلاعاتی پیچیده و موجودیت ها کاملاً مشخص می باشند در حالی که انباره های داده روابط پیچیده ای نداردند و برای بالابردن سرعت تقریباً نرمال سازی نمی شوند.
3- بانک اطلاعاتی موجودیت محور می باشد یعنی در طراحی آن موجودیت ها نقش اصلی را بازی می کنند در حالی که در انباره داده این مدل های داده ای هستند که نقش اصلی رو در طراحی بازی می کنند.
4- بانک های اطلاعاتی جهت درج داده طراحی می شوند در حالی که انباره های داده بیشترین تمرکز را در سرعت در خواندن داده دارند.
5-سرعت بانک اطلاعاتی در گزارش هایی جهت آنالیز اطلاعات بسیار پایین است اما سرعت آنالیزها در انباره داده بیشتر می باشد.
و در نهایت یک انباره داده معمولاً یک بانک اطلاعاتی است و همچنین ممکن است یک انباره داده از چند بانک اطلاعاتی داده دریافت کند.
وظیفه اصلی سیستمهای پایگاه داده، پشتیبانی از تراکنشهای آنلاین و پردازش پرس و جو است. این سیستمها، سیستم پردازش تراکنش آنلاین (OLTP) نامیده میشوند و بیشتر عملیات روزمره یک سازمان را پوشش میدهند.
وظیفه اصلی سیستمهای پایگاه داده، پشتیبانی از تراکنشهای آنلاین و پردازش پرس و جو است. این سیستمها، سیستم پردازش تراکنش آنلاین (OLTP) نامیده میشوند و بیشتر عملیات روزمره یک سازمان را پوشش میدهند.
از سوی دیگر انبار داده که بعنوان نوع خاصی از پایگاههای داده معرفی میشود به کاربران یا knowledge workers خدماتی در نقش تحلیلگر داده و تصمیم گیرنده ارائه میدهند. چنین سیستمهایی قادر هستند دادهها را در قالبهای گوناگون برای هماهنگی با نیازهای مختلف کاربران، سازماندهی کرده و ارائه دهند. این سیستمها با نام سیستمهای پردازش تحلیلی آنلاین(OLAP) نیز شناخته میشوند.
- از لحاظ مدلهای دادهای؛ پایگاههای داده برای مدل OLTP بهینه سازی شده که براساس مدل داده رابطهای امکان پردازش تعداد زیادی تراکنش همروند_ که اغلب حاوی رکوردهای اندکی هستند_ را دارد. اما در انبارهای داده که برای پردازش تحلیلی آنلاین طراحی شدهاند امکان پردازش تعداد کمی پرس و جو پیچیده برروی تعداد بسیار زیادی رکورد داده فراهم میشود. سرورهای OLAP هم میتوانند رابطهای باشند ( ROLAP ) وهم میتوانند چندبعدی باشند (MOLAP ).
- از لحاظ کاربران؛ کاربران پایگاه داده کارمندان دفتری و مسئولان میباشند در حالی که کاربران انبار داده مدیران و تصمیمگیرندهها هستند.
- از لحاظ عملیات قابل اجرا برروی آنها؛ عملیاتی که برروی پایگاه دادهها صورت میگیرد، عموماً شامل عملیات بهنگام سازی است در حالی که عمل خواندن از انبار، عمده عملیات قابل اجرا بر روی انبار داده را تشکیل میدهد.
- از لحاظ مقدار دادهها؛ مقدار دادههای یک پایگاه داده در حدود چند مگابایت تا چند گیگابایت است در حالیکه این مقدار در انبار داده در حدود چند گیگابایت تا چند ترابایت است.
نوشتن نظر