O OLAP je bilo v zadnjem času veliko napisanega. Lahko rečemo, da je okoli teh tehnologij nek razmah. Resda je za nas ta razcvet nekoliko pozen, a je to seveda posledica splošne situacije v državi.

Informacijski sistemi na ravni podjetja praviloma vsebujejo aplikacije, namenjene kompleksni večdimenzionalni analizi podatkov, njihove dinamike, trendov itd. Takšna analiza je končno namenjena pomoči pri odločanju. Te sisteme pogosto imenujemo sistemi za podporo odločanju.

Sistemi za podporo odločanju imajo običajno sredstva, da uporabniku zagotovijo zbirne podatke za različne vzorce iz začetnega nabora v obliki, primerni za zaznavanje in analizo. Praviloma takšna agregatne funkcije tvorijo večdimenzionalen (in zato nerelacijski) niz podatkov (pogosto imenovan hiperkocka ali metakocka), katerega osi vsebujejo parametre, celice pa zbirne podatke, ki so odvisni od njih - in takšne podatke je mogoče shraniti tudi v relacijske tabele, vendar v tem primeru govorimo o logični organizaciji podatkov, ne o fizični izvedbi njihovega shranjevanja). Vzdolž vsake osi je mogoče podatke organizirati v hierarhijo, ki predstavlja različne ravni podrobnosti. S tem podatkovnim modelom lahko uporabniki oblikujejo zapletene poizvedbe, ustvarjanje poročil, pridobivanje podnaborov podatkov.

Tehnologija kompleksne večdimenzionalne analize podatkov se imenuje OLAP (On-Line Analytical Processing).

OLAP je ključna komponenta shranjevanja podatkov.

Koncept OLAP je leta 1993 opisal Edgar Codd, znani raziskovalec baz podatkov in avtor relacijskega podatkovnega modela.E.F. Codd, S.B. Codd in C.T.Salley, Zagotavljanje OLAP (on-line analitične obdelave) uporabnikom-analitikom: pooblastilo IT. tehnično poročilo, 1993).

Leta 1995 je bil na podlagi zahtev, ki jih je začrtal Codd, oblikovan tako imenovani test FASMI (Fast Analysis of Shared Multidimensional Information - hitra analiza skupnih večdimenzionalnih informacij), ki vključuje naslednje zahteve za aplikacije za večdimenzionalno analizo:

· zagotavljanje rezultatov analize uporabniku v sprejemljivem času (običajno ne več kot 5 s), tudi za ceno manj podrobne analize;

· zmožnost izvajanja kakršne koli logične in statistične analize, specifične za to aplikacijo, in shranjevanja v obliki, ki je dostopna končnemu uporabniku;

· večuporabniški dostop do podatkov s podporo za ustrezne zaklepne mehanizme in orodja za avtoriziran dostop;

· večdimenzionalna konceptualna predstavitev podatkov, vključno s popolno podporo za hierarhije in več hierarhij (to je ključna zahteva OLAP);

· možnost dostopa do vseh potrebnih informacij, ne glede na njihovo količino in lokacijo shranjevanja.

Upoštevati je treba, da je mogoče implementirati funkcionalnost OLAP različne poti, začenši z najpreprostejšimi orodji za analizo podatkov v pisarniških aplikacijah in konča s porazdeljenimi analitičnimi sistemi, ki temeljijo na strežniških izdelkih. Uporabniki si lahko preprosto ogledajo podatke o večdimenzionalni strukturi, ki jih uporabljajo za svoje naloge.

2. Kaj je OLAP

OLAP - okrajšava za angleško On-Line Analytical Processing - ni ime določenega izdelka, temveč celotne tehnologije. V ruščini je najprimerneje OLAP imenovati operativno analitično obdelavo. Čeprav v nekaterih publikacijah analitično obdelavo imenujemo tako spletna kot interaktivna, pridevnik »online« najbolj natančno odraža pomen tehnologije OLAP.

Razvoj menedžerskih upravljavskih odločitev spada med področja, ki jih je najtežje avtomatizirati. Vendar pa danes obstaja možnost pomagati vodji pri razvoju odločitev in, kar je najpomembneje, bistveno pospešiti proces oblikovanja odločitev, njihove izbire in sprejemanja. Za to lahko uporabite OLAP.

Razmislite, kako običajno poteka proces razvijanja rešitev.

Zgodovinsko gledano so najbolj razvite rešitve za avtomatizacijo operativnih dejavnosti. Govorimo o sistemih za obdelavo transakcijskih podatkov (OLTP), preprosto imenovanih operativni sistemi. Ti sistemi zagotavljajo evidentiranje določenih dejstev, njihovo kratkotrajno hrambo in hrambo v arhivu. Osnovo tovrstnih sistemov predstavljajo sistemi za upravljanje relacijskih baz podatkov (RDBMS). Tradicionalni pristop je poskus uporabe že zgrajenih operativnih sistemov za podporo odločanju. Običajno poskušajo zgraditi razvit sistem poizvedb do operacijskega sistema in uporabiti poročila, prejeta po interpretaciji, neposredno za podporo odločitvam. Poročila je mogoče sestaviti po meri, tj. upravitelj zahteva poročilo in redno, ko se poročila gradijo ob doseganju določenih dogodkov ali ur. Na primer, tradicionalni proces podpore odločanju bi lahko izgledal takole: vodja gre do informacijskega strokovnjaka in z njim deli svoje vprašanje. Nato informacijski specialist sestavi zahtevo do operativnega sistema, prejme elektronsko poročilo, ga interpretira in nato posreduje vodstvenemu osebju. Seveda takšna shema do neke mere zagotavlja podporo pri odločanju, vendar ima izjemno nizko učinkovitost in ogromno pomanjkljivosti. Za podporo kritičnim odločitvam se uporablja majhna količina podatkov. Obstajajo tudi druge težave. Tak postopek je zelo počasen, saj je postopek pisanja zahtev in tolmačenja elektronskega poročila dolgotrajen. Traja veliko dni, v času, ko se mora vodja odločiti prav zdaj, takoj. Glede na to, da bi upravitelja po prejemu poročila morda zanimalo drugo vprašanje (recimo pojasnitev ali zahteva obravnave podatkov v drugačnem kontekstu), je treba ta počasen cikel ponoviti, in ker je proces analize podatkov operacijski sistemi se bo ponavljalo, potem se porabi še več časa. Drugi problem je problem različnih področij delovanja strokovnjaka za informacijsko tehnologijo in vodje, ki lahko razmišljata v različnih kategorijah in se posledično ne razumeta. Potem bodo potrebne dodatne iteracije izpopolnjevanja, to pa je spet čas, ki ga je vedno premalo. Drugo pomembno vprašanje je kompleksnost poročil za razumevanje. Upravitelj nima časa, da iz poročila izbere številke, ki jih zanimajo, še posebej, ker jih je morda preveč (spomnite se ogromnih večstranskih poročil, ki dejansko uporabljajo več strani, ostalo pa za vsak slučaj). Ugotavljamo tudi, da delo tolmačenja največkrat pade na strokovnjake v informacijskih oddelkih. To pomeni, da kompetentnega strokovnjaka moti rutinsko in neučinkovito delo pri risanju diagramov itd., Kar seveda ne more ugodno vplivati ​​na njegove kvalifikacije. Poleg tega ni skrivnost, da v verigi tolmačenja obstajajo dobronamerniki, ki jih zanima namerno izkrivljanje dohodnih informacij.

Zgornje pomanjkljivosti nam dajo misliti tako o splošni učinkovitosti operativnega sistema kot tudi o stroških, povezanih z njegovim obstojem, saj se izkaže, da stroški ustvarjanja operativnega sistema niso v zadostni meri kompenzirani z učinkovitostjo njegovega delovanja.

Pravzaprav te težave niso posledica slabe kakovosti operacijskega sistema ali njegove neuspešne konstrukcije. Korenine težav so v temeljni razliki med operativnimi aktivnostmi, ki jih operacijski sistem avtomatizira, ter razvojno-odločevalskimi aktivnostmi. Ta razlika je v tem, da so podatki operativnih sistemov le zapisi o nekaterih dogodkih, ki so se zgodili, dejstva, ne pa informacije v splošnem pomenu besede. Informacije so nekaj, kar zmanjšuje negotovost na kateremkoli področju. In zelo lepo bi bilo, če bi informacije zmanjšale negotovost pri pripravi odločitev. Razvpiti E.F. Codd, človek, ki je v sedemdesetih letih prejšnjega stoletja uvedel tehnologijo sistemov za upravljanje relacijskih baz podatkov: »Čeprav so sistemi za upravljanje relacijskih baz podatkov na voljo uporabnikom, nikoli niso veljali za orodje, ki zagotavlja zmogljive funkcije za sintezo, analizo in konsolidacijo (funkcije, imenovane večdimenzionalna analiza podatkov). ”. Govorimo o sintezi informacij, o tem, kako podatke operacijskih sistemov spremeniti v informacije in celo v kvalitativne ocene. OLAP vam omogoča to transformacijo.

OLAP temelji na ideji večdimenzionalnega podatkovnega modela. Človeško razmišljanje je po definiciji večdimenzionalno. Ko človek postavlja vprašanja, postavlja omejitve in s tem oblikuje vprašanja v več dimenzijah, zato je proces analize v večdimenzionalnem modelu zelo blizu realnosti človeškega mišljenja. Glede na dimenzije v večdimenzionalnem modelu so dejavniki, ki vplivajo na dejavnosti podjetja, odloženi (na primer: čas, izdelki, oddelki podjetja, geografija itd.). Tako dobimo hiperkocko (seveda ime ni zelo dobro, saj kocko običajno razumemo kot lik z enakimi robovi, kar pa v tem primeru še zdaleč ni tako), ki jo nato napolnimo z indikatorji dejavnosti podjetja (cene, prodaja, načrt, dobiček, izgube itd.) itd.). To polnjenje je mogoče izvesti tako z resničnimi podatki operativnih sistemov kot predvideno na podlagi zgodovinskih podatkov. Dimenzije hiperkocke so lahko kompleksne, hierarhične in med njimi je mogoče vzpostaviti odnose. Med analizo lahko uporabnik spremeni zorni kot na podatke (t.i. operacija spreminjanja logičnega pogleda), s čimer si podatke ogleduje v različnih razdelkih in rešuje določene probleme. Na kockah je mogoče izvajati različne operacije, vključno z napovedovanjem in pogojnim razporejanjem (analiza kaj če). Poleg tega se operacije izvajajo naenkrat na kockah, tj. zmnožek bo na primer povzročil produkt hiperkocke, katere vsaka celica je produkt celic ustreznih hiperkock množitelja. Seveda je možno izvajati operacije na hiperkockah, ki imajo različno število dimenzij.

3. Zgodovina nastanka tehnologije OLAP

Zamisel o obdelavi podatkov v večdimenzionalnih nizih ni nova. Pravzaprav sega v leto 1962, ko je Ken Iverson objavil svojo knjigo Programski jezik (APL). Prvo praktično implementacijo APL je IBM izvedel v poznih šestdesetih letih. APL je zelo eleganten, matematično definiran jezik z večdimenzionalnimi spremenljivkami in obravnavanimi operacijami. Namenjen je bil izvirnemu zmogljivemu orodju za delo z večdimenzionalnimi transformacijami v primerjavi z drugimi praktičnimi programskimi jeziki.

Vendar pa ideja dolgo časa ni dobila množične uporabe, saj še ni prišel čas za grafične vmesnike, visokokakovostne tiskalne naprave, prikaz grških znakov pa je zahteval posebne zaslone, tipkovnice in tiskalne naprave. Kasneje so angleške besede včasih uporabljali za zamenjavo grških operaterjev, vendar so borci za čistost APL preprečili poskuse popularizacije svojega najljubšega jezika. APL je porabil tudi strojne vire. V tistih časih je bila njegova uporaba draga. Programi so delovali zelo počasi in poleg tega so bili zelo dragi. Potrebno je bilo veliko pomnilnika, takrat le šokantne količine (približno 6 MB).

Vendar pa nadloga teh začetnih napak ni uničila ideje. Uporabljali so ga v številnih poslovnih aplikacijah v 70. in 80. letih. Mnoge od teh aplikacij so imele funkcije sodobni sistemi analitično obdelavo. IBM je na primer razvil operacijski sistem za APL, imenovan VSPC, in nekateri ljudje so ga imeli za idealen medij za osebno uporabo, dokler preglednice niso postale vseprisotne.

Toda APL je bil prezahteven za uporabo, zlasti ker je vsakič prišlo do nedoslednosti med samim jezikom in strojno opremo, na kateri so ga poskušali implementirati.

V osemdesetih letih prejšnjega stoletja je APL postal na voljo na osebnih računalnikih, vendar ni našel tržne uporabe. Alternativa je bilo programiranje večdimenzionalnih aplikacij z uporabo nizov v drugih jezikih. To je bila zelo težka naloga tudi za profesionalne programerje, zaradi česar so morali počakati na naslednjo generacijo večdimenzionalnih programskih izdelkov.

Leta 1972 je več večdimenzionalnih programskih aplikacij, ki so se prej uporabljale v izobraževalne namene, našlo komercialno uporabo: Express. Še zdaj ostaja v popolnoma prepisani obliki, vendar izvirni koncepti iz 70. let niso več pomembni. Danes, v 90-ih, je Express ena najbolj priljubljenih tehnologij OLAP in Oracle(r) jo bo še naprej spodbujal in dodajal nove funkcije.

Večdimenzionalni izdelki so se pojavili v 80. letih. Na začetku desetletja se je pojavil izdelek z imenom Stratagem, kasneje imenovan Acumate (zdaj v lasti Kenan Technologies), ki se je promoviral še do zgodnjih 90-ih, danes pa se za razliko od Expressa praktično ne uporablja.

Comshare System W je bil večdimenzionalni izdelek drugačnega sloga. Predstavljen leta 1981 je bil prvi, ki je bil bolj osredotočen na končnega uporabnika in razvoj finančnih aplikacij. Uvedel je številne koncepte, ki niso bili dobro prilagojeni, kot so popolnoma neproceduralna pravila, celozaslonski ogled in urejanje večdimenzionalnih podatkov, samodejno ponovno izračunavanje in paketna integracija z relacijskimi podatki. Vendar je bil Comshare System W precej težek za takratno strojno opremo v primerjavi z drugimi izdelki in se je v prihodnosti manj uporabljal, prodajal manj in izdelek ni bil izboljšan. Čeprav je še danes na voljo v UNIX-u, ni odjemalec-strežnik, kar ne pripomore k večji ponudbi na trgu analitičnih izdelkov. V poznih 80-ih je Comshare izdal izdelek za DOS in kasneje za Windows. Ti izdelki so se imenovali Commander Prism in so uporabljali iste koncepte kot System W.

Drugi ustvarjalni izdelek poznih 80-ih se je imenoval Metafora. Namenjen je bil profesionalnim tržnikom. Predlagal je tudi številne nove koncepte, ki se šele zdaj začenjajo široko uporabljati: računalništvo odjemalec-strežnik, uporaba večdimenzionalnega modela na relacijskih podatkih, objektno usmerjen razvoj aplikacij. Vendar takratna standardna strojna oprema za osebne računalnike ni bila sposobna poganjati Metaphorja in prodajalci so bili prisiljeni razviti lastne standarde za osebne računalnike in omrežja. Postopoma je Metaphor začel uspešno delovati na serijskih osebnih strojih, vendar je bil izdelek narejen izključno za OS / 2 in je imel svoj grafični uporabniški vmesnik.

Nato je Metaphor sklenil marketinško zvezo z IBM-om, ki je bila nato prevzeta. Sredi leta 1994 se je IBM odločil integrirati tehnologijo Metaphor (preimenovano v DIS) s svojimi prihodnjimi tehnologijami in s tem prenehati financirati ločeno smer, vendar so stranke izrazile svoje nezadovoljstvo in zahtevale nadaljnjo podporo za izdelek. Podpora se je nadaljevala za preostale kupce, IBM pa je izdelek ponovno izdal pod novim imenom DIS, kar pa ni naredilo priljubljenega. Toda ustvarjalni, inovativni koncepti podjetja Metaphor niso bili pozabljeni in so danes vidni v številnih izdelkih.

Sredi 80. let se je rodil izraz EIS (Executive Information System). Prvi izdelek, ki je jasno pokazal to smer, je bil Pilotov ukazni center. To je bil izdelek, ki je omogočal sodelovalno računalništvo, kar danes imenujemo računalništvo odjemalec-strežnik. Ker je bila moč osebnih računalnikov v 80. letih omejena, je bil izdelek zelo »strežniško osredotočen«, vendar je ta princip še danes zelo priljubljen. Pilot Command Center ni prodajal dolgo, vendar je ponudil številne koncepte, ki so prepoznavni v današnjih izdelkih OLAP, vključno s podporo za samodejno merjenje časa, večdimenzionalnim računalništvom odjemalec-strežnik in poenostavljenim nadzorom procesa analize (miška, občutljivi zasloni itd.). ). Nekateri od teh konceptov so bili pozneje ponovno uporabljeni v Pilot Analysis Server.

V poznih osemdesetih letih prejšnjega stoletja so na trgu orodij za analizo za končne uporabnike prevladovale preglednice. Prvo večdimenzionalno preglednico je uvedel izdelek Compete. Tržili so ga kot zelo drag izdelek za profesionalce, vendar prodajalci niso uspeli zagotoviti, da bi izdelek zajel trg, in Computer Associates je pridobil pravice do njega skupaj z drugimi izdelki, vključno s Supercalc in 20/20. Glavni učinek prevzema CA Compete je bilo močno znižanje cene in odprava zaščite pred kopiranjem, kar je seveda prispevalo k njegovi distribuciji. Vendar ni bil uspešen. Compete je v središču Supercalc 5, vendar njegov večdimenzionalni vidik ni promoviran. Stari Compete se še vedno včasih uporablja, saj je bilo včasih vanj vloženo veliko denarja.

Lotus je naslednji poskušal vstopiti na trg večdimenzionalnih preglednic z izdelkom Improv, ki deluje na napravi NeXT. To je vsaj zagotovilo, da prodaja 1-2-3 ne bo padla, a ko je bil končno izdan za Windows, je Excel že imel velik tržni delež, kar je Lotusu preprečilo kakršne koli spremembe tržne distribucije. Lotus je tako kot CA s Compete Improv pomaknil na dno trga, a to ni postalo pogoj za uspešno promocijo na trgu, novosti na tem področju pa se niso nadaljevale. Izkazalo se je, da imajo uporabniki osebnih računalnikov raje preglednice 1-2-3 in jih nove večdimenzionalne funkcije niso zanimale, razen če so bile popolnoma združljive z njihovimi starimi preglednicami. Podobno se koncepti majhnih namiznih preglednic, ki se ponujajo kot osebne aplikacije, niso izkazali za priročne in se niso prijeli v resničnem poslovnem svetu. Microsoft(r) je šel po tej poti z dodajanjem vrtilnih tabel v Excel. Čeprav je le malo uporabnikov Excela imelo koristi od uporabe te funkcije, je to verjetno edino dejstvo, da se zmožnosti multivariatne analize široko uporabljajo na svetu, preprosto zato, ker je na svetu toliko uporabnikov Excela.

4. OLAP, ROLAP, MOLAP ...

Dobro je znano, da so Codd, ko je leta 1985 objavil svoja pravila za izgradnjo relacijskih DBMS, povzročila močno reakcijo in posledično močno vplivala na industrijo DBMS na splošno. Vendar le malo ljudi ve, da je leta 1993 Codd objavil delo z naslovom "OLAP za analitične uporabnike: kaj bi moralo biti". V njem je orisal osnovne koncepte spletne analitične obdelave in opredelil 12 pravil, ki jih morajo izdelki izpolnjevati, da lahko zagotavljajo spletno analitično obdelavo.

Tukaj so pravila (izvirno besedilo se ohrani, kjer je to mogoče):

1. Konceptualna večdimenzionalna reprezentacija. Uporabnik analitik vidi podjetniški svet kot večdimenzionalen. V skladu s tem mora biti model OLAP v svoji osnovi večdimenzionalen. Večdimenzionalni konceptualni diagram ali predstavitev po meri olajša modeliranje in analizo ter izračune.

2. Preglednost. Ne glede na to, ali je izdelek OLAP del uporabniških orodij ali ne, mora biti to dejstvo uporabniku jasno. Če OLAP zagotavlja računalništvo odjemalec-strežnik, mora biti tudi to dejstvo, če je mogoče, uporabniku nevidno. OLAP bi moral biti zagotovljen v kontekstu resnično odprte arhitekture, ki uporabniku omogoča komunikacijo s strežnikom, kjer koli se nahaja, z uporabo analitičnega orodja. Poleg tega je treba doseči preglednost tudi, ko analitično orodje sodeluje s homogenimi in heterogenimi okolji baz podatkov.

3. Razpoložljivost. Uporabnik analitika OLAP mora biti sposoben izvajati analizo na podlagi skupne konceptualne sheme, ki vsebuje podatke celotnega podjetja v relacijski bazi podatkov, kot tudi podatke iz podedovanih podedovanih baz podatkov, na običajnih metodah dostopa in na skupnem analitičnem modelu. To pomeni, da mora OLAP zagotoviti lastno logiko za dostop v okolju heterogenih baz podatkov in izvesti ustrezne transformacije za predstavitev podatkov uporabniku. Poleg tega je treba vnaprej poskrbeti, kje in kako ter kakšne vrste fizične organizacije podatkov se bodo dejansko uporabljale. Sistem OLAP bi moral dostopati samo do podatkov, ki so resnično potrebni, in ne uporabljati splošno načelo»kuhinjski lijak«, ki potegne za seboj nepotreben vnos.

4. Dosledna produktivnost pri razvoju poročil. Če se število dimenzij ali velikost baze podatkov poveča, uporabnik analitika ne bi smel doživeti pomembnejšega poslabšanja zmogljivosti. Dosledno delovanje je ključnega pomena za ohranjanje enostavne uporabe za končnega uporabnika in omejevanje kompleksnosti OLAP. Če uporabnik analitika doživi znatne razlike v uspešnosti glede na število dimenzij, potem bo analitik poskušal nadomestiti te razlike z razvojno strategijo, ki bo povzročila, da bodo podatki predstavljeni na načine, ki niso takšni, kot jih dejansko potrebujejo. biti predstavljen. Izguba časa z obhodom sistema za kompenzacijo njegove neustreznosti ni namen analitičnih izdelkov.

5. Arhitektura odjemalec-strežnik. Večina podatkov, potrebnih za spletno analitiko, se danes nahaja v velikih računalnikih, do katerih dostopate prek osebnih računalnikov. To torej pomeni, da morajo izdelki OLAP delovati v okolju odjemalec-strežnik. S tega vidika je bistveno, da je strežniška komponenta analitičnega orodja v bistvu "pametna", da lahko različne stranke bi se lahko pridružil strežniku z minimalnimi težavami in integracijskim programiranjem. "Inteligentni" strežnik mora biti sposoben preslikati in konsolidirati neustrezne logične in fizične sheme baze podatkov. S tem bo zagotovljena preglednost in izgradnja skupne konceptualne, logične in fizične sheme.

6. Splošna večdimenzionalnost. Vsako dimenzijo je treba uporabiti ne glede na njeno strukturo in operativne zmogljivosti. Izbranim dimenzijam je mogoče dati dodatne operativne zmožnosti, in ker so dimenzije simetrične, je lahko kateri koli dimenziji dodeljena ena sama funkcija. Osnovne podatkovne strukture, formule in formati poročanja ne smejo biti pristranski glede na nobeno dimenzijo.

7. Dinamični nadzor redkih matrik. Fizična zasnova orodja OLAP mora biti popolnoma prilagodljiva specifičnemu analitičnemu modelu, da lahko optimalno upravlja redke matrice. Za vsako dano redko matriko obstaja ena in samo ena optimalna fizična shema. Ta shema zagotavlja maksimalno učinkovitost pomnilnika in operativnost matrike, razen če seveda celoten nabor podatkov ustreza pomnilniku. Za praktične operacije z velikimi analitičnimi modeli morajo biti temeljni fizični podatki orodja OLAP konfigurirani na katero koli podmnožico dimenzij v poljubnem vrstnem redu. Metode fizičnega dostopa se morajo tudi dinamično spreminjati in vsebovati različne vrste mehanizmov, kot so: neposredni izračuni, B-drevesa in izpeljanke, zgoščevanje, možnost kombiniranja teh mehanizmov, če je potrebno. Redkost (merjena kot odstotek praznih celic glede na vse možne) je ena od značilnosti širjenja podatkov. Zaradi nezmožnosti nadzora redkosti je lahko učinkovitost delovanja nedosegljiva. Če orodje OLAP ne more nadzirati in regulirati porazdelitve vrednosti analiziranih podatkov, je model, ki trdi, da je praktičen in temelji na številnih konsolidacijskih poteh in dimenzijah, morda dejansko nepotreben in brezupen.

8. Podpora za več uporabnikov. Pogosto bo moralo več uporabnikov analitikov delati skupaj na istem analitičnem modelu ali ustvariti različne modele iz istih podatkov. Zato mora orodje OLAP zagotavljati skupno rabo (poizvedovanje in dodajanje), celovitost in varnostne zmogljivosti.

9. Neomejeno navzkrižno delovanje. Različne ravni zbiranja in konsolidacijske poti zaradi svoje hierarhične narave predstavljajo odvisna razmerja v modelu ali aplikaciji OLAP. Zato bi moralo samo orodje vključevati ustrezne izračune in ne zahtevati od uporabnika analitika, da na novo definira te izračune in operacije. Izračune, ki ne izhajajo iz teh podedovanih odnosov, je treba opredeliti z različnimi formulami v skladu z nekim veljavnim jezikom. Tak jezik lahko omogoča izračune in manipulacijo s podatki poljubnih dimenzij in ne omejuje razmerja med podatkovnimi celicami, ne posveča pozornosti številu skupnih podatkovnih atributov določenih celic.

10. Intuitivno ravnanje s podatki. Preusmeritev konsolidacijskih poti, podrobnosti, povečave in druge manipulacije, ki jih urejajo konsolidacijske poti, je treba uporabiti z ločenim dejanjem na celicah analitičnega modela in ne smejo zahtevati uporabe menijskega sistema ali drugih več dejanj z Uporabniški vmesnik. Uporabniški pogled analitika na dimenzije, definirane v analitičnem modelu, mora vsebovati vse potrebne informacije za izvedbo zgornjih dejanj.

11. Prilagodljive možnosti poročanja. Analiza in predstavitev podatkov je enostavna, ko bodo vrstice, stolpci in celice podatkov, ki jih bomo med seboj vizualno primerjali, blizu druga drugi ali po neki logični funkciji, ki poteka v podjetju. Orodja za poročanje morajo predstavljati sintetizirane podatke ali informacije, ki izhajajo iz podatkovnega modela v kateri koli možni orientaciji. To pomeni, da morajo vrstice, stolpci ali strani hkrati prikazati od 0 do N dimenzij, kjer je N število dimenzij celotnega analitičnega modela. Poleg tega mora imeti vsaka dimenzija vsebine, prikazana v posameznem zapisu, stolpcu ali strani, možnost prikaza katere koli podmnožice elementov (vrednosti), ki jih vsebuje dimenzija, v poljubnem vrstnem redu.

12. Neomejena dimenzija in število ravni združevanja. Študija o možnem številu potrebnih meritev, potrebnih v analitičnem modelu, je pokazala, da je mogoče uporabiti do 19 meritev hkrati. Zato je močno priporočljivo, da lahko analitično orodje zagotavlja vsaj 15 dimenzij hkrati in po možnosti 20. Poleg tega vsaka od skupnih dimenzij ne sme biti omejena s številom ravni združevanja in konsolidacijskih poti, ki jih določi uporabnik analitika.

Pravzaprav razvijalci izdelkov OLAP danes sledijo tem pravilom ali si jih vsaj prizadevajo slediti. Ta pravila lahko štejemo za teoretično osnovo operativne analitične obdelave, z njimi je težko oporekati. Kasneje so iz 12 pravil izpeljali številne posledice, ki pa jih ne bomo podali, da ne bi po nepotrebnem zapletali zgodbe.

Oglejmo si podrobneje, kako se izdelki OLAP razlikujejo glede na fizično izvedbo.

Kot je navedeno zgoraj, OLAP temelji na ideji obdelave podatkov o večdimenzionalnih strukturah. Ko rečemo OLAP, mislimo, da je logično podatkovna struktura analitičnega izdelka večdimenzionalna. Druga stvar je, kako se izvaja. Obstajata dve glavni vrsti analitične obdelave, ki vključujeta določene izdelke.

MOLAP . Pravzaprav večdimenzionalni (večdimenzionalni) OLAP. Izdelek temelji na nerelacijski podatkovni strukturi, ki omogoča večdimenzionalno shranjevanje, obdelavo in predstavitev podatkov. V skladu s tem se baze podatkov imenujejo tudi večdimenzionalne. Izdelki v tem razredu imajo običajno večdimenzionalni strežnik baze podatkov. Podatki v procesu analize so izbrani izključno iz večdimenzionalne strukture. Takšna struktura je zelo produktivna.

ROLAP . Relacijski OLAP. Kot že ime pove, je večdimenzionalna struktura v takih orodjih implementirana z relacijskimi tabelami. In podatke v procesu analize izbere analitično orodje iz relacijske baze podatkov.

Slabosti in prednosti vsakega pristopa so na splošno očitne. Večdimenzionalni OLAP zagotavlja boljše delovanje, vendar struktur ni mogoče uporabiti za obdelavo velikih količin podatkov, saj bo velika dimenzija zahtevala velike strojne vire, hkrati pa je lahko redkost hiperkock zelo velika in zato uporaba zmogljivosti strojne opreme ne bo upravičeno. Ravno nasprotno, relacijski OLAP omogoča obdelavo na velikih nizih shranjenih podatkov, saj je mogoče zagotoviti bolj ekonomično shranjevanje, vendar hkrati bistveno izgubi v hitrosti večdimenzionalnega OLAP-a. Takšno razmišljanje je vodilo k izbiri novega razreda analitičnih orodij - HOLAP. Gre za hibridno (hibridno) operativno analitično obdelavo. Orodja tega razreda vam omogočajo kombiniranje obeh pristopov - relacijskega in večdimenzionalnega. Dostop je mogoč tako do podatkov večdimenzionalnih baz podatkov kot do relacijskih podatkov.

Obstaja še ena precej eksotična vrsta spletne analitične obdelave - DOLAP. To je "namizni" OLAP. Govorimo o takšni analitični obdelavi, kjer so hiperkocke majhne, ​​njihove dimenzije majhne, ​​potrebe skromne, za tako analitično obdelavo pa zadostuje osebni računalnik na namizju.

Operativno analitična obdelava lahko bistveno poenostavi in ​​pospeši proces priprave in odločanja vodstvenega osebja. Spletna analitična obdelava je namenjena spreminjanju podatkov v informacije. Bistveno se razlikuje od tradicionalnega procesa podpore odločanju, ki najpogosteje temelji na obravnavi strukturiranih poročil. Po analogiji je razlika med strukturiranimi poročili in OLAP enaka kot med vožnjo po mestu s tramvajem in avtomobilom. Ko se vozite s tramvajem, se premika po tirnicah, zaradi česar je težko videti oddaljene zgradbe, še manj pa se jim približati. Nasprotno, vožnja z osebnim avtomobilom daje popolno svobodo gibanja (seveda je treba upoštevati prometna pravila). Lahko se pripeljete do katere koli stavbe in pridete do krajev, kjer tramvaji ne vozijo.

Strukturirana poročila so tirnice, ki ovirajo svobodo odločanja. OLAP je avto za učinkovito premikanje po informacijskih avtocestah.

Spletna analitična obdelava ali OLAP je učinkovita tehnologija obdelave podatkov, ki daje povzetek informacij na podlagi ogromnih nizov vseh vrst podatkov. Je zmogljiv izdelek, ki vam pomaga dostopati do informacij v računalniku, jih ekstrahirati in si jih ogledati ter jih analizirati iz različnih perspektiv.

OLAP je orodje, ki zagotavlja strateško pozicijo za dolgoročno načrtovanje in upošteva temeljne informacije operativnih podatkov za obdobje 5, 10 ali več let. Podatki so shranjeni v bazi z dimenzijo, ki je njihov atribut. Uporabniki si lahko ogledajo isti niz podatkov z različnimi atributi, odvisno od namena analize.

Zgodovina OLAP

OLAP ni nov koncept in se uporablja že desetletja. Pravzaprav se začetki tehnologije izsledijo v daljnem letu 1962. Toda izraz je šele leta 1993 skoval avtor baze podatkov Ted Codd, ki je tudi določil 12 pravil za izdelek. Kot pri mnogih drugih aplikacijah je koncept šel skozi več stopenj evolucije.

Zgodovina same tehnologije OLAP sega v leto 1970, ko so bili izdani informacijski viri Express in prvi strežnik Olap. Oracle jih je kupil leta 1995 in nato so postali osnova za spletno analitično obdelavo večdimenzionalnega računalniškega mehanizma, ki ga je znana računalniška znamka zagotovila v svoji bazi podatkov. Leta 1992 je Arbor Software (ki ga je Oracle kupil leta 2007) izdal še en znan izdelek za spletno analitično obdelavo, Essbase.

Leta 1998 je Microsoft izdal MS Analysis Services, spletni strežnik za analitično obdelavo podatkov. To je prispevalo k priljubljenosti tehnologije in spodbudilo razvoj drugih izdelkov. Danes obstaja več svetovno priznanih prodajalcev, ki ponujajo aplikacije Olap, vključno z IBM, SAS, SAP, Essbase, Microsoft, Oracle, IcCube.

Spletna analitična obdelava

OLAP je orodje, ki vam omogoča sprejemanje odločitev o načrtovanih dogodkih. Netipičen izračun Olap je lahko bolj zapleten kot samo združevanje podatkov. Analitične zahteve na minuto (AQM) se uporabljajo kot standardno merilo uspešnosti za primerjavo delovanja različnih instrumentov. Ti sistemi bi morali uporabnike čim bolj skriti pred zapleteno sintakso poizvedb in zagotoviti dosledne odzivne čase za vse (ne glede na to, kako zapleteni so).

Obstajajo naslednje glavne značilnosti OLAP:

1. Večdimenzionalne predstavitve podatkov.
2. Podpora za kompleksne izračune.
3. Začasna inteligenca.

Večdimenzionalni pogled zagotavlja osnovo za analitično obdelavo s prilagodljivim dostopom do podatkov podjetja. Uporabnikom omogoča analizo podatkov v kateri koli dimenziji in na kateri koli ravni združevanja.

Podpora za kompleksne izračune je hrbtenica programske opreme OLAP.

Časovna inteligenca se uporablja za oceno učinkovitosti katerega koli analitična aplikacija v določenem časovnem obdobju. Na primer ta mesec v primerjavi s prejšnjim mesecem, ta mesec v primerjavi z istim mesecem lani.

Večdimenzionalna struktura podatkov

Ena glavnih značilnosti spletne analitične obdelave je večdimenzionalna struktura podatkov. Kocka ima lahko več dimenzij. Zahvaljujoč temu modelu je celoten proces inteligentne analize OLAP preprost za menedžerje in vodilne, saj so predmeti, predstavljeni v celicah, poslovni objekti iz resničnega sveta. Poleg tega ta podatkovni model uporabnikom omogoča obdelavo ne samo strukturiranih nizov, ampak tudi nestrukturiranih in polstrukturiranih. Zaradi vsega tega so še posebej priljubljeni za analizo podatkov in BI aplikacije.

Glavne značilnosti sistemov OLAP:

1. Uporabite večdimenzionalne metode analize podatkov.
2. Zagotovite razširjeno podporo za bazo podatkov.
3. Ustvarite vmesnike za končne uporabnike, ki so enostavni za uporabo.
4. Podpira arhitekturo odjemalec/strežnik.

Ena od glavnih komponent konceptov OLAP je strežnik na strani odjemalca. Poleg združevanja in predobdelavo podatkov iz relacijske baze podatkov, ponuja napredne možnosti izračuna in beleženja, dodatne funkcije, osnovne zmožnosti naprednega poizvedovanja in druge funkcije.

Odvisno od vzorčne aplikacije, ki jo izbere uporabnik, so na voljo različni podatkovni modeli in orodja, vključno z opozarjanjem v realnem času, funkcijo za uporabo scenarijev kaj če, optimizacijo in sofisticiranimi poročili OLAP.

kubična oblika

Koncept temelji na kubični obliki. Postavitev podatkov v njem kaže, kako se OLAP drži načela večdimenzionalne analize, kar ima za posledico strukturo podatkov, zasnovano za hitro in učinkovito analizo.

Kocka OLAP se imenuje tudi "hiperkocka". Opisano je, da je sestavljeno iz numeričnih dejstev (mer), razvrščenih v vidike (dimenzije). Dimenzije se nanašajo na atribute, ki definirajo poslovni problem. Preprosto povedano, dimenzija je oznaka, ki opisuje mero. Na primer, v poročilih o prodaji bi bila mera obseg prodaje, dimenzije pa bi vključevale obdobje prodaje, prodajalce, izdelek ali storitev in prodajno regijo. Pri poročanju o proizvodnih operacijah so lahko merilo celotni proizvodni stroški in enote proizvodnje. Dimenzije bodo datum ali čas proizvodnje, stopnja proizvodnje ali faza, celo delavci, vključeni v proizvodni proces.

Podatkovna kocka OLAP je temelj sistema. Podatki v kocki so organizirani v obliki zvezde ali snežinke. Na sredini je tabela dejstev, ki vsebuje agregate (mere). Povezan je z nizom dimenzijskih tabel, ki vsebujejo informacije o merah. Razsežnosti opisujejo, kako je mogoče te mere analizirati. Če kocka vsebuje več kot tri dimenzije, jo pogosto imenujemo hiperkocka.

Ena od glavnih lastnosti kocke je njena statičnost, kar pomeni, da kocke po oblikovanju ni več mogoče spremeniti. Zato je postopek gradnje kocke in nastavitev podatkovnega modela kritičen korak k pravilni obdelavi podatkov v arhitekturi OLAP.

Združevanje podatkov

Uporaba združevanj je glavni razlog, zakaj se poizvedbe v orodjih OLAP obdelujejo veliko hitreje (v primerjavi z OLTP). Združevanja so povzetki podatkov, ki so bili vnaprej izračunani v času njihove obdelave. Vsi člani, shranjeni v dimenzijskih tabelah OLAP, določajo poizvedbe, ki jih lahko prejme kocka.

V kocki so kopičenje informacij shranjene v celicah, katerih koordinate so določene z določenimi velikostmi. Število združevanj, ki jih lahko vsebuje kocka, je odvisno od vseh možnih kombinacij članov dimenzije. Zato lahko tipična kocka v aplikaciji vsebuje izjemno veliko število združevanj. Predizračun bo izveden samo za ključne agregate, ki so porazdeljeni po celotni analitični kocki spletne analitike. To bo močno skrajšalo čas, potreben za definiranje morebitnih združevanj pri izvajanju poizvedbe v podatkovnem modelu.

Obstajata tudi dve možnosti, povezani z združevanjem, ki ju lahko uporabite za izboljšanje zmogljivosti dokončane kocke: ustvarite združevanje predpomnilnika zmogljivosti in uporabite združevanje na podlagi analize uporabniške poizvedbe.

Načelo delovanja

Običajno je analizo operativnih informacij, pridobljenih iz transakcij, mogoče izvesti z uporabo preproste preglednice (vrednosti podatkov so predstavljene v vrsticah in stolpcih). To je dobro glede na dvodimenzionalno naravo podatkov. V primeru OLAP obstajajo razlike, ki so povezane z večdimenzionalnim nizom podatkov. Ker so pogosto pridobljeni iz različnih virov, jih preglednica ne more vedno učinkovito obdelati.

Kocka rešuje to težavo in tudi ohranja logično in urejeno delovanje podatkovnega skladišča OLAP. Podjetje zbira podatke iz številnih virov in so predstavljeni v različnih formatih, kot npr besedilne datoteke, multimedijske datoteke, Excelove preglednice, baze podatkov Dostop do podatkov in celo baze podatkov OLTP.

Vsi podatki se zbirajo v shrambi, ki se polni neposredno iz virov. V njem bodo neobdelane informacije, prejete iz OLTP in drugih virov, očiščene morebitnih napačnih, nepopolnih in nedoslednih transakcij.

Po čiščenju in transformaciji bodo informacije shranjene v relacijski bazi podatkov. Nato bo naložen na večdimenzionalni strežnik OLAP (ali kocko Olap) za analizo. Končni uporabniki, odgovorni za poslovne aplikacije, podatkovno rudarjenje in druge poslovne operacije, bodo imeli dostop do informacij, ki jih potrebujejo iz kocke Olap.

Prednosti matričnega modela

OLAP je orodje, ki zagotavlja hitro izvedbo poizvedb, kar je doseženo z optimiziranim shranjevanjem, večdimenzionalnim indeksiranjem in predpomnjenjem, ki so med pomembnimi prednostmi sistema. Poleg tega so prednosti:

1. Manjša velikost podatkov na disku.
2. Avtomatsko izračunavanje agregatov višje ravni podatkov.
3. Matrični modeli zagotavljajo naravno indeksiranje.
4. Učinkovito pridobivanje podatkov je doseženo s predhodnim strukturiranjem.
5. Kompaktnost za nizkodimenzionalne nize podatkov.

Slabosti OLAP vključujejo dejstvo, da so lahko nekatere odločitve (korak obdelave) precej dolge, zlasti pri velikih količinah informacij. To se običajno popravi tako, da se izvede le inkrementalna obdelava (pregled podatkov, ki so se spremenili).

Osnovne analitične operacije

Konvolucija(roll-up/drill-up) je znan tudi kot "konsolidacija". Zlaganje vključuje zbiranje vseh podatkov, ki jih je mogoče pridobiti, in izračun vseh v eni ali več dimenzijah. Najpogosteje je za to morda potrebna uporaba matematične formule. Kot primer OLAP razmislite o maloprodajni verigi s prodajnimi mesti v različnih mestih. Da bi prepoznali vzorce in predvideli prihodnje prodajne trende, se z vseh lokacij združijo v glavni prodajni oddelek podjetja za konsolidacijo in izračun.

Razkritje(zvrtaj dol). To je nasprotje zlaganja. Postopek se začne z velikim naborom podatkov in ga nato razdeli na manjše dele, kar uporabnikom omogoči ogled podrobnosti. V primeru maloprodajne verige bi analitik analiziral podatke o prodaji in si ogledal posamezne blagovne znamke ali izdelke, ki veljajo za najbolje prodajane v vsakem od prodajnih mest v različnih mestih.

prečni prerez(Razrez in kocke). To je proces, pri katerem analitične operacije vključujejo dve dejanji: ekstrahiranje določenega nabora podatkov iz kocke OLAP (videk "rezanja" analize) in ogled z različnih zornih kotov. To se lahko zgodi, ko so vsi podatki o izhodu prejeti in vneseni v hiperkocko. Analitik iz kocke OLAP izreže nabor podatkov, povezanih s prodajo. Pregledali ga bomo naknadno ob analizi prodaje posameznih enot v posamezni regiji. Ostali uporabniki se lahko v tem času posvetijo oceni stroškovne učinkovitosti prodaje ali oceni učinkovitosti marketinške in oglaševalske akcije.

Obrat(Vrtišče). Zasuka podatkovne osi, da zagotovi nadomestno predstavitev informacij.

Različice baze podatkov

V bistvu je to tipična kocka OLAP, ki implementira večdimenzionalno podatkovno analitiko s kocko OLAP ali katero koli podatkovno kocko, tako da lahko analitični proces po potrebi doda dimenzije. Vse informacije, naložene v večdimenzionalno zbirko podatkov, bodo shranjene ali arhivirane in jih je mogoče po potrebi priklicati.

Obstajajo manj znani sistemi ali tehnologije OLAP, vendar so ti glavni, ki jih trenutno uporabljajo velike korporacije, podjetja in celo vlada.

orodja OLAP

Spletna orodja za analitično obdelavo so na spletu zelo dobro zastopana tako v plačljivi kot v brezplačni različici.

Najbolj priljubljeni med njimi:

1. Dundas BI podjetja Dundas Data Visualization je platforma za poslovno obveščanje in vizualizacijo podatkov, ki temelji na brskalniku in vključuje integrirane nadzorne plošče, orodja za poročanje OLAP in analitiko podatkov.
2. Yellowfin je platforma poslovne inteligence, ki je enotna integrirana rešitev, zasnovana za podjetja različnih panog in velikosti. Ta sistem je prilagodljiv za podjetja s področja računovodstva, oglaševanja, kmetijstva.
3. ClicData je rešitev poslovne inteligence (BI), zasnovana predvsem za mala in srednje velika podjetja. Orodje končnim uporabnikom omogoča ustvarjanje poročil in nadzornih plošč. Board je bil ustvarjen za združevanje poslovne inteligence, upravljanja uspešnosti podjetja in je sistem s polnimi funkcijami, ki služi srednje velikim in ravni podjetja.
4. Domo je paket za poslovno upravljanje v oblaku, ki se integrira z več viri podatkov, vključno s preglednicami, bazami podatkov, socialna omrežja in kateri koli obstoječi oblak ali lokalno programska rešitev.
5. InetSoft Style Intelligence je programska platforma za poslovno analitiko, ki uporabnikom omogoča ustvarjanje nadzornih plošč, tehnologije vizualne analize OLAP in poročil z uporabo mešanega mehanizma.
6. Birst iz podjetja Infor je spletna rešitev za poslovno obveščanje in analizo, ki povezuje vpoglede med ekipami in vam pomaga sprejemati odločitve na podlagi informacij. Orodje omogoča decentraliziranim uporabnikom, da razširijo model poslovne ekipe.
7. Halo je celovit sistem za upravljanje dobavne verige in poslovne inteligence, ki pomaga pri poslovnem načrtovanju in napovedovanju zalog za upravljanje dobavne verige. Sistem uporablja podatke iz vseh virov – velikih, majhnih in srednjih.
8. Chartio je rešitev za poslovno analitiko v oblaku, ki ustanoviteljem, poslovnim skupinam, podatkovnim analitikom in skupinam izdelkov ponuja orodja za organizacijo njihovega vsakodnevnega dela.
9. Exago BI je spletna rešitev, zasnovana za vgradnjo v spletne aplikacije. Implementacija Exago BI omogoča podjetjem vseh velikosti, da svojim strankam zagotovijo ad hoc, sprotno in interaktivno poročanje.

Poslovni vpliv

Uporabnik bo našel OLAP v večini poslovnih aplikacij v panogah. Analizo ne uporabljajo samo podjetja, ampak tudi druge zainteresirane strani.

Nekatere njegove najpogostejše uporabe vključujejo:

1. Tržna analiza podatkov OLAP.
2. Finančno poročanje, ki zajema prodajo in stroške, pripravo proračuna in finančno načrtovanje.
3. Upravljanje poslovnih procesov.
4. Analiza prodaje.
5. Trženje podatkovnih baz.

Industrije še naprej rastejo, kar pomeni, da bodo uporabniki kmalu videli več aplikacij OLAP. Večvariatna prilagojena obdelava zagotavlja bolj dinamično analizo. Zaradi tega se ti sistemi in tehnologije OLAP uporabljajo za ocenjevanje možnih in alternativnih poslovnih scenarijev.

Koncept tehnologije OLAP je oblikoval Edgar Codd leta 1993.

Ta tehnologija temelji na konstrukciji večdimenzionalnih nizov podatkov - tako imenovanih OLAP kock (ne nujno tridimenzionalnih, kot bi lahko sklepali iz definicije). Namen uporabe tehnologij OLAP je analizirati podatke in jih predstaviti v obliki, ki je primerna za zaznavanje vodstvenega osebja in sprejemanje odločitev na njihovi podlagi.

Osnovne zahteve za aplikacije za multivariatno analizo:

• - zagotavljanje rezultatov analize uporabniku v razumnem času (ne več kot 5 s.);
• - večuporabniški dostop do podatkov;
• - večdimenzionalni prikaz podatkov;
• - možnost dostopa do katere koli informacije, ne glede na lokacijo in obseg shranjevanja.

Sistemska orodja OLAP omogočajo razvrščanje in izbiranje podatkov po danih pogojih. Postavimo lahko različne kvalitativne in kvantitativne pogoje.

Glavni podatkovni model, ki se uporablja v številnih orodjih za ustvarjanje in vzdrževanje baz podatkov – DBMS, je relacijski model. Podatki v njej so predstavljeni v obliki niza dvodimenzionalnih tabel-relacij, ki jih povezujejo ključna polja. Za odpravo podvajanja, nedoslednosti in zmanjšanje stroškov dela za vzdrževanje baz podatkov se uporablja formalni aparat za normalizacijo tabel entitet. Vendar je njegova uporaba povezana z dodatnim časom, porabljenim za generiranje odgovorov na poizvedbe v baze podatkov, čeprav so prihranjeni pomnilniški viri.

Večdimenzionalni podatkovni model predstavlja preučevani predmet v obliki večdimenzionalne kocke, pogosteje se uporablja tridimenzionalni model. Vzdolž osi ali ploskev kocke so narisane mere ali atributi atributov. Osnovne podrobnosti so polnilo celic kocke. Večdimenzionalno kocko lahko predstavljamo s kombinacijo tridimenzionalnih kock za lažjo percepcijo in predstavitev pri generiranju poročevalno-analitičnih dokumentov in multimedijskih predstavitev na podlagi materialov analitičnega dela v sistemu za podporo odločanju.

V okviru tehnologij OLAP, ki temeljijo na dejstvu, da je večdimenzionalno predstavitev podatkov mogoče organizirati tako s pomočjo relacijskih DBMS-jev kot večdimenzionalnih specializiranih orodij, obstajajo tri vrste večdimenzionalnih sistemov OLAP:

• - večdimenzionalni (Multidimensional) OLAP-MOLAP;
• - relacijska (relacija) OLAP-ROLAP;
• - mešani ali hibridni (Hybrid) OLAP-HOLAP.

V večdimenzionalnem DBMS podatki niso organizirani v obliki relacijskih tabel, temveč v obliki urejenih večdimenzionalnih nizov v obliki hiperkock, pri čemer morajo imeti vsi shranjeni podatki enako dimenzijo, kar pomeni potrebo po oblikovanju čim popolnejše osnove meritve. Podatki so lahko organizirani v obliki polikock, pri tej možnosti so vrednosti vsakega indikatorja shranjene s svojim naborom meritev, obdelavo podatkov izvaja lastno orodje sistema. Struktura shranjevanja je v tem primeru poenostavljena, ker ni potrebe po coni za shranjevanje podatkov v večdimenzionalni ali objektno usmerjeni obliki. Zmanjšajo se ogromni stroški dela za ustvarjanje modelov in sistemov za pretvorbo podatkov iz relacijskega modela v objektnega.

Prednosti MOLAP so:

• - hitrejši odziv na zahteve kot pri ROLAP - porabljeni čas je za en ali dva reda velikosti manjši;
• - zaradi omejitev SQL je implementacija številnih vgrajenih funkcij težavna.

Omejitve MOLAP vključujejo:

• - relativno majhna velikost baz podatkov;
• - zaradi denormalizacije in predhodnega združevanja večdimenzionalni nizi porabijo 2,5-100-krat več pomnilnika kot izvirni podatki (poraba pomnilnika eksponentno raste z večanjem števila dimenzij);
• - ni standardov za vmesnik in orodja za obdelavo podatkov;
• - Obstajajo omejitve pri nalaganju podatkov.

Napor, potreben za ustvarjanje večdimenzionalnih podatkov, se drastično poveča v tej situaciji praktično ni posebnih sredstev za objektivizacijo relacijskega modela podatkov, ki jih vsebuje informacijsko skladišče. Odzivni čas na poizvedbe pogosto ne more izpolniti zahtev za sisteme OLAP.

Prednosti ROLAP sistemov so:

• - možnost hitre analize podatkov, ki so neposredno v pomnilniku, ker večina izvorne baze podatkovni - relacijski tip;
• - pri variabilni dimenziji problema zmaga RO-LAP, ker fizična reorganizacija baze podatkov ni potrebna;
• - sistemi ROLAP lahko uporabljajo manj zmogljive odjemalske postaje in strežnike, strežniki pa nosijo glavno breme obdelave kompleksnih SQL poizvedb;
• - stopnja zaščite informacij in diferenciacija pravic dostopa v relacijskih DBMS je neprimerljivo višja kot v večdimenzionalnih.

Pomanjkljivost sistemov ROLAP je nižja zmogljivost, potreba po natančnem preučevanju shem baz podatkov, posebni nastavitvi indeksov, analizi statistike poizvedb in upoštevanju zaključkov analize pri spreminjanju shem baz podatkov, kar vodi do znatnih dodatnih stroškov dela.

Izpolnjevanje teh pogojev omogoča, da pri uporabi sistemov ROLAP dosežemo kazalnike, podobne sistemom MOLAP, kar zadeva čas dostopa, pa tudi presežemo prihranke pri pomnilniku.

Hibridni sistemi OLAP so kombinacija orodij, ki izvajajo relacijski in večdimenzionalni podatkovni model. To vam omogoča drastično zmanjšanje stroškov virov za ustvarjanje in vzdrževanje takšnega modela, odzivni čas na zahteve.

Ta pristop izkorišča prednosti prvih dveh pristopov in kompenzira njune pomanjkljivosti. V najbolj razvitih programski izdelki za tak namen se to načelo uresničuje.

Uporaba hibridne arhitekture v sistemih OLAP je najbolj sprejemljiv način reševanja težav, povezanih z uporabo programskih orodij v večdimenzionalni analizi.

Način zaznavanja vzorcev temelji na inteligentni obdelavi podatkov. Glavna naloga pri tem je prepoznavanje vzorcev v proučevanih procesih, razmerij in medsebojnega vpliva različnih dejavnikov, iskanje velikih "nenavadnih" odstopanj in napoved poteka različnih pomembnih procesov. To področje spada v podatkovno rudarjenje.

OLAP (OnLine Analytical Processing) ni ime določenega izdelka, temveč celotne tehnologije spletne analitične obdelave, ki vključuje analizo podatkov in poročanje. Uporabniku je na voljo večdimenzionalna tabela, ki samodejno povzema podatke v različnih razdelkih in omogoča hitro upravljanje z izračuni in obliko poročila.

Čeprav v nekaterih publikacijah analitično obdelavo imenujemo tako spletna kot interaktivna, pridevnik »spletna« najbolj natančno odraža pomen tehnologije OLAP. Razvoj menedžerskih upravljavskih odločitev sodi v kategorijo področij, ki so najbolj lažno podvržena avtomatizaciji. Vendar pa danes obstaja možnost pomagati vodji pri razvoju odločitev in, kar je najpomembneje, bistveno pospešiti proces oblikovanja odločitev, njihove izbire in sprejemanja.

Sistemi za podporo odločanju imajo običajno sredstva, da uporabniku zagotovijo zbirne podatke za različne vzorce iz začetnega nabora v obliki, primerni za zaznavanje in analizo. Takšne agregatne funkcije praviloma tvorijo večdimenzionalni nabor podatkov, pogosto imenovan hiperkocka ali metakocka, katere osi vsebujejo parametre, celice pa od njih odvisne agregatne podatke – in taki podatki so lahko shranjeni tudi v relacijskih tabelah, vendar v tej V tem primeru govorimo o logični organizaciji podatkov in ne o fizični izvedbi njihovega shranjevanja.

Vzdolž vsake osi je mogoče podatke organizirati v hierarhijo, ki predstavlja različne ravni podrobnosti.

Glede na dimenzije v večdimenzionalnem modelu so dejavniki, ki vplivajo na dejavnosti podjetja, postavljeni na stran (na primer: čas, proizvodi, podružnice podjetja itd.). Nastala kocka OLAP se nato napolni z indikatorji dejavnosti podjetja (cene, prodaja, načrt, dobiček, denarni tok itd.). Upoštevati je treba, da za razliko od geometrijske kocke ni treba, da so ploskve kocke OLAP enake velikosti. To polnjenje je mogoče izvesti tako z resničnimi podatki operativnih sistemov kot predvideno na podlagi zgodovinskih podatkov. Dimenzije hiperkocke so lahko kompleksne, hierarhične in med njimi je mogoče vzpostaviti odnose. Med analizo lahko uporabnik spremeni zorni kot na podatke (t.i. operacija spreminjanja logičnega pogleda), s čimer si podatke ogleduje v različnih razdelkih in rešuje določene probleme. Na kockah je mogoče izvajati različne operacije, vključno z napovedovanjem in pogojnim razporejanjem (analiza kaj če).

Zahvaljujoč temu podatkovnemu modelu lahko uporabniki oblikujejo kompleksne poizvedbe, ustvarjajo poročila in prejemajo podnabore podatkov. Operativno analitična obdelava lahko bistveno poenostavi in ​​pospeši proces priprave in odločanja vodstvenega osebja. Spletna analitična obdelava je namenjena spreminjanju podatkov v informacije. Bistveno se razlikuje od tradicionalnega procesa podpore odločanju, ki najpogosteje temelji na obravnavi strukturiranih poročil.

Tehnologija OLAP se nanaša na vrsto intelektualne analize in vključuje 12 načel:

1. Konceptualna večdimenzionalna predstavitev. Uporabnik analitik vidi svet podjetja kot večdimenzionalen po naravi in ​​model OLAP mora biti večdimenzionalen v svojem bistvu.

2. Preglednost. Arhitektura sistema OLAP naj bo odprta, tako da uporabniku omogoča komunikacijo s strežnikom, kjer koli se nahaja, s pomočjo analitičnega orodja – odjemalca.

3. Razpoložljivost. Uporabnik analitika OLAP mora biti sposoben izvajati analizo na podlagi skupne konceptualne sheme, ki vsebuje podatke celotnega podjetja v relacijski bazi podatkov, kot tudi podatke iz podedovanih podedovanih baz podatkov, na običajnih metodah dostopa in na skupnem analitičnem modelu. Sistem OLAP mora dostopati le do podatkov, ki so dejansko potrebni, in ne sme uporabljati splošnega načela "kuhinjskega lijaka", ki vključuje nepotrebne vnose.

4. Dosledna uspešnost pri razvoju poročil. S povečanjem števila dimenzij ali velikosti baze podatkov uporabnik analitika ne bi smel občutiti znatnega zmanjšanja zmogljivosti.

5. Arhitektura odjemalec-strežnik. Večina podatkov, ki jih je danes potrebno online analitično obdelati, je shranjenih na velikih računalnikih z dostopom do uporabniških delovnih postaj prek LAN-a. To pomeni, da morajo izdelki OLAP delovati v okolju odjemalec-strežnik.

6. Splošna večdimenzionalnost. Vsako dimenzijo je treba uporabiti ne glede na njeno strukturo in operativne zmogljivosti. Osnovne podatkovne strukture, formule in formati poročanja ne smejo biti pristranski glede na eno dimenzijo.

7. Dinamično upravljanje redkih matrik. Fizična zasnova orodja OLAP mora biti popolnoma prilagodljiva specifičnemu analitičnemu modelu, da lahko optimalno upravlja redke matrice. Redkost (merjena kot odstotek praznih celic glede na vse možne) je ena od značilnosti širjenja podatkov.

8. Podpora za več uporabnikov. Orodje OLAP mora zagotavljati zmožnost skupne rabe poizvedb in razširitev več uporabnikov analitikov, hkrati pa ohranjati celovitost in varnost.

9. Neomejeno navzkrižno delovanje. Različne operacije lahko zaradi svoje hierarhične narave predstavljajo odvisna razmerja v modelu OLAP, torej so navzkrižno funkcionalne. Njihova izvedba ne bi smela zahtevati od uporabnika analitika, da na novo definira te izračune in operacije.

10. Intuitivna manipulacija podatkov. Pogled uporabnika analitika na dimenzije, definirane v analitičnem modelu, mora vsebovati vse potrebne informacije za izvajanje dejanj na modelu OLAP, tj. ne bi smeli zahtevati uporabe menijskega sistema ali drugih operacij več uporabniških vmesnikov.

11. Prilagodljive možnosti poročanja. Orodja za poročanje morajo biti sintetizirani podatki ali informacije, ki izhajajo iz podatkovnega modela v kateri koli možni orientaciji. To pomeni, da morajo vrstice, stolpci ali strani poročila prikazati več dimenzij modela OLAP hkrati, z možnostjo prikaza katere koli podnabora elementov (vrednosti), ki jih vsebuje dimenzija, in v poljubnem vrstnem redu.

12. Neomejena dimenzija in število stopenj združevanja. Študija o možnem številu potrebnih meritev, potrebnih v analitičnem modelu, je pokazala, da lahko uporabnik analitika uporablja do 19 meritev hkrati. To vodi do priporočila o številu dimenzij, ki jih podpira sistem OLAP. Poleg tega vsaka od skupnih dimenzij ne bi smela biti omejena s številom ravni združevanja, ki jih določi uporabnik-analitik.

Kot specializirane sisteme OLAP, ki so trenutno na voljo na trgu, lahko določite CalliGraph, Business Intelligence.

Za reševanje preprostih nalog analize podatkov je mogoče uporabiti proračunsko rešitev - pisarniške aplikacije Excel in Access Microsoft, ki vsebujejo elementarna orodja tehnologije OLAP, ki omogočajo izdelavo vrtilnih tabel in na njihovi podlagi sestavljanje različnih poročil.

OLAP(iz angleškega OnLine Analytical Processing - spletna analitična obdelava podatkov, tudi: analitična obdelava podatkov v realnem času, interaktivna analitična obdelava podatkov) - pristop k analitični obdelavi podatkov, ki temelji na njihovi večdimenzionalni hierarhični predstavitvi, ki je del širšega področja informacijske tehnologije- poslovna inteligenca ().

Oglejte si katalog rešitev in projektov OLAP v razdelku OLAP na TAdviser.

Z vidika uporabnika, OLAP- sistemi predstavljajo sredstva za prilagodljivo pregledovanje informacij v različnih razdelkih, avtomatski prejem agregirani podatki, izvajanje analitičnih operacij konvolucije, podrobnosti, primerjave skozi čas. Zaradi vsega tega so sistemi OLAP rešitev z očitnimi prednostmi na področju priprave podatkov za vse vrste poslovnega poročanja, ki vključuje predstavitev podatkov v različnih odsekih in različnih nivojih hierarhije – na primer poročila o prodaji, različne oblike proračunov ipd. na. Prednosti takšnega prikaza so očitne tudi pri drugih oblikah analize podatkov, tudi za napovedovanje.

Zahteve za sisteme OLAP. FASMI

Ključna zahteva za sisteme OLAP je hitrost, ki omogoča njihovo uporabo v procesu interaktivnega dela analitika z informacijami. V tem smislu sistemi OLAP nasprotujejo, prvič, tradicionalnim RDBMS, izbori iz katerih s tipičnimi poizvedbami za analitike, ki uporabljajo združevanje in združevanje podatkov, so običajno dragi v smislu čakalnega časa in nalaganja RDBMS, zato je interaktivno delo z njimi s kakršnimi koli pomembnimi količinami podatki so zapleteni. Drugič, sistemi OLAP prav tako nasprotujejo običajni predstavitvi podatkov v obliki ploščate datoteke, na primer v obliki običajno uporabljenih tradicionalnih preglednic, pri čemer je predstavitev večdimenzionalnih podatkov težavna in ni intuitivna, in operacije za spreminjanje rezine - točka pogled na podatke - prav tako zahtevajo čas in trud, zapletajo interaktivno delo s podatki.

Hkrati pa po eni strani podatkovne zahteve, specifične za sisteme OLAP, običajno pomenijo shranjevanje podatkov v posebnih strukturah, optimiziranih za tipične naloge OLAP, po drugi strani pa bi neposredna ekstrakcija podatkov iz obstoječih sistemov med postopkom analize povzročila znaten padec. v njihovi izvedbi.

Zato je pomembna zahteva zagotoviti čim bolj fleksibilno uvozno-izvozno povezavo med obstoječimi sistemi, ki delujejo kot vir podatkov, in sistemom OLAP ter sistemom OLAP in zunanjimi aplikacijami za analizo in poročanje podatkov.

Hkrati mora takšna povezava zadostiti očitnim zahtevam po podpori uvoza-izvoza iz več podatkovnih virov, izvajanju postopkov čiščenja in preoblikovanja podatkov ter poenotenju uporabljenih klasifikatorjev in imenikov. Poleg tega so te zahteve dopolnjene s potrebo po upoštevanju različnih obstoječih ciklov posodabljanja podatkov informacijski sistemi in poenotenje zahtevane stopnje podrobnosti podatkov. Kompleksnost in vsestranskost tega problema je pripeljala do nastanka koncepta podatkovnih skladišč in, v ožjem smislu, do dodelitve ločenega razreda pripomočkov za pretvorbo in preoblikovanje podatkov - ETL (Extract Transform Load) .

Aktivni modeli shranjevanja podatkov

Zgoraj smo navedli, da OLAP predpostavlja večdimenzionalno hierarhično predstavitev podatkov in je v nekem smislu v nasprotju s sistemi, ki temeljijo na RDBMS.

To pa ne pomeni, da vsi sistemi OLAP uporabljajo večdimenzionalni model za shranjevanje aktivnih, "delujočih" sistemskih podatkov. Ker model aktivnega shranjevanja podatkov vpliva na vse zahteve, ki jih narekuje test FASMI, je njegov pomen poudarjen z dejstvom, da na tej podlagi tradicionalno ločimo podtipe OLAP - večdimenzionalni (MOLAP), relacijski (ROLAP) in hibridni (HOLAP).

Vendar nekateri strokovnjaki, na čelu z omenjeno Nigel Pends, kažejo, da klasifikacija na podlagi enega kriterija ni dovolj popolna. Poleg tega bo velika večina obstoječih sistemov OLAP hibridnega tipa. Zato se bomo podrobneje posvetili modelom aktivnega shranjevanja podatkov in omenili, kateri od njih ustrezajo kateremu od tradicionalnih podtipov OLAP.

Shranjevanje aktivnih podatkov v večdimenzionalni bazi podatkov

V tem primeru so podatki OLAP shranjeni v večdimenzionalnih DBMS, ki uporabljajo konstrukte, optimizirane za to vrsto podatkov. Običajno večdimenzionalni DBMS podpirajo tudi vse tipične operacije OLAP, vključno z združevanjem po zahtevanih ravneh hierarhije itd.

To vrsto shranjevanja podatkov v nekem smislu lahko imenujemo klasična za OLAP. Zanj pa so popolnoma potrebni vsi koraki za predhodno pripravo podatkov. Običajno so večdimenzionalni podatki DBMS shranjeni na disku, vendar v nekaterih primerih za pospešitev obdelave podatkov takšni sistemi omogočajo shranjevanje podatkov v RAM. Za iste namene se včasih uporablja shranjevanje vnaprej izračunanih agregatnih vrednosti in drugih izračunanih vrednosti v bazi podatkov.

Večdimenzionalni DBMS-ji, ki v celoti podpirajo večuporabniški dostop s sočasnimi transakcijami branja in pisanja, so precej redki, normalen način za takšne DBMS je enouporabniški z dostopom za pisanje, večuporabniški pa samo za branje ali večuporabniški samo za branje.

Med pogojnimi pomanjkljivostmi, značilnimi za nekatere izvedbe večdimenzionalnih DBMS in sistemov OLAP, ki temeljijo na njih, je mogoče opozoriti na njihovo dovzetnost za povečanje količine prostora, ki ga zaseda baza podatkov, kar je z vidika uporabnika nepredvidljivo. Ta učinek je posledica želje po zmanjšanju odzivnega časa sistema, ki narekuje shranjevanje vnaprej izračunanih vrednosti agregatnih indikatorjev in drugih količin v bazi podatkov, kar povzroči nelinearno povečanje količine informacij, shranjenih v bazi podatkov. dodajanje novih vrednosti podatkov ali meritev.

Stopnjo izraženosti tega problema, kot tudi z njim povezanih problemov učinkovitega shranjevanja redkih podatkovnih kock, določa kakovost uporabljenih pristopov in algoritmov za specifične implementacije sistemov OLAP.

Shranjevanje aktivnih podatkov v relacijsko zbirko podatkov

Podatke OLAP je mogoče shraniti tudi v tradicionalni RDBMS. V večini primerov se ta pristop uporablja, ko se poskuša brezhibno integrirati OLAP z obstoječimi računovodskimi sistemi ali podatkovnimi skladišči, ki temeljijo na RDBMS. Hkrati ta pristop zahteva nekaj dodatnih funkcij RDBMS, da se zagotovi učinkovito izpolnjevanje zahtev testa FASMI (zlasti zagotavljanje minimalnega odzivnega časa sistema). Običajno so podatki OLAP shranjeni v denormalizirani obliki, nekateri vnaprej izračunani agregati in vrednosti pa so shranjeni v posebnih tabelah. Pri shranjevanju v normalizirani obliki se učinkovitost RDBMS kot metode shranjevanja aktivnih podatkov zmanjša.

Problem izbire učinkovitih pristopov in algoritmov za shranjevanje vnaprej izračunanih podatkov je pomemben tudi za sisteme OLAP, ki temeljijo na RDBMS, zato se proizvajalci takšnih sistemov običajno osredotočajo na prednosti uporabljenih pristopov.

Na splošno velja, da so sistemi OLAP, ki temeljijo na RDBMS, počasnejši od sistemov, ki temeljijo na večdimenzionalnih DBMS, tudi zaradi manj učinkovitih struktur shranjevanja podatkov za naloge OLAP, vendar je to v praksi odvisno od značilnosti posameznega sistema.

Med prednostmi shranjevanja podatkov v RDBMS običajno imenujemo večjo razširljivost takih sistemov.

Shranjevanje aktivnih podatkov v "flat" datoteke

Ta pristop vključuje shranjevanje kosov podatkov v navadne datoteke. Običajno se uporablja kot dodatek k enemu od dveh glavnih pristopov za pospešitev dela s predpomnjenjem posodobljenih podatkov na disk ali v pomnilnik z naključnim dostopom odjemalski računalnik.

Hibridni pristop shranjevanja

Večina proizvajalcev sistemov OLAP, ki promovirajo svoje integrirane rešitve, ki poleg samega sistema OLAP pogosto vključujejo tudi DBMS, ETL (Extract Transform Load) in orodja za poročanje, trenutno uporabljajo hibridni pristop k organiziranju shranjevanja sistemskih aktivnih podatkov, jih na tak ali drugačen način porazdeli med RDBMS in specializirano shrambo, pa tudi med diskovnimi strukturami in predpomnilnikom v pomnilniku.

Ker je učinkovitost takšne rešitve odvisna od posebnih pristopov in algoritmov, ki jih proizvajalec uporablja za ugotavljanje, ali katere podatke in kam shraniti, nato naglo sklepati o prvotno večji učinkovitosti takšnih rešitev kot razreda, ne da bi ocenili posebne značilnosti obravnavanega sistema.

OLAP(Angleško on-line analytical processing) - niz metod za dinamično obdelavo večdimenzionalnih poizvedb v analitičnih bazah podatkov. Takšni viri podatkov so običajno precej veliki, pri orodjih za njihovo obdelavo pa je ena najpomembnejših zahtev visoka hitrost. V relacijskih zbirkah podatkov so informacije shranjene v ločenih tabelah, ki so dobro normalizirane. Toda zapletene večtabelne poizvedbe so pri njih precej počasne. Bistveno boljše delovanje glede hitrosti obdelave v sistemih OLAP je doseženo zaradi posebnosti strukture shranjevanja podatkov. Vse informacije so pregledno organizirane in uporabljata se dve vrsti podatkovnih shramb: meritve(vsebujejo imenike, razdeljene v kategorije, kot so prodajna mesta, stranke, zaposleni, storitve itd.) in podatke(označite interakcijo elementov različne meritve, na primer, 3. marca 2010 je prodajalec A opravil storitev stranki B v trgovini C za znesek G denarnih enot). Mere se uporabljajo za izračun rezultatov v analitični kocki. Mere so zbirke dejstev, združenih po ustreznih izbranih dimenzijah in njihovih članih. Zaradi teh lastnosti kompleksne poizvedbe z večdimenzionalnimi podatki vzamejo veliko manj časa kot relacijski viri.

Eden glavnih proizvajalcev sistemov OLAP je Microsoft Corporation. Oglejmo si implementacijo načel OLAP na praktičnih primerih ustvarjanja analitične kocke v aplikacijah Microsoft SQL Server Business Intelligence Development Studio (BIDS) in Microsoft Office PerformancePoint Server Planning Business Modeler (PPS) ter se seznanimo z možnostmi vizualne predstavitve večdimenzionalnih podatkov. v obliki grafov, grafikonov in tabel.

Na primer, v BIDS morate ustvariti kocko OLAP na podlagi podatkov o zavarovalnici, njenih zaposlenih, partnerjih (strankah) in prodajnih mestih. Predpostavimo, da podjetje ponuja eno vrsto storitev, zato merjenje storitev ni potrebno.

Najprej določimo dimenzije. Z dejavnostmi podjetja so povezane naslednje entitete (kategorije podatkov):

• Prodajna mesta
  - Zaposleni
  - Partnerji

Kot lahko vidite, je tabela dejstev povezana z dimenzijskimi tabelami prek ujemanja ena proti ena identifikatorskih polj (PartnerID, EmployeeID itd.).

Poglejmo rezultat. Na zavihku Raziskovalec kocke lahko z vlečenjem mer in dimenzij v polja vsot, vrstic, stolpcev in filtrov dobimo vpogled v podatke, ki nas zanimajo (npr. zavarovalne pogodbe, ki jih je določen zaposleni sklenil v letu 2005).