Läsa data från BigQuery

Många verksamheter har börjat spara sin data i Google BigQuery och sedan läsa ut data till Qlik Sense för att analysera, visualisera och rapportera. Både Windows- och SaaS-versionen av Qlik Sense har inbyggd möjlighet för att ansluta till BigQuery.

Anslutning

Det första som behöver göras är att ansluta Qlik Sense till BigQuery och ge tillåtelse att läsa ut data. Anslutningen görs genom att från Qlik Sense välja att autentisera med en användare som har rättigheter till ett Big Query samt välja ett dataset att läsa från.


Välj att lägga till en ny dataanslutning antingen från hub eller inne i en app och välj typen Google BigQuery.



I rutan som öppnas trycker du på knappen Sign In för att logga in i BigQuery.



Välj en användare eller logga in med en ny.



Ange lösenordet för användaren.

När användaren är inloggad får man bekräfta att Sense ska få läsa data och däefter fås en valideringskod som ska läggas till i Sense.




Kopiera koden, byt tillbaka till Sense-fliken i webbläsaren och ange koden i fältet Confirmation Code. Klicka sedan på knappen Validate.



Välj ett dataset att läsa data från i drop-down-menyn "Catalog (Project)" som ska ha populerats med de dataset den inloggade användaren har rättigheter till.


Klicka sedan på knappen Test connection för att säkerställa att anslutningen fungerar som den ska. Du bör få ett svar "Connection Succeeded". Tryck ner meddelandet och spara anslutningen som nu finns i listan av anslutningar.



Läsa ut enkel data

För att läsa ut vanliga tabeller väljer man som vanligt Select data från anslutningen och väljer tabell att läsa. Data kan direkt filtreras med "Filter data"-funktionen och du har möjlighet att välja vilka kolumner som ska tas med. De vanliga funktionerna i Data Manager respektive Data Load Editor fungerar sedan som vanligt.



Ett tips när man arbetar med stora tabeller är att använda funktionen "first" framför Load. Det gör att endast ett bestämt antal rader läses ut i syfte att snabbare kunna göra omladdningar för tester. Det kan dock vara svårt om en stor spridning på data behövs för att bygga upp hela modellen.



Läsa ut komplex data

BigQuery har en teknik för att lagra underrader till rader i en tabell - STRUCT. Tänk dig en undertabell till huvudtabellen som nycklas automatiskt. När vi läser ut data vill vi oftast bryta ut STRUCT-delen till en egen tabell med en nyckel. Mer om detta kommer i ett eget inlägg längre fram.


Läsa data i realtid

En av anledningarna till att lägga data i BigQuery är att plattformen är bra för att hantera stora datamänder. Det kan handla om mer data än vi vill läsa ut i Qlik för att ha i minnet på det sätt Qlik normalt fungerar. I skrivande stund har grundlicensen av Qlik Sense SaaS en gräns om 5GB i varje app, vilket troligen gör att inte kan ha en miljard rader i minnet. En egen Windows-server kan ha mer prestanda och därmed klara fler rader.


För att hantera detta använder man någon av de två teknikerna On Demand App Generation eller Dynamic Views. I båda fallen arbetar användaren först med en aggregerad vy av data och kan sedan välja att gå ner på detaljrader när urvalet är tillräckligt snävt.


Mer om dessa två tekniker kommer i egna inlägg längre fram.


Skriven av: Morgan Kejerhag

Morgan Kejerhag har arbetat med Qlik-plattformen sedan 2005 och är en av Sveriges mest erfarna konsulter. Under åren har Morgan arbetat med flertalet multinationella bolag där han lett arbetet i att bygga upp stora Qlik-miljöer såväl som små kunder. LinkedIn Kontaktuppgifter

Vill du har mer information?

Kontakta oss via informationen på vår kontakt-sida.

DrakeStone AB
Teknikringen 10

583 30 Linköping

Org: 556986-6956

© 2020 Drake Analytics