Workspace name via een data pipeline in Microsoft Fabric

Wanneer je met data pipelines werkt in Microsoft Fabric, heb je soms de naam van de huidige workspace nodig. Bijvoorbeeld om jouw logging duidelijker te maken, dynamische bestandsnamen te genereren of om te herkennen in welke omgeving (dev/test/acc/prod) jouw pipeline draait.

In deze blog laat ik je zien hoe je die workspace name automatisch ophaalt via de Fabric API. Je doorloopt drie stappen: alle workspaces ophalen, filteren op jouw huidige workspace en de naam opslaan in een variabele. Zo maak jij jouw pipelines slimmer en beter beheersbaar.

Waarom je de workspace name wil ophalen

In Microsoft Fabric kun je de workspace name niet direct opvragen binnen een pipeline. Toch heb je die naam vaak nodig om structuur in jouw dataprocessen te houden. Denk aan duidelijke logging, dynamische bestanden of paden en het herkennen in welke omgeving jouw pipeline draait.

Gelukkig los je dit eenvoudig op met de Fabric REST API. Je haalt alle workspaces op en filtert deze op de workspace waarin jouw pipeline draait.

Dit heb je nodig

Om dit stappenplan te volgen, is het belangrijk dat:

• Je werkt met een Fabric-capaciteit die via Azure ingericht is
• Jouw service principal toegang heeft tot de juiste workspaces en de Fabric REST API
• Je basiskennis hebt van data pipelines en service principals

Het uitgebreide stappenplan

In jouw pipeline ga je drie activiteiten gebruiken:

1. Web Activity: hiermee haal je alle workspaces op waar de service principal toegang tot heeft
2. Filter Activity: hiermee filter je op de workspace waarin jouw eigen pipeline draait
3. Set Variable Activity: hiermee sla je de displayName (de workspace name) op in een pipeline return value.

Stap 1: Fabric REST API benaderen via een Web Activity

Je begint met het toevoegen van een Web Activity aan jouw pipeline. Daarmee roep je de Fabric API op. Hiervoor heb je een Web API-verbinding nodig. Heb je die nog niet? Maak deze dan eerst aan met onderstaande configuratie:

Activity Name: Get Workspaces
Base URL: https://api.fabric.microsoft.com/v1
Token Audience URI: https://api.fabric.microsoft.com
Authentication Kind: Service Principal (Tenant ID, Client ID, Client Secret

Deze configuratie zorgt ervoor dat jouw Web Activity zich veilig kan authentiseren richting de Fabric-API. Zodra de verbinding bestaat, configureer je deze activiteit met:

• Relative URL: workspaces
• Method: GET

Hiermee wordt de volgende API-call uitgevoerd: GET https://api.fabric.microsoft.com/v1/workspaces 

De activiteit retourneert een JSON-object. Dit object bevat metadata van alle workspaces waar de service principal toegang tot heeft. Dit is een volledige lijst die we in de volgende stap verder gaan filteren.

Voorbeeld van de input die je ontvangt:

{
  "value": [
    {
      "id": <GUID>,
      ...
    },
    ...
  ]
}

Stap 2: filteren op de juiste workspace

Na het ophalen van alle beschikbare workspaces ga je deze lijst filteren. Jij wilt namelijk alleen de workspace overhouden waarin de pipeline draait. Dit doe je met een Filter Activity.

In dit voorbeeld gebruiken we de volgende configuratie:

Activity Name: Get Current Workspace
Items: @activity('Get Workspaces').output.value
Condition: @equals(item().id, pipeline().DataFactory)

Bij deze configuratie gebruiken we de lijst met workspaces en de conditie waarin wordt gecontroleerd of de workspace ID gelijk is aan de ID van de huidige workspace.

Het resultaat van deze activiteit is een JSON-object met alleen de metadata van de geselecteerde workspace. In de praktijk is dit meestal een array met één element, waarin onder andere de “displayName” (de workspace name) aanwezig is. Een voorbeeld van deze output:

{
  "value": [
    {
      "id": "<GUID>",
      "displayName": "test-workspace-name",
      "description": "",
      "type": "Workspace",
      "capacityId": "<GUID>"
    }
  ]
}

Stap 3: workspace name opslaan in een variabele

De laatste stap is het selecteren van de workspace name uit de metadata in de gefilterde output en deze op te slaan in een variabele. Hiervoor gebruik je de Set Variable Activity.

In dit voorbeeld gebruiken we de volgende configuratie:

• Activity name: Set Workspace Name
• Variable Type: Pipeline return value
• Name: WorkspaceName
• Value: @activity(‘Get Current Workspace’).output.Value[0].displayName

Met deze expressie haal je de ‘displayName’ op uit het eerste (en vaak het enige) element in de gefilterde array. Vanaf dit moment is de workspace name beschikbaar binnen de pipeline en kan deze gebruikt worden voor logging, dynamische parametrisering of verdere verwerking.

Conclusie

Door de workspace name automatisch op te halen, geef je jouw datateam meer grip op de structuur van jullie dataplatform. Je voorkomt foutgevoelige handmatige instellingen en maakt jouw hele keten transparanter. Neem deze aanpak gerust mee in jouw eigen pipelines, want dit kleine stukje automatisering geeft jouw logging en bestandsnamen direct meer rust en consistentie. Zo bouw jij stap voor stap aan een toekomstbestendig dataplatform. Op die manier groeit jouw omgeving met je mee met wat jij nodig hebt. Vandaag en morgen.