Core Data Services (CDS) ABAP

CDS Extraktoren

Empfehlenswerte Quelle: Der Blog von Simon Kranig

(C) Brandeis Consulting

Extraktorview anlegen

CDS View anlegen mit der Annotation
@Analytics.dataExtraction.enabled: true

Und noch die Datenkategorie festlegen mit
@Analytics.dataCategory: #CUBE
@ObjectModel.dataCategory: #TEXT

@AbapCatalog.sqlViewName: 'ZSQL_EXTRACTOR'
@AbapCatalog.compiler.compareFilter: true
@AbapCatalog.preserveKey: true
@Analytics.dataCategory: #CUBE
@Analytics.dataExtraction.enabled : true
@AccessControl.authorizationCheck: #CHECK
@EndUserText.label: 'Extractor for SO Data'
define view zcds_extractor as
  select from snwd_so as so

  left outer join snwd_so_i as soi
  on so.node_key = soi.parent_key

  left outer join snwd_pd as pd
  on soi.product_guid = pd.node_key 
  {
      so.so_id,
      so.created_at,
      ...
  }
(C) Brandeis Consulting

API Status setzen

API Status auf C1 setzen (nicht immer notwendig)
Eine Darstellung, wie man den API-State zur Freigabe im SAP System setzt

Einschränkung über Berechtigung

(C) Brandeis Consulting

Extraktor aus dem BW heraus Konsumieren

Quellsystem als ODP verbinden

Type ABAP_CDS

Verbindung des Quellsystems als ODP über Eclipse BW-Projekt-View

DataSource anlegen

Replizieren ist nicht notwendig. Der Name des Extraktors entspricht dem SQL-View des CDS Views oder dem Name der CDS View Entity.

Anlegen einer neuen Datenquelle auf dem zuvor hinzugefügten ODP

Auswahl der CDS-View zur Datenextraktion

(C) Brandeis Consulting

Delta Verfahren

Mit Zeitstempel

  • Die Anwendungsdaten enthalten einen Zeitstempel der letzten Änderung.
  • Hilfsweise das letzte Änderungsdatum

Change Data Capture

  • Verfügbar ab SAP S/4HANA Cloud 1905 and SAP S/4HANA 1909 FPS01
  • Basiert auf DB-Triggern wie im SLT
(C) Brandeis Consulting

Delta mit Zeitstempel oder Datum

Falls ein passender Zeitstempel oder Datumsfeld in den Daten ist, wird das Element auf View-Ebene mitgegben:
@Analytics.dataExtraction.delta.byElement.name: <Feldname>

Und in der Feldliste muss das Feld entsprechend mit der Annotation
@Semantics.systemDateTime.lastChangedAt: true oder
@Semantics.systemDate.lastChangedAt: true

versehen sein.

(C) Brandeis Consulting

Sicherheitsintervall beim Delta

Sicherheitsintervall ist per Default ½ Stunde. Das kann geändert werden mit

@Analytics.dataExtraction.delta.byElement.maxDelayInSeconds: 3600

Die Schlüssel und der Hashwert der bereits extrahierten Daten werden gespeichert. Falls wegen des Intervalls ein Wert doppelt vorkommt, wird er mit diesen Informationen wieder entfernt.

Diagramm zur Visualisierung wie die überlappenden Intervalle bei der Delta Extraction abgebildet werden

(C) Brandeis Consulting

Delta mit Löschungserkennung

Wenn Löschungen von Daten mit extrahiert werden sollen, dann kann man die folgende Notation verwenden:

@Analytics.dataExtraction.delta.byElement.detectDeletions: true

Allerdings wird dann bei jeder Extraktion der gesamte Bestand gegen die bereits extrahierten Schlüssel geprüft. Das kann langsam werden. Mit der Annotation

@Analytics.dataExtraction.delta.byElement.ignoreDeletionAfterDays: 30

kann man den Suchbereich von gelöschten Daten einschränken.

(C) Brandeis Consulting

Delta ohne eigenen Timestamp

Falls in den Anwendungsdaten kein Zeitstempel vorhanden ist, kann man auch andere Quellen hinzujoinen, die diese Information halten. Z.B. die Änderungsbelege in CDHDR und CDPOS können als Basis für ein Delta-Verfahren verwendet werden

(C) Brandeis Consulting

Beispiel/Übung - Delta-Verfahren über CDPOS und CDHDR

Legen Sie einen Extraktor für die Adressdaten (Tabelle ADRP) an, der mit einem Delta-Verfahren nur die Änderungen seit dem letzten Load liefert.

Immer wenn sich die Adressdaten (z.B. Vor- und Nachname) über die Transaktion SU01 ändern, wird ein Änderungsbeleg in der CDHDR und CDPOS geschrieben.

(C) Brandeis Consulting

CDHDR, CDPOS und ADRP Daten

CDHDR

MANDANT OBJECTCLAS OBJECTID CHANGENR USERNAME UDATE UTIME TCODE
100 ADRESSE3 BC0100000114050000011325 151598 DEVELOPER 20210301 152830 SU01
100 ADRESSE3 BC0100000114050000011325 151910 JBRANDEIS 20210520 125035 SU01
100 ADRESSE3 BC0100000114050000011325 151911 JBRANDEIS 20210520 125659 SU01
100 ADRESSE3 BC0100000114050000011325 151913 JBRANDEIS 20210520 132602 SU3

CDPOS

MANDANT OBJECTCLAS OBJECTID CHANGENR TABNAME TABKEY FNAME VALUE_NEW VALUE_OLD
100 ADRESSE3 BC0100000114050000011325 151913 ADRP 100000001140500010101 INITIALS R.
100 ADRESSE3 BC0100000114050000011325 151913 ADRP 100000001140500010101 TITLE 2
100 ADRESSE3 BC0100000114050000011325 151911 ADRP 100000001140500010101 INITIALS R.
100 ADRESSE3 BC0100000114050000011325 151911 ADRP 100000001140500010101 NAMEFORMAT 1
100 ADRESSE3 BC0100000114050000011325 151911 ADRP 100000001140500010101 LANGU D
100 ADRESSE3 BC0100000114050000011325 151910 ADRP 100000001140500010101 NAMCOUNTRY DE
100 ADRESSE3 BC0100000114050000011325 151598 ADRP 100000001140500010101 KEY

ADRP

CLIENT PERSNUMBER DATE_FROM NATION DATE_TO TITLE NAME_FIRST NAME_LAST
100 11326 00010101 99991231 TMSADM
100 11328 00010101 99991231 SAP SE
100 11365 00010101 99991231 TRANS
100 11445 00010101 99991231 Peter Heermann
100 11387 00010101 99991231 BWREMOTE
100 11405 00010101 99991231 2 Jörg Brandeis
100 11425 00010101 99991231 MGOERDEL
100 11385 00010101 99991231 ABAP Entwickler
(C) Brandeis Consulting

Delta-Verfahren über CDPOS und CDHDR - Lösung

@AbapCatalog.sqlViewName: 'ZSQL_EXT_CDPOS'
...
@Analytics.dataCategory: #FACT
@Analytics.dataExtraction: { enabled: true,
                             delta: { byElement.name: 'TSTMP' } }

define view zcds_extractor_cdpos
  as select distinct from cdpos as pos
  
    inner join            cdhdr as hdr on  pos.objectclas = hdr.objectclas
                                       and pos.objectid   = hdr.objectid
                                       and pos.changenr   = hdr.changenr
                                       
    inner join       adrp  as ad  on  ad.persnumber = substring( pos.tabkey, 4, 10 )
                                  and ad.date_from  = substring( pos.tabkey, 14, 8 )
{
  key ad.persnumber        as Persnumber,
  key ad.date_from         as DateFrom,

  @Semantics.systemDateTime.lastChangedAt: true
  dats_tims_to_tstmp(hdr.udate,  hdr.utime,  'UTC',  $session.client, 'NULL'  ) as tstmp,
                     
  ad.nation            as Nation,
  ad.date_to           as DateTo,
  ...
}
(C) Brandeis Consulting

CDS Extraktoren - Delta mit Change Data Capture (CDC)

Ab SAP S/4HANA Cloud 1905 and SAP S/4HANA 1909 FPS01 verfügbar.

Konzept

Änderungen (INSERT, UPDATE, DELETEE)auf DB-Ebene werden per Trigger ermittelt und in ODQ Daten eingestellt.

Annotationen

Pflicht, wie immer bei Extraktoren:
@Analytics.dataExtraction.enabled: true

Bei 1:1 Projektionen ohne JOIN ist das ganz einfach, solange die Schlüsselfelder im View vorkommen:
@Analytics.dataExtraction.delta.changeDataCapture.automatic: true

(C) Brandeis Consulting

CDC Mapping bei JOINs im CDS

Falls mehrere Tabellen mit JOINs kombiniert werden, muss das Mapping vorgenommen werden. In der Annotation
@Analytics.dataExtraction.delta.changeDataCapture.mapping:
wird ein Array von Mappingregeln übergeben

@Analytics.dataExtraction: { enabled: true,
                             delta.changeDataCapture.mapping: [{ table: 'ZBC_TASKS',
                                                                 role: #MAIN,
                                                                 tableElement: [ 'TASK_KEY' ] ,
                                                                 viewElement: [ 'TaskKey' ] 
                                                                },
                                                                { table: 'ZBC_USERS',
                                                                 role: #LEFT_OUTER_TO_ONE_JOIN,
                                                                 tableElement: [ 'USER_ID' ] ,
                                                                 viewElement: [ 'Assignee' ] 
                                                                 }
                                                                ]
                            }

Die Reihenfolge der Viewfelder muss mit der Reihenfolge der DB Schlüsselfelder übereinstimmen.

(C) Brandeis Consulting

CDC Details

Datenbanktrigger

Die Datenbanktrigger werden angelegt, wenn

  • Die Annotationen für CDS vorhanden sind
  • Eine Datasource existiert
  • Ein Delta-DTP das erste Mal ausgeführt wird.

Den Datenbanktrigger kann man in der HANA Datenbankkatalog anschauen.

Master Logging Tabelle

Die Änderungen werden vom Trigger in die sogenannte Master Logging (ML) Tabelle geschrieben. Ihr Name beginnt mit /1DH/MH, also z.B. /1DH/ML000000001 . Für jede Datenbanktabelle, die im CDC verwendet wird, existiert eine ML-Tabelle

Die ML-Tabelle hat einen technischen Schlüssel (Sequence)

CREATE TRIGGER "SAPHANADB"."/1DH/000000001UPD1"
AFTER UPDATE OF "CLIENT", "TASK_KEY"
ON "SAPHANADB"."ZBC_TASKS"
REFERENCING OLD ROW OLD, NEW ROW NEW
FOR EACH ROW
PRECEDES "SAPHANADB"."/1DH/000000001UPD2"
BEGIN
    /* UTC_TIMESTAMP 20250328083727 */
    INSERT INTO "/1DH/ML000000001" (
        "/1DH/SEQUENCE",
        "/1DH/TIMESTAMP",
        "CLIENT",
        "TASK_KEY",
        "/1DH/OPERATION",
        "/1DH/USER"
    ) VALUES (
        "SEQ_/1DH/ML000000001".NEXTVAL,
        TO_CHAR(CURRENT_UTCTIMESTAMP, 'yyyymmddhh24missFF7'),
        :NEW."CLIENT",
        :NEW."TASK_KEY",
        'I',
        SUBSTRING(SESSION_CONTEXT('APPLICATIONUSER'), 1, 12)
    );
END;
(C) Brandeis Consulting

Observer Job

Der sogenannte Oberserver-Job /1DH/OBSERVE_LOGTAB , ABAP Programm DHCDCR_OBSERVE_LOGTAB wird regelmäsig (1h oder 10 Minütig) eingeplant, also neu gestartet. Er läuft aber permanent.

Er befindet sich in einer Endlos-Schleife, die alle Logging Tabellen prüft und bei Bedarf verarbeitet. Nach dem Abarbeiten wartet er jeweils 1 Sekunde. Darum ist er in der SM50 fast immer im Status WAIT

Die Daten werden von dem Job von der Master Logging Tabelle in die Subscriber Logging Tabelle kopiert.

Subscriber Logging Tabelle

Die SL-Tabelle hat die gleichen Felder wie die ML-Tabelle, aber den gleichen Schlüssel wie die DB-Tabelle, für die sie angelegt ist. Der Name beginnt mit /1DH/SL. Beispiel: /1DH/SL000000001

(C) Brandeis Consulting

Transfer Job

Jobname /1DH/PUSH_CDS_DELTA, Report DHCDCR_PUSH_CDS_DELTA.

Der Transferjob selektiert aus den CDS Views mit den gemappten Schlüsseln aus den SL-Tabellen die Delta-Daten. Das Ergebnis wird in die ODQ geschrieben.

Danach löscht der Transfer Job die Daten in der SL-Tabelle

(C) Brandeis Consulting

Transaktionen im CDC Umfeld (1/2)

ODQMON - Delta-Queues überwachen

  • Liste der Delta-Queues
    • Abonementen pro Delta-Queue
      • DTP-Requests mit Zeitstempeln und Daten der Extraktion

DHCDCMON - CDC Monitoring

  • Registrierte Objekte für CDC
  • Tabellennamen für ML und SL Tabellen
  • Jobeinstellungen, -status und -parameter
  • Absprung zu
    • Job einplanen
      Anwendungslog
    • Statistik
(C) Brandeis Consulting

Transaktionen im CDC Umfeld (2/2)

RODPS_REPL_TEST - Extrahiere Daten

  • Test der ODP Extraktion, auch für CDC
  • Eigener Subscriber für die ODQ, also auch eigener Delta-Zeiger
(C) Brandeis Consulting