Siehe auch: Whitepaper: Externe Speicherung von BLOBs mit SharePoint 2007 sowie SQL Server 2005 / 2008 - Teil 1

External BLOB Storage

Mit dem Windows SharePoint Services 3.0 hotfix package vom 25. Mai 2007 [1] hat Microsoft eine Schnittstelle (API) zur Verfügung gestellt, um Daten ausserhalb des SQL Server zu speichern.

Abbildung 1: External BLOB Storage Architektur [2]

Um Daten mit den WSS 3.0 extern zu speichern, muss ein separater EBS Provider implementiert werden. Die dazugehörige Schnittstelle ist Bestandteil der WSS 3.0 inklusive SP1 und daher unabhängig des genutzten Datenbankmanagement-Systems. Sowohl die strukturierte Daten als auch die Metadaten von BLOB’s werden weiterhin in der Datenbank gespeichert. Die BLOB’s selber werden allerdings auf dem Dateisystem gespeichert und mittels einer ID referenziert.

Die Umsetzung eines separaten EBS Provider hat wesentliche Auswirkungen auf eine Sharepoint Farm. Sowohl Backup und Restore als auch Garbage Collection sind hiervon betroffen. Aufgrund des einfachen Designs der Schnittstelle sollten die Limitierungen der Schnittstelle beachtet werden und zusätzlich der entstehende Aufwand dem zu erwartenden Nutzen sorgfältig gegenübergestellt werden.

FileStream

Der SQL Server 2008 stellt ein neues Feature namens FileStream zur Verfügung, um die beschriebenen BLOB’s extern zu speichern. Dabei handelt es sich um ein singuläres Attribut, welches auf eine Spalte vom Typ varbibary gesetzt werden kann. Sowohl Backup als auch Restore des SQL Server 2008 berücksichtigen extern gespeicherten Daten.

Da SharePoint 2007 die Datenbanken automatisch erstellt, wäre es prinzipiell möglich, die FileStream-Unterstützung nach Erstellung selbst zu aktivieren. Seitens Microsoft wird die Änderung einer SharePoint Datenbank allerdings nicht supported. Daher ist von dieser Möglichkeit aus Gründen der Wartbarkeit und Releasefähigkeit dringend abzuraten!

Es spricht allerdings nichts gegen den Einsatz des SQL Server 2008 zusammen mit SharePoint 2007, da der SQL Server 2008 Verbesserungen gegenüber dem SQL Server 2005 mit sich bringt. Das FileStream Feature kann aber nicht gemeinsam mit SharePoint 2007 genutzt werden.

Fazit

Die externe Speicherung von Daten mit dem SQL Server 2005 oder dem SQL Server 2008 und SharePoint 2007 ist zum Zeitpunkt der Veröffentlichung des Whitepapers nicht empfehlenswert.

Der Aufwand für die Umsetzung des EBS ist äußerst hoch. Eine mögliche Inkompatibilität mit zukünftigen Versionen von SharePoint ist mehr als wahrscheinlich.

Bei dem Versuch der Aktivierung des FileStream Attributes auf einer vorhandenen SharePoint Datenbank handelt es sich um einen Eingriff in die Datenbankstruktur von SharePoint 2007.

namics empfiehlt daher, auf das nächste Service Pack oder die folgende Version von SharePoint zu warten um in den Genuss des vollen Funktionsumfanges zu gelangen.

Download

Whitepaper - Externe Speicherung von Binary Large Objects (BLOBs) mit SharePoint 2007 sowie SQL Server 2005 / 2008

[1] http://support.microsoft.com/kb/937901/en-us

[2] http://msdn.microsoft.com/en-us/library/bb862195.aspx

Zusammen mit Michael Pertek habe ich, Andreas Glaser, das Whitepaper "Externe Speicherung von BLOBs mit SharePoint 2007 sowie SQL Server 2005" verfasst. Inhalt dieses Whitepapers ist das Aufzeigen welche Möglichkeiten und Restriktionen es bei der Speicherung von Daten mittels SharePoint 2007 und dem SQL Server 2005 (oder dem SQL Server 2008) extern auf dem Dateisystem zum jetzigen Zeitpunkt gibt.

Download als auch Teil 2 werden in ein paar Tagen zur Verfügung gestellt.

Einleitung

Schlagwörter wie „FileStream“, „EBS Provider“ und „externe Speicherung von grossen Datenmengen“ kursieren innerhalb der Anwendungsbereiche von SharePoint und SQL Server und werden immer wieder diskutiert. Hinsichtlich der gegebenen Verwendungsmöglichkeiten dieser Features und den nicht zu unterschätzenden Einschränkungen gibt es allerdings Stand heute kaum dokumentierte Erfahrungen im Einsatz dieser Features. Diese Zusammenstellung der zentralen Fakten und Lösungsvarianten bringt ein wenig Licht ins Dunkel im richtigen Umgang und der Speicherung von grossen Datenmengen.

Unstrukturierte Daten

Grundlage dieser Ausführungen ist die Annahme, dass aufgrund des starken, fast explosionsartig ansteigenden Aufkommens an digitalen Daten und der einhergehenden Reduktion der Anschaffungs- und Betriebskoten von Hardwarekomponenten zur Speicherung des vermehrten Datenaufkommens viele Firmen unstrukturierte Daten in einer Datenbank speichern. Unter unstrukturierten Daten, auch Binary Large Objects (BLOB) genannt, versteht man Dokumente, digitale Bilder, Audio oder Videoformate. Immer häufiger werden diese Daten zu einem geschäftskritischen Bestandteil in Firmen und ihre Vorhaltung gewinnt an strategischer Bedeutung.

Business Value

Die Speicherung von strukturierten als auch unstrukturierten Daten geschieht im SQL Server 2005 auf dieselbe Art und Weise. In der ersten Darstellung im linken Bild wird aufgezeigt, wie sowohl Dateien als auch Metadaten dieser Dateien in einer relationalen Datenbank gespeichert werden. In der rechten Darstellung wird derselbe Vorgang für unstrukturierte Daten innerhalb des SQL Servers 2008 abgebildet.

Die Speicherung von strukturierten als auch unstrukturierten Daten geschieht im SQL Server 2005 auf dieselbe Art und Weise. In der ersten Darstellung im linken Bild wird aufgezeigt, wie sowohl Dateien als auch Metadaten dieser Dateien in einer relationalen Datenbank gespeichert werden. In der rechten Darstellung wird derselbe Vorgang für unstrukturierte Daten innerhalb des SQL Servers 2008 abgebildet.

Abbildung 1: Unstrukturierte Daten im SQL Server 2005 und 2008

Der Zugriff auf BLOB’s, welche in der Datenbank gespeichert sind, ist allerdings in der Regel zu wenig performant.

Der SQL Server 2008 dagegen kann BLOB’s auch direkt auf dem Dateisystem speichern und die dazugehörigen Metadaten in einer Datenbank ablegen. Die Performance ist dadurch deutlich höher und für den Benutzer spürbar. Zusätzlich ist die Grösse der gespeicherten Dateien nicht wie beim SQL Server 2005 auf lediglich 2GB beschränkt.

Der SQL Server 2005 bietet von sich aus nicht die Möglichkeit der externen Speicherung von Daten wie oben beschrieben. Im Zusammenspiel mit SharePoint 2007 ist es dennoch möglich, die externe Speicherung über Sharepoint zu realisieren (Stichwort External BLOB Storage).

SharePoint 2007

Unter der Voraussetzung, dass Service Pack 1 installiert wurde, ergeben sich daraus zwei Lösungsansätze, um Daten ausserhalb des SQL Server zu speichern:

• External BLOB Storage – EBS (SQL Server 2005)
• FileStream (SQL Server 2008)

Der erste Lösungsansatz (EBS) ist auf der Seite von SharePoint umzusetzen und unterstützt den SQL Server 2005. Der zweite Lösungsansatz (FileStream) ist ein Feature des neuen SQL Server 2008.

Der erste Tag geballte Ladung SharePoint, Web 2.0 und Social Software in Stuttgart am 15.09./16.09.2008 zusammen mit Microsoft, Michael Greth und diversen Showcases ist vorbei und damit die Zeit gekommen ein erstes Resumée zu ziehen.

Aus Trainer Sicht haben sich einige markante Dinge am Markt getan:

• Im Vergleich zum letzten Jahr kennen die Konferenzteilnehmer SharePoint inzwischen ziemlich gut und arbeiten schon länger als Admins oder Anwender damit.


• Die gezeigten SharePoint Intranets sind inzwischen auf einem hohen benutzerorientierten und interaktiven Level angekommen.


• Wikis und Blogs sind im Unternehmensumfeld inzwischen weitläufig im Einsatz. Möglichkeiten und Grenzen sind bekannt.


• Die Diskussionen werden spannender ;o)

In meinem Vortrag hab ich Blog und Wiki Lösungen mit SharePoint, Confluence Wiki und dem Community Kit for SharePoint (CKS:EBE und CKS:EWE) vorgestellt. Dabei hab ich ein wenig gepoktert und bewusst in der Einführung weggelassen, was Wikis und Blogs sind, sondern bin gleich in die Details rein.

Et voilà: Meine Kalkulation ist aufgegangen. Die Rückfragen waren fundiert und herausfordernd. Die Möglichkeiten und Grenzen des SharePoint Blogs und Wikis wurden heiss diskutiert und die Fragen und Diskussionen gingen tief in die Pros und Contras der unterschiedlichen Ansätze hinein: Standardfunktionalität vs. Drittanbieter.
Da macht das Moderieren Freude!

Anbei findet ihr meinen Vortrag als PDF Download: SharePoint Plattformlösungen am Beispiel von CKS: EBE Blog und Confluence Wiki [pdf, 3.41MB]. Macht euch selbst ein Bild. Ich freu mich auf Feedback.

Die drei IT-Riesen EMC, IBM und Microsoft haben eine neue Schnittstellenspezifikation namens CMIS (Content Management Interoperability Services) als Draft veröffentlicht. Noch dieses Jahr soll der Entwurf bei OASIS eingereicht werden.

Die Idee: über SOAP, REST und Atom sollen unterschiedliche ECM (Enterprise Content Management) Systeme miteinander standardisiert kommunizieren können. Unter anderem natürlich auch auf SharePoint. Der Prozess hat nun lange gebraucht, denn die Wirtschaft ruft in Zeiten von JCR (Java API für Zugriffe auf Content Repositories) schon lange nach einem solchen Standard.

Mehr Informationen zu CMIS gibt's in diversen Blogs, wie z.B. dem Microsoft ECM Team Blog. Der Link zur Draft Spezifikation kann man z.B. bei Microsoft finden.


Quelle: http://blogs.msdn.com/sharepoint/archive/2008/09/09/announcing-the-content-management-interoperability-services-cmis-specification.aspx

Spannend ist der Community Talk am Rand: z.B. die nette Antwort von Day: http://dev.day.com/microsling/content/blogs/main/cmis.html
David hilft Goliath im wahrsten Sinne des Wortes ;o)

Microsoft Deutschland, die ontoprise GmbH, führender Anbieter semantischer Technologien und Anwendungen, sowie die CRG Information Services GmbH, ein IT-Dienstleister mit Schwerpunkt auf Microsoft-Technologien, starten eine partnerschaftliche Zusammenarbeit. Die Zielsetzung ist, die semantischen Technologien der ontoprise GmbH als Zusatzmodule für den Microsoft Office SharePoint Server (MOSS) verfügbar zu machen.

Im Rahmen der Zusammenarbeit sollen folgende Produkte in SharePoint eingebunden werden:

■ der SemanticGuide, die Lösung zur interaktiven Problemdiagnose und Entscheidungsunterstützung (semantisches Ratgebersystem),

■ der SemanticMiner mit einzigartiger, dynamischer Navigation und kontext-sensitiver semantischer Suche sowie

■ das semantische Unternehmens-Wiki (Semantic MediaWiki+) von ontoprise.

Der Nutzen für den Kunden liegt dabei darin, schneller, einfacher und vor allem auch umfassender auf sämtliche Informationen zuzugreifen. Insbesondere beinhaltet das Informationen, die nicht explizit ausgedrückt sind, sondern sich hinter logischen Abhängigkeiten verbergen.
Die Integration wird SharePoint-Anwendern weitere Vorteile bieten, zum Beispiel:

■ Einbindung ontologie-basierter Navigations- und Suchmöglichkeiten für SharePoint – bislang konnten die Informationen in den klassischen Portal-Hierarchien nicht bereichsübergreifend verwaltet werden. Mit dem Semantik-Modul von ontoprise werden kontextsensitiv passende SharePoint-Informationen dem Nutzer angeboten – ähnlich der ergebnisorientierten Nutzeroberfläche in Microsoft Office 2007.

■ Logische Verknüpfung von Informationen – das bedeutet für SharePoint: frei definierbare Objekte (z.B. Personen, Projekte, Events, Themengebiete, Prozesse, …) können miteinander verknüpft und anschliessend gleichermassen einfach wie intelligent innerhalb des Wissensmodells (Ontologie) gesucht werden.

Support für virtualisierte Microsoft-Anwendungen.

Microsoft hat im Rahmen seines Server Virtualization Validation Program den ESX-Hypervisor von VMware validiert. Damit bekommen ESX-Anwender jetzt auch Support von Microsoft.

Die Zertifizierung bezieht sich auf VMware ESX 3.5 Update 2. VMware-Kunden können also Windows-Server und andere Microsoft-Anwendungen virtualisiert auf Basis des Hypervisors nutzen und bekommen Zugriff auf kooperativen Support von Microsoft und VMware. Voraussetzung ist ein gültiger Supportplan. Dann unterstützt Microsoft etwa Exchange Server, SQL Server sowie Sharepoint im virtualisierten Betrieb.

Im Rahmen des Virtualization Validation Program können Softwareanbieter ihre Virtualisierungslösungen auf Windows Server testen und validieren. Läuft dies erfolgreich ab, gewährt Microsoft Support. Früher hingegen waren Kunden häufig gezwungen, Probleme in einer physischen Umgebung zu reproduzieren, bevor sie Unterstützung durch den Hersteller erhielten.

Link

Ein kleiner Nachtrag zum früheren Blogeintrag: Die offizielle Microsoft Aussagen zu MOSS 2007 und der Unterstützung von SQL 2008 wurden auf dem MS SharePoint Teamblog veröffentlicht: http://blogs.msdn.com/sharepoint/archive/2008/08/15/sql-server-2008-support-for-sharepoint-products-and-technologies.aspx

So wie es aussieht sind BLOB bzw. Filestream noch nicht unterstützt, da hier eine separate API angesprochen werden muss. Soweit war MS noch nicht beim Infrastructure Update S2, aber es wird heftig daran gearbeitet.
BLOBs könnt ihr jedoch bereits selbst ansprechen: das Konzept findet ihr unter External Storing of Binary Large Objects (BLOBs) in Windows SharePoint Services (siehe auch folgende Grafik).

Zudem gibt es bereits ein neues Codeplex Projekt, welches SharePoint Adapter für Microsoft SQL Server 2008 Integration Services (SSIS) zur Verfügung stellt. Doch vorsicht: dies wird von MS nicht offiziell supported, sondern ist ein Community Projekt.