Search
StarWind is a hyperconverged (HCI) vendor with focus on Enterprise ROBO, SMB & Edge

How to save disk space in Clustered File Servers on Windows Server 2016 using Data Deduplication feature

  • April 16, 2018
  • 18 min read
IT and Virtualization Consultant. Dmitriy is specializing in Microsoft technologies, with a focus on storage, networking, and IT infrastructure architecture.
IT and Virtualization Consultant. Dmitriy is specializing in Microsoft technologies, with a focus on storage, networking, and IT infrastructure architecture.


For that matter, I’ll create a file server of two types: “File server for general use” and Scale-Out File Server. For the latter, I’ll have two scenarios: VMs running and off. After that, I’m gonna evaluate the deduplication ratio using a free tool – StarWind Deduplication Analyzer. And finally, run data deduplication using the Windows Server 2016 Data Deduplication feature. We also need our storage shared, so for this purpose, I’ve decided on StarWind Virtual SAN Free.

HERE IS THE ENVIRONMENT CONFIGURATION:

Host 1:

  • Intel Xeon E5-2660 v2
  • 128GB RAM DDR3
  • 1x HDD Seagate 1TB
  • 1x HDD WD Black 1TB
  • 1x Intel gigabit 4p i350-t rndc 1Gb\sec
  • Mellanox ConnectX-3 network adapter 10Gb\sec

Host 2:

  • Intel Xeon E5-2660 v2
  • 128GB RAM DDR3
  • 1x HDD Seagate 1TB
  • 1x HDD WD Black 1TB
  • 1xIntel gigabit 4p i350-t rndc 1Gb\sec
  • Mellanox ConnectX-3 network adapter 10Gb\sec

For management, I’ve used the network: 172.16.0.0/24.
Network adapter – 1Gb/sec Intel gigabit qp i350-t rndc.

For StarWind VSAN Free synchronization, I’ve used an additional network: 10.0.0.0/24.
Network adapter – 10Gb/sec Mellanox ConnectX-3.

OS: Windows Server 2016 Version 1607 (OS Build 14393.0).

For working with file servers, I’ve joined the hosts into a domain under Active Directory administration.

Here is the network interconnection diagram:

 

wp-image-25977

TOOLKIT USED

StarWind VSAN Free. Basically, it’s a Software-Defined Storage solution that mirrors internal server resources between the participating cluster nodes, thus delivering a highly available shared storage. Why StarWind VSAN Free? Well, obviously it costs nothing and simply gets the job done. The version used is v8.0.0.11818. You can find more info about the software on the company’s official website: https://www.starwindsoftware.com/starwind-virtual-san-free

Data Deduplication. Data Deduplication is a feature of Windows Server 2016 allowing to optimize free space on a volume by investigating the data for duplicates. When a duplicated element is found, it gets replaced with a pointer to a unique copy of that chunk, thus freeing storage space. Data Deduplication optimizes redundancies without compromising data fidelity or integrity. For additional information, please visit the Microsoft official website: https://docs.microsoft.com/en-us/windows-server/storage/data-deduplication/overview

StarWind Deduplication Analyzer. Another free tool from StarWind, which analyzes the data on your storage and estimates the savings you get when running deduplication on the data volume. Again, it’s free of charge and it can come in handy when you’re planning on deduplication but not sure of the benefits you’ll get with it. The used version is v2.0.0.2. In case you need more info on this tool, follow this link: https://www.starwindsoftware.com/starwind-deduplication-analyzer

FILE SERVER TYPES

File server for general use. This type of clustered file server allows providing shared access to files in a failover cluster. It sometimes is referred to as active-passive or dual-active. This type of failover server is recommended for sharing data between the employees.

Scale-Out File Server (SOFS). This clustered file server has made its first appearance in Windows Server 2012. It allows storing server applications’ data such as Hyper-V VM’s files. All file resources are simultaneously online on all nodes. The shared file resources connected with that type of clustered file server are called scale-out file shares. Such configuration is sometimes called active-active. This file server type is recommended for storing Hyper-V or Microsoft SQL Server data.

You can find more info on file server types at the Microsoft official website:

https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-R2-and-2012/hh831349(v=ws.11)

Now, let’s switch from theory to practice and do some real work.

INSTALLING THE REQUIRED SERVICES

I’ll need to install the following services: File server, Data Deduplication, and Hyper-V.

Also, I’ll need Multipath I/O and Failover Clustering features deployed.

Зображення, що містить текст, знімок екрана, Шрифт, число Автоматично згенерований опис

ENABLING MPIO

Now, I need to enable the support for iSCSI devices in the Discover Multi-Paths tab.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Шрифт Автоматично згенерований опис

CREATING DEVICE

First, I’ve installed StarWind VSAN Free on Host 1 and Host 2. Next, on Host 1, in StarWind Management Console, I’ve added both Hosts.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

Next, create the device and set its size.

wp-image-25981

Now, I need to create a synchronized partner in Replication Manager.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

Create a replication partner.

Зображення, що містить текст, знімок екрана, Шрифт, ряд Автоматично згенерований опис

Next, configure the networks and specify the partner device initialization mode.

Зображення, що містить текст, програмне забезпечення, знімок екрана Автоматично згенерований опис

Now, by clicking “Extend Size of HA”, I’m increasing the total capacity of the HA device on a fly.

wp-image-25985

wp-image-25986

CONFIGURING ISCSI INITIATOR

In this part, I’m going to discover the partner IPs on both nodes.

Configuring iSCSI Initiator on Host 1.

wp-image-25987

Now, connect the iSCSI target in the Targets tab.

wp-image-25988

The connected disk was formatted as NTFS via Disk Management console.

Зображення, що містить знімок екрана, ряд, програмне забезпечення Автоматично згенерований опис

CREATING A CLUSTER IN FAILOVER CLUSTER MANAGER

OK, open Failover Cluster Manager and click Create Cluster in the Action tab. After that, specify the hosts to be added.

wp-image-25990

Now, specify the name and confirm the cluster creation.

wp-image-25991

Go to the Disks tab and add the cluster disk.

Зображення, що містить знімок екрана, текст, програмне забезпечення Автоматично згенерований опис

CREATING “FILE SERVER FOR GENERAL USE”

For that matter, navigate to the Role tab and choose Configure Role.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

Select the role and the file server type.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Шрифт Автоматично згенерований опис

Select the name and storage for “File server for general use”.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Шрифт Автоматично згенерований опис

All is ready, you can see the summary in the screenshot below.

wp-image-25996

Finally, “File server for general use” is good to go.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

Now, let’s add a File Share to the File server.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

Select the profile and the file share location.

Зображення, що містить текст, знімок екрана, Шрифт, програмне забезпечення Автоматично згенерований опис

Specify the share name and confirm the settings.

Зображення, що містить текст, знімок екрана, програмне забезпечення, число Автоматично згенерований опис

You can see the result in the screenshot below.

wp-image-26001

Finally, connect to the “File server for general use” the network.

Зображення, що містить знімок екрана, текст, програмне забезпечення Автоматично згенерований опис

Now that we’re done with “File server for general use”, we can go on and proceed with deduplication. I’ll configure the Scale-Out File Server later step-by-step not mix things.

DEDUPLICATION

Prior to enabling deduplication on the File server, I’ve copied Fonts files from “С:\Windows\Fonts” folder several times to give some work for Data Deduplication.

So, I’ve run deduplication analysis using the StarWind Deduplication Analyzer tool.

Зображення, що містить текст, знімок екрана, програмне забезпечення, число Автоматично згенерований опис

As you can see from the screenshot above, StarWind Deduplication Analyzer estimated the deduplication ratio of 6,69GB as 94,52%.

Prior to running deduplication, I need to configure the Data Deduplication feature.

Open Server Manager => File and Storage Services => Volumes, right-click on the “File server for general use” volume and choose Configure Data Deduplication.

wp-image-26004

Select “General purpose file server”.

wp-image-26005

Deduplication was run automatically according to the schedule set.

OK, let’s compare the storage size before and after deduplication.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

The same comparison but this time in PowerShell.

Зображення, що містить текст, програмне забезпечення, Шрифт, Веб-сторінка Автоматично згенерований опис

So, StarWind Deduplication Analyzer estimated deduplication ratio of 6.69 GB as 94.52%.

But after first optimization, the deduplication ratio was 91%, thus freeing 6.41GB of disk space. 3% difference? Quite precise if you ask me.

NOW LET’S GO ON TO THE SECOND PART AND CREATE A SCALE-OUT FILE SERVER

For that purpose, we need at least three disks.

I’ve created 3 HA devices In StarWind Management Console.

wp-image-26008

After that, I need to connect iSCSI targets in iSCSI Initiator.

Зображення, що містить текст, знімок екрана, число, Шрифт Автоматично згенерований опис

Next, initialize the disks as MBR in Disk Management.

wp-image-26010

In the Role tab, configure the file server role with Scale-Out File Server type.

Зображення, що містить текст, програмне забезпечення, Комп’ютерна піктограма, Мультимедійне програмне забезпечення Автоматично згенерований опис

Select the role and the File Server type.

wp-image-26012

Select the name and confirm the file server creation.

wp-image-26013

Here is the result.

wp-image-26014

Now, right-click the Pools tab and choose “New Storage Pool”.

Зображення, що містить текст, програмне забезпечення, знімок екрана, Комп’ютерна піктограма Автоматично згенерований опис

Select the disks and confirm the storage pool configuration.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Шрифт Автоматично згенерований опис

After creating the cluster pool, add the virtual disk.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

Next, set the size and confirm the virtual disk settings.

wp-image-26018

 

Now, let’s create the volume.

wp-image-26019

Select the server, disk and confirm the volume settings.

Зображення, що містить текст, знімок екрана, програмне забезпечення, число Автоматично згенерований опис

After that, add a file share.

wp-image-26021

The next step is to select the profile and the file share location.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

Select the share name and confirm the settings.

Зображення, що містить текст, знімок екрана, програмне забезпечення, число Автоматично згенерований опис

Here is what we get the result.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

Now, connect to Scale-Out File Server over the network.

Зображення, що містить текст, знімок екрана, програмне забезпечення, число Автоматично згенерований опис

DEDUPLICATION

Prior to enabling deduplication on the File server, I’ve placed two VMs (created in Hyper-V Manager) in the shared folder.

Зображення, що містить текст, знімок екрана, Шрифт, число Автоматично згенерований опис

The deduplication test was held under two scenarios:

VMs running

VMs turned off

CONFIGURING DATA DEDUPLICATION

For VMs deduplication, I’ve used Virtual Desktop Infrastructure (VDI) server mode.  Data Deduplication is configured in Server Manager: Server Manager => File and Storage Services => Volumes.

wp-image-26027

Scenario 1 (VMs running)

First, let’s analyze the deduplication outcome with StarWind Deduplication Analyzer.

Зображення, що містить текст, програмне забезпечення, Шрифт, знімок екрана Автоматично згенерований опис

As you can see from the screenshot above, the tool calculated the deduplication ratio of 31.4 GB as 74.13%.

Once again, let’s take a look at how the storage size has changed after deduplication in Server Manager.

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

That’s how it looks in PowerShell.

Зображення, що містить текст, програмне забезпечення, Шрифт, Веб-сторінка Автоматично згенерований опис

The deduplication ratio 58% so we’ve managed to free up 18.7GB of disk space.

Scenario 2. VMs turned off

As usual, I first measure the deduplication ratio with StarWind Deduplication Analyzer.

Зображення, що містить текст, програмне забезпечення, Шрифт, Комп’ютерна піктограма Автоматично згенерований опис

As you can see, StarWind Dedup Analyzer estimated the deduplication ratio for 23.4 GB as 65.68%.

Let’s compare how storage size has changed after deduplication in Server Manager…

Зображення, що містить текст, знімок екрана, програмне забезпечення, Комп’ютерна піктограма Автоматично згенерований опис

…and PowerShell.

Зображення, що містить текст, програмне забезпечення, Шрифт, Веб-сторінка Автоматично згенерований опис

So, we’ve managed to free up 78% – 18.6GB of disk space thanks to deduplication.

CONCLUSION

So, let’s take a look at the numbers once again. I’ve created two types of a file server: “File server for general use” and Scale-Out File Server. I’ve analyzed the deduplication ratio with StarWind Deduplication Analyzer tool and performed data deduplication.

Under the “File server for general use” scenario, StarWind Dedup Analyzer estimated the deduplication ratio as 94.52% while the actual result was 91% which allowed us to gain 6.41GB of free disk space.

Under the Scale-Out File Server scenario, we’ve investigated two options: VMs running and turned off.

When VMs were running, the StarWind tool showed the dedup ratio as 74.13% and the actual result was 58% – 18.7GB of free disk space.

With VMs off, StarWind Deduplication Analyzer gave 65.68% prediction for dedup ratio and the real deduplication result was 78% – 18.6GB disk space acquired.

Well, we can see that the VMs state does not affect the deduplication outcome as in both cases, the amount of storage space gained was practically identical. Overall, the smallest deduplication ratio was 58% (18.7GB) so it’s still a profit. To conclude, deduplication really helps to free some disk space for your file server, so if you still have any doubts considering its benefits, leave them behind.

 

Found Dmitriy’s article helpful? Looking for a reliable, high-performance, and cost-effective shared storage solution for your production cluster?
Dmytro Malynka
Dmytro Malynka StarWind Virtual SAN Product Manager
We’ve got you covered! StarWind Virtual SAN (VSAN) is specifically designed to provide highly-available shared storage for Hyper-V, vSphere, and KVM clusters. With StarWind VSAN, simplicity is key: utilize the local disks of your hypervisor hosts and create shared HA storage for your VMs. Interested in learning more? Book a short StarWind VSAN demo now and see it in action!