Importancia dos datos sintéticos

Introdución

Todos sabemos da intelixencia artificial, non si? Está a revolucionar o panorama tecnolóxico en todo o mundo e espérase que creza enormemente na próxima década. Como a IA marca a súa presenza en industrias en todo o mundo, vale dicir que estamos a mirar un mundo onde a vida sen IA parecerá imposible. A IA está a facer máquinas cada vez máis intelixentes todos os días, impulsando as innovacións que revolucionan o funcionamento das persoas. Non obstante, pode haber unha pregunta na túa mente que vaia algo así: que axuda a facer todo isto e a obter resultados precisos? A resposta é moi sinxela e iso é datos.

Os datos son o combustible fundacional para a IA. A calidade e a cantidade dos datos, xunto coa diversidade dos datos, inflúen directamente no xeito no que os sistemas AI poden funcionar. Esta aprendizaxe impulsada por datos permite que a IA descubra patróns esenciais, tomando decisións cunha mínima intervención humana. Non obstante, a adquisición de grandes volumes de datos reais de boa calidade adoita restrinxirse debido a custos e problemas de privacidade, entre unha lista interminable doutros. Aquí entran en xogo os datos sintéticos e a súa importancia.

Obxectivos de aprendizaxe

• Comprender a importancia dos datos sintéticos
• Coñece o papel da IA ​​xeradora na creación de datos
• Explora aplicacións prácticas e a súa aplicación nos teus proxectos
• Coñece as implicacións éticas relacionadas co uso e importancia dos datos sintéticos nos sistemas de AI

Este artigo foi publicado como parte do Blogathon de ciencias de datos.

A importancia dos datos sintéticos de alta calidade

Datos sintéticos Non é máis que datos xerados artificialmente. En concreto, imita as propiedades estatísticas dos datos do mundo real sen que os identificadores o distinguen dos datos reais.

Bastante chulo, non?

Os datos sintéticos non son só unha solución para os problemas de privacidade. Máis ben, é unha pedra angular para a IA responsable. Esta forma de xeración de datos aborda varios retos asociados ao uso de datos reais. É útil cando os datos dispoñibles son menos ou tendenciosos cara a unha clase particular. Ademais, tamén se pode usar en aplicacións onde a privacidade é importante. Isto débese a que os datos reais son xeralmente confidenciais e poden non estar dispoñibles para o seu uso. Polo tanto, engadir axuda a resolver estes problemas e mellorar a precisión do modelo.

Segundo unha estimación feita nun Informe GartnerEspérase que os datos sintéticos gañen a carreira contra datos reais sobre o uso nos modelos de AI ata o 2030. Isto mostra o seu poder e papel na mellora dos sistemas de AI.

Papel da IA ​​xeradora na creación de datos sintéticos

AI xeradora Os modelos están no corazón da creación de datos sintéticos. O que eses son esencialmente é sinxelo: aprenden os patróns subxacentes dentro dos conxuntos de datos orixinais e logo tratan de replicalos. Empregando algoritmos como redes adversarias xeradoras (GAN) ou autoencoders variacionais, a IA xeradora pode producir conxuntos de datos altamente precisos e diversos necesarios para adestrar moitos sistemas AI.

Na paisaxe da xeración de datos sintéticos destacan varias ferramentas innovadoras, deseñadas para atender ás necesidades específicas na ciencia dos datos. Ydata’s ydata-sintético é un kit de ferramentas completo que utiliza modelos de AI xeradores avanzados para crear conxuntos de datos sintéticos de alta calidade, ofrecendo tamén funcións de perfil de datos para axudar a comprender a estrutura destes datos.

Outro marco notable é Doppelgangerque usa redes de adversarios xeradores (GAN) para xerar de forma eficiente series de tempo sintéticas e datos de atributos. Ademais, Twinify Ofrece un enfoque único para crear xemelgos sintéticos de privacidade de conxuntos de datos sensibles, o que o converte nunha valiosa ferramenta para manter a privacidade dos datos. Estas ferramentas proporcionan opcións versátiles para científicos de datos que buscan mellorar a privacidade do conxunto de datos, ampliar os volumes de datos ou mellorar a precisión do modelo sen comprometer información sensible.

Creación de datos sintéticos de alta calidade

A creación de datos sintéticos de boa calidade implica varios pasos clave que axudan a garantir que os datos xerados sexan realistas e tamén conserven as propiedades estatísticas dos datos orixinais.

O proceso comeza por definir obxectivos claros para estes datos, como a privacidade de datos, aumentar os conxuntos de datos reais ou probar modelos de aprendizaxe de máquinas. A continuación, é importante recoller e analizar datos do mundo real para comprender os seus patróns, distribucións e correlacións subxacentes.

Para ilustrar, considere o seguinte exemplo de datos:

• Repositorio de aprendizaxe automática UCI: Unha colección diversa de conxuntos de datos adecuados para comprender as distribucións de datos e xerar homólogos sintéticos. Repositorio de aprendizaxe automática UCI
• Conxuntos de datos Kaggle: Ofrece unha ampla gama de conxuntos de datos en varios dominios, útiles para analizar e sintetizar datos. Conxuntos de datos Kaggle
• Vault de datos sintéticos (SDV): Ofrece ferramentas e conxuntos de datos para xerar datos sintéticos baseados en datos do mundo real mediante modelos estatísticos. Documentación SDV

Estes conxuntos de datos pódense analizar para identificar as propiedades estatísticas clave. Que se pode empregar para xerar datos sintéticos mediante ferramentas como YDATA sintética, Twinify e Doppelganger. Os datos sintéticos xerados pódense validar con respecto aos datos orixinais a través de probas estatísticas e visualizacións para asegurarse de que conserva as propiedades e correlacións necesarias. Polo tanto, facelo adecuado para diversas aplicacións como a formación e probas de modelos de aprendizaxe automática, a análise de datos que conserva a privacidade e moito máis.

Escenarios de aplicación potenciais

Imos agora explorar escenarios de aplicacións potenciais.

Aumento de datos

Este é o escenario superior onde se usan datos sintéticos: cando estean os datos escasos ou desequilibrados. Os datos sintéticos aumentan os conxuntos de datos existentes, asegurando así que os modelos de AI están adestrados en conxuntos de datos máis grandes. Esta aplicación é crítica en campos como a asistencia sanitaria, onde diversos conxuntos de datos poden levar a ferramentas de diagnóstico máis robustas.

A continuación móstrase un fragmento de código que aumenta o Conxunto de datos Iris con datos sintéticos xerados usando o sintetizador de YDATA, garantindo datos máis equilibrados para os modelos de AI de formación. Isto conséguese usando un sintetizador que está equipado nos datos reais (o conxunto de datos IRIS) e aprende os patróns e as distribucións subxacentes dos datos. Usando o sintetizador encaixado, xéranse datos sintéticos que logo se concatenen cos datos reais, aumentando así o conxunto de datos.

import pandas as pd    
from ydata_synthetic.synthesizers.regular import RegularSynthesizer
url = "https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv"
real_data = pd.read_csv(url)
synthesizer = RegularSynthesizer()
synthesizer.fit(real_data)
synthetic_data = synthesizer.sample(n_samples=100)
augmented_data = pd.concat([real_data, synthetic_data])
print(augmented_data.head())

Saída:

sepal_length  sepal_width  petal_length  petal_width species

0           5.1          3.5           1.4          0.2  setosa

1           4.9          3.0           1.4          0.2  setosa

2           4.7          3.2           1.3          0.2  setosa

3           4.6          3.1           1.5          0.2  setosa

4           5.0          3.6           1.4          0.2  setosa

Mitigación de sesgo

Ás veces, os datos dispoñibles están tendenciosos cara a unha clase particular; Ten máis mostras de clase A que a clase B. Polo tanto, o modelo pode predicir a clase A máis que a clase B. Para contrarrestar isto, podemos alterar intencionadamente a distribución de datos existente, promovendo así a equidade nas saídas dadas por AI. Isto é especialmente importante en sectores como o crédito e a contratación, onde os algoritmos sesgados poden afectar significativamente a vida das persoas.

O código seguinte xera datos sintéticos se ten unha clase subrepresentada no seu conxunto de datos (neste caso, a clase versicolor no conxunto de datos IRIS) para equilibrar a distribución da clase. O conxunto de datos orixinal ten un sesgo onde a clase versicolor está menos representada en comparación coas outras clases (setosa e virginica). Usando o regularsynthesizer da biblioteca sintética YDATA, os datos sintéticos xéranse específicamente para a clase versicolor que logo se engade ao conxunto de datos sesgado orixinal. Aumentando así o número de instancias na clase versicolor e creando unha distribución máis equilibrada.

import pandas as pd
from ydata_synthetic.synthesizers.regular import RegularSynthesizer
url = "https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv"
biased_data = pd.read_csv(url)
biased_data = biased_data[biased_data['species'] != 'versicolor']
synthesizer = RegularSynthesizer()
synthesizer.fit(biased_data)
# Generating synthetic data for the minority class (versicolor)
synthetic_minority_data = synthesizer.sample(n_samples=50)
synthetic_minority_data['species'] = 'versicolor'
balanced_data = pd.concat([biased_data, synthetic_minority_data])
print("Biased Data Class Distribution:") 
print(biased_data['species'].value_counts()) 
print("\nBalanced Data Class Distribution:") 
print(balanced_data['species'].value_counts())

Saída:

Biased Data Class Distribution:
setosa        50
virginica     50
versicolor     0
Name: species, dtype: int64
Balanced Data Class Distribution:
setosa        50
virginica     50
versicolor    50
Name: species, dtype: int64

Compartición de datos que conserva a privacidade

Permite compartir conxuntos de datos realistas (non reais, pero case!) En todas as organizacións sen o risco de expoñer información sensible que poida crear problemas de confidencialidade. Isto é crucial para industrias como finanzas e telecomunicacións, onde o intercambio de datos é necesario para a innovación, pero hai que manter a privacidade e a confidencialidade.

Este código crea xemelgos sintéticos de conxuntos de datos sensibles mediante Twinify, que permite compartir datos sen comprometer a privacidade.

import pandas as pd
from twinify import Twinify
url = "https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv"
sensitive_data = pd.read_csv(url)
twinify_model = Twinify()
twinify_model.fit(sensitive_data)
synthetic_twins = twinify_model.sample(n_samples=len(sensitive_data))
print(synthetic_twins.head())

Saída:

sepal_length  sepal_width  petal_length  petal_width     species

0      5.122549     3.527435      1.464094     0.251932      setosa

1      4.846851     3.091847      1.403198     0.219201      setosa

2      4.675999     3.250960      1.324110     0.194545      setosa

3      4.675083     3.132406      1.535735     0.201018      setosa

4      5.014248     3.591084      1.461466     0.253920      setosa

Avaliación e probas de riscos

A avaliación e probas de riscos son aplicacións críticas de datos sintéticos, permitindo ás organizacións avaliar e mellorar a robustez dos seus sistemas en escenarios hipotéticos non representados en datos reais. En ciberseguridade, os datos sintéticos permiten a simulación de escenarios de ataque sofisticados, como as fazañas do día cero e as ameazas persistentes avanzadas, axudando a identificar vulnerabilidades e fortalecer as defensas. Do mesmo xeito, nos servizos financeiros, os datos sintéticos facilitan a análise de probas de estrés e escenarios mediante a modelaxe de condicións de mercado extremas. Isto permite ás institucións avaliar a resiliencia das súas carteiras e mellorar as estratexias de xestión de riscos.

Máis aló destes campos, os datos sintéticos tamén son valiosos na asistencia sanitaria para probar modelos predictivos en raros escenarios clínicos, na fabricación para simular fallos de equipos e interrupcións da cadea de subministración e no seguro para modelar o impacto de desastres naturais e accidentes importantes. As organizacións poden mellorar a resiliencia do seu sistema preparándose para eventos raros pero catastróficos mediante simulación de datos sintéticos. Isto garante que teñan o equipo necesario para xestionar situacións inesperadas e, polo tanto, mitigar eficazmente os riscos potenciais.

Conclusión

A medida que a IA remodifica o noso mundo, os datos son cruciais para tratar problemas de privacidade, custo e accesibilidade, garantindo modelos éticos e eficaces. As técnicas xeradoras de IA permiten a creación de conxuntos de datos de alta calidade que reflicten complexidades do mundo real, aumentando a precisión e fiabilidade do modelo. Estes conxuntos de datos fomentan o desenvolvemento de IA responsable mitigando os sesgos, facilitando o intercambio de datos que preservan a privacidade e permitindo avaliacións completas de riscos. Aproveitar ferramentas como YData-sintéticas e Doppelganger serán esenciais para realizar a plena innovación de AI e impulsar a innovación. Estas ferramentas defenden os estándares éticos ao tempo que permiten avances no desenvolvemento de IA. Neste artigo exploramos a importancia dos datos sintéticos.

Takeaways clave

• A importancia dos datos sintéticos é que ofrece unha solución para empregar conxuntos de datos realistas pero completamente privados, adheríndose a rigorosas leis de protección de datos. Garantir tamén que a información sensible nunca está en risco.
• Ao xerar datos sintéticos que reflicten a variabilidade e a complexidade de datos reais, as organizacións poden mellorar a precisión tamén a fiabilidade dos seus modelos de AI sen as restricións de escaseza de datos.
• Os datos sintéticos reducen a necesidade de procesos caros de recollida de datos e o almacenamento de grandes cantidades de datos reais. Fai unha alternativa rendible para a formación e a proba de modelos AI.
• Ofrece un enfoque proactivo para crear conxuntos de datos equilibrados que impidan a perpetuación de sesgos, promovendo aplicacións de AI máis xustas e equitativas.

Cada un destes puntos subliña o potencial transformador dos datos sintéticos para abrir o camiño para un desenvolvemento responsable, eficiente e ético de IA. A medida que avanzamos, o papel de ferramentas como Ydata-sintéticas ou Doppelganger será fundamental para dar forma a este futuro, garantindo que a IA segue evolucionando como unha ferramenta para o ben, guiada polos principios de IA responsable.

Preguntas frecuentes

Os medios mostrados neste artigo non son propiedade de Analytics Vidhya e úsanse a criterio do autor.