Base de datos distribuida MPP del motor de datos H3C

Almacenamiento y computación de columnas avanzadas

En el MPP del motor de datos h3c, cada columna de datos se almacena de forma independiente en un bloque de almacenamiento continuo del disco duro. Esto es fundamentalmente diferente de las bases de datos tradicionales que almacenan datos continuamente en orden de fila.

El MPP del motor de datos H3C también admite tecnología de descompresión diferida. El optimizador y el motor de ejecución del MPP del motor de datos H3C aprovechan al máximo la tecnología de computación de columnas para soportar el acceso directo a los valores codificados por datos en condiciones de consulta y asociaciones sin necesidad de decodificarlos primero. De esta manera, el MPP del motor de datos H3C puede ahorrar en gran medida los gastos de la CPU durante la consulta de datos, mejorando así el rendimiento general de la consulta.

Compresión activa eficiente

El MPP del motor de datos H3C admite más de 12 algoritmos de compresión, como: codificación de longitud de viaje, codificación incremental, compresión entera para datos enteros, codificación de diccionario de bloques para datos de caracteres, codificación Lempel - Ziv para otros tipos de datos, etc.

La relación de compresión de datos del MPP del motor de datos H3C suele alcanzar los 10: 1. Desde el punto de vista del ahorro de recursos de E / s, para los sistemas de análisis en los que I / o es el principal cuello de botella, la tecnología de compresión activa del MPP del motor de datos H3C puede traer una mejora de rendimiento de aproximadamente un orden de magnitud en comparación con las bases de datos tradicionales. Sin embargo, las características de los datos empresariales de diferentes industrias son muy diferentes. Por lo tanto, la relación de compresión del MPP del motor de datos H3C para diferentes tipos de datos también es diferente.

Computación paralela única y conveniente a gran escala sin compartir y escalabilidad

El MPP del motor de datos H3C admite una expansión de clúster en línea de un clic. Se puede agregar y eliminar nodos con un solo clic y completar automáticamente la redistribución de datos, y el proceso de expansión no necesita interrumpir el negocio en funcionamiento. Todos los nodos del clúster MPP del motor de datos H3C son completamente recíprocos, no se necesita un nodo principal, y la carga de datos, la exportación de datos y la consulta se pueden ejecutar simultáneamente en todos los nodos en paralelo. Debido a que no hay intercambio de recursos, aumentar los nodos puede expandir linealmente la capacidad de datos y la Potencia informática del MPP del motor de datos h3c, y puede expandir y contraer fácilmente de varios nodos a miles de nodos, o de varios terabytes a 10 petabytes para cumplir con los requisitos de crecimiento del tamaño del negocio.

Almacenamiento jerárquico basado en negocios

En la era del Big data, la generación de datos es cada vez más rápida, mientras que el cumplimiento y la minería profunda requieren conservar más datos, por lo que cada vez hay más datos almacenados en la base de datos. El MPP del motor de datos H3C puede optimizar los costos de almacenamiento especificando diferentes estrategias de almacenamiento para diferentes esquemas, objetos como tablas y particiones de tablas, especificando diferentes ubicaciones de almacenamiento (se pueden adoptar diferentes medios de almacenamiento de rendimiento, costo y capacidad). Al mismo tiempo, el MPP del motor de datos H3C también admite hacer copias de Seguridad de algunas tablas y particiones de tablas al almacenamiento fuera de línea, así como recuperarse del almacenamiento fuera de línea, lo que acelera en gran medida el intercambio de datos entre el almacenamiento en línea y el almacenamiento fuera de línea, y mejora la utilización y el valor comercial de los dispositivos en línea.

Diseño de optimización automática incorporado

El diseñador del MPP del motor de datos H3C no solo proporciona un diseño de optimización general de bases de datos o esquemas, sino que también admite una optimización incremental para ciertas consultas específicas. Además, el H3C data Engine MPP también proporciona un analizador de carga para recopilar datos de carga de funcionamiento de la base de datos y proporcionar recomendaciones de automatización en cualquier momento. Esto reduce en gran medida el costo de la gestión de dba.

Sistema de garantía de estabilidad

El MPP del motor de datos H3C logra una alta disponibilidad manteniendo múltiples copias de seguridad redundantes de los datos. El MPP del motor de datos H3C garantiza que los datos redundantes se hashen y almacenen en diferentes nodos, incorporando así una función inteligente de espejo de datos. El MPP del motor de datos H3C lo llama fiabilidad del coeficiente de nivel K (k - safety), k se refiere al número de nodos arbitrarios que el MPP del motor de datos H3C puede tolerar que puedan ocurrir fallas.

La fiabilidad del coeficiente de nivel k garantiza que cuando cualquier nodo K falla, todavía hay al menos un dato completo en el clúster para responder a las solicitudes de procesamiento de datos y consulta. Las fallas del nodo son transparentes para la aplicación y no interrumpen el negocio en curso. Al ajustar el número de copias de datos redundantes, H3C dataengine MPP puede obtener disponibilidad para satisfacer las necesidades de diseño de diferentes aplicaciones.

El MPP del motor de datos H3C admite de forma nativa grupos tolerantes a fallas y percepción de bastidores. Los datos del MPP del motor de datos H3C son redundantes en grupos tolerantes a fallas, cuando un nodo de un grupo tolerante a fallas (generalmente un gabinete, o incluso un área compuesta por varios gabinetes) falla, se puede garantizar que los datos de toda la base de datos sean completos y efectivos, evitando así eficazmente daños a la disponibilidad de todo el clúster por fallas de hardware a gran escala, como la pérdida de energía del gabinete.

Aprendizaje automático en la biblioteca

El sistema tradicional de análisis de datos utiliza el proceso operativo de "análisis / solicitud de minería - presentación de datos - Análisis / minería - presentación de resultados". La llegada del Big data ha hecho de la red un cuello de botella y la alta latencia de las tareas de análisis / minería se ha vuelto insoportable.

El MPP del motor de datos H3C enfatiza la colocación de algoritmos de análisis / minería en la base de datos, permitiendo que los algoritmos y los datos se combinen estrechamente, aprovechando al máximo la capacidad de computación en tiempo real del MPP del motor de datos H3C basada en las características de la arquitectura de columna y mpp, y realizando tareas de análisis / minería de manera eficiente.

Además del análisis estadístico común y el análisis de regresión lineal, el MPP del motor de datos H3C se ha ampliado sobre la base de SQL - 99, proporcionando funciones de análisis avanzadas basadas en series temporales, análisis de coincidencia de patrones, análisis geográfico y así sucesivamente. Estas funciones reducirán en gran medida el trabajo de los propios usuarios en el desarrollo de análisis de datos complejos y completarán bien las tareas de análisis en un entorno de Big data. Al mismo tiempo, el MPP del motor de datos H3C admite análisis de fusión estructurados y no estructurados, combinados con las excelentes capacidades de análisis estructuradas y no estructuradas del MPP del motor de datos H3C y hadoop, respectivamente, pueden crear soluciones de análisis de fusión eficientes.

Desarrollar y ampliar capacidades

El MPP del motor de datos H3C tiene una fuerte compatibilidad. Soporte para el estándar QR - 92 / QR - 99 / QR - 2003 y ofrece controladores odbc, jdbc, ado.net, que se pueden integrar fácilmente con las herramientas ETL existentes (como information, datastage), herramientas de informes (como bo, cognos, etc.) y herramientas de análisis (como sas, spass, etc.) para proteger las inversiones existentes.

El servidor MPP del motor de datos H3C utiliza el servidor Linux x86, que admite los principales servidores x86 y la distribución de linux. El MPP del motor de datos H3C también proporciona un SDK para desarrollar funciones personalizadas, permitiendo a los usuarios usar el MPP del motor de datos H3C como plataforma de computación de Big data, agregando sus algoritmos únicos de análisis y procesamiento de datos al MPP del motor de datos H3C como una extensión a través del lenguaje C + + / R / java, para aprovechar al máximo la tecnología de computación MPP y columna del MPP del motor de datos h3c, para que los usuarios tengan inmediatamente una capacidad de procesamiento eficiente de análisis de Big data.

El MPP del motor de datos H3C admite una expansión de clúster en línea de un clic. Se puede agregar y eliminar nodos con un solo clic y completar automáticamente la redistribución de datos, y el proceso de expansión no necesita interrumpir el negocio en funcionamiento.

Seguridad de la base de datos

El MPP del motor de datos H3C tiene una fuerte seguridad. El MPP del motor de datos H3C admite una variedad de métodos de autenticación. Solo los usuarios certificados permiten el acceso al MPP H3C dataengine. Al mismo tiempo, el H3C data Engine MPP ofrece un mecanismo completo de roles y autorización, que puede controlar con flexibilidad los derechos de acceso a los datos de los usuarios. Soporte para múltiples inquilinos y cajas de arena para implementar el modelo de gestión de múltiples inquilinos de la base de datos. El modelo de múltiples inquilinos puede aprovechar al máximo las diferencias de tiempo "pico a valle" en el consumo de recursos de diferentes inquilinos / aplicaciones para lograr el intercambio de recursos.

Además, el H3C data Engine MPP también admite algunas características de copia de Seguridad y recuperación de objetos de base de datos (como esquema y tabla), y admite la gestión de estrategias de copia de Seguridad por inquilino, para que cada inquilino pueda llevar a cabo una gestión completa del ciclo de vida de sus propios objetos de datos. Las funciones de copia de Seguridad y recuperación de algunos objetos de la base de datos del MPP del motor de datos H3C proporcionan soporte para que el sistema de Big data se gestione jerárquicamente de acuerdo con la aplicación y el usuario.

Almacenamiento y computación de columnas optimizadas

En el MPP del motor de datos h3c, cada columna de datos se almacena de forma independiente en un bloque de almacenamiento continuo del disco duro. Esto es fundamentalmente diferente de las bases de datos tradicionales que almacenan datos continuamente en orden de fila. El MPP del motor de datos H3C admite tecnología física y química de retraso. Para la mayoría de las consultas analíticas, a menudo solo es necesario obtener un subconjunto de todos los datos de la columna. El optimizador de columnas MPP y el motor de ejecución del motor de datos H3C pueden saltar columnas independientes en el almacenamiento de columnas, ahorrando así un gran consumo de recursos de E / S.

Compresión activa

A diferencia de otras bases de datos que afirman soportar el almacenamiento de columnas que se almacenan en orden inverso de inserción de datos, H3C dataengine MPP selecciona automáticamente el método de clasificación y el algoritmo de compresión aplicables en función del tipo de datos, la base y las características de consulta de cada columna para minimizar el espacio de almacenamiento ocupado por los datos, reducir el consumo de E / s de la consulta y mejorar el rendimiento de la consulta. El MPP del motor de datos H3C admite más de 12 algoritmos de compresión.

Computación paralela a gran escala sin compartir y escalabilidad

Todos los nodos del clúster MPP del motor de datos H3C son completamente recíprocos, no se necesita un nodo principal, y la carga de datos, la exportación de datos y la consulta se pueden ejecutar simultáneamente en todos los nodos en paralelo. Debido a que no hay intercambio de recursos, aumentar los nodos puede expandir linealmente la capacidad de datos y la Potencia informática del MPP del motor de datos h3c, y puede expandir y contraer fácilmente de varios nodos a miles de nodos, o de varios terabytes a 10 petabytes para cumplir con los requisitos de crecimiento del tamaño del negocio.

Almacenamiento jerárquico

En la era del Big data, la generación de datos es cada vez más rápida, mientras que el cumplimiento y la minería profunda requieren conservar más datos, por lo que cada vez hay más datos almacenados en la base de datos. El análisis del rendimiento, el alto costo de los discos de alta velocidad y los requisitos de capacidad de Big data son a menudo contradictorios. Las características de almacenamiento jerárquico del MPP del motor de datos H3C pueden resolver eficazmente esta contradicción. El MPP del motor de datos H3C puede optimizar los costos de almacenamiento especificando diferentes estrategias de almacenamiento para diferentes esquemas, objetos como tablas y particiones de tablas, especificando diferentes ubicaciones de almacenamiento (se pueden adoptar diferentes medios de almacenamiento de rendimiento, costo y capacidad).

Diseño de optimización automática

El MPP del motor de datos H3C tiene un diseñador de optimización de bases de datos incorporado con conocimientos expertos. Los usuarios solo necesitan especificar el esquema lógico (esquema), cargar los datos de muestra y proporcionar sentencias SQL de consulta típicas. el diseñador de optimización de base de datos del MPP del motor de datos H3C diseñará automáticamente la distribución horizontal de los datos, la clasificación de cada columna y el algoritmo de compresión de acuerdo con el conocimiento experto, equilibrando el rendimiento de La consulta y los requisitos de tamaño del espacio de almacenamiento, y logrando la optimización general de la base de datos.

Plataforma de análisis en la nube nativa

El MPP del motor de datos H3C admite al mismo tiempo la separación de los recursos de computación y almacenamiento en escenarios de nube pública y privada, combinando el alto rendimiento del MPP sin compartir y las ventajas de rápida expansión del almacenamiento compartido, la copia principal de los datos se encuentra en el almacenamiento compartido, que es fácil de expandir rápidamente, y los Datos calientes se encuentran en los recursos informáticos para proporcionar un rendimiento de alta velocidad localmente, al tiempo que evita el desperdicio de recursos en escenarios de carga de alta concurrencia a través de "subclases", evitando el número excesivo de nodos de clúster y logrando así una expansión flexible de la capacidad de rendimiento.

Arquitectura MPP sin compartir: el MPP del motor de datos H3C utiliza cientos de nodos de computación paralela es la clave de la arquitectura para apoyar el análisis de Big data para obtener recursos de computación y almacenamiento suficientes. La arquitectura MPP sin compartir no requiere almacenamiento compartido, ni siquiera un nodo principal (primero) especial, para poder expandirse a cientos de nodos para apoyar el análisis de Big data.

Soporte nativo de alta disponibilidad: el MPP H3C dataengine tiene una alta disponibilidad incorporada. si se produce un fallo de nodo dentro del rango de disponibilidad de diseño, se puede lograr la transparencia de la aplicación sin interrumpir el negocio en ejecución. Las funciones incrementales de copia de Seguridad y recuperación del MPP del motor de datos h3c, copia de Seguridad y recuperación de algunos objetos de la base de datos, pueden garantizar que la aplicación pueda recuperarse rápidamente y estar disponible en caso de desastre.

Base de datos de columnas optimizadas: la clave para el rendimiento del análisis de Big data elimina el cuello de botella de los gastos de E / S. La combinación de almacenamiento y computación de columnas MPP del motor de datos H3C (motor de columnas) para proporcionar funciones completas, incluidas operaciones de adición, eliminación y modificación, es la clave para apoyar consultas de análisis de alto rendimiento y consultas ad hoc en condiciones de Big data.

Plataforma ideal de análisis en tiempo real de Big data: H3C dataengine MPP utiliza tecnología de almacenamiento y computación de columnas de alto rendimiento, admite compresión activa de datos, análisis avanzado, con características avanzadas como expansión flexible y expansión externa personalizada, y es una plataforma ideal para apoyar el análisis en tiempo real de Big data.