Os dados que nós inserimos em uma aplicação, são organizados de acordo com a estrutura definida em nossa modelagem, podem encontrar-se agrupados em uma ou diversas tabelas, a forma de busca-los é através de consultas, que podem ser simples ou complexas, dependendo sempre do quanto de informações se quer extrair dessa(s) tabela(s).
Uma ferramenta que pode ser poderosíssima a favor e contra o desempenho de nosso SGBD é a criação de índices, temos que entender a sua finalidade, sua consistência e manutenção, antes de criarmos armadilhas que podem prejudicar nosso cliente.
O primeiro conceito fundamental que temos que ter em vista é que índices ocupam espaços, isto é, são pedaços das tabelas que são reproduzidos em outra área de disco, portanto, mais índices, mais espaços consumidos.
O índice pode funcionar como uma referência, para encontrar as informações de uma ou mais tabelas, portanto é sempre bom ter índices e tabelas organizados em discos distintos, discos particionados não são distintos, trata-se do mesmo disco com áreas, espaços, definidos para um grupo de informações, os cabeçotes de leitura dos discos trabalham em conjunto, portanto o melhor desempenho poderá ser obtido com discos distintos, enquanto um grupo de cabeçotes pesquisa o índice, outro grupo trabalha na obtenção dos dados, isso funciona bem para discos simples, quando trabalhamos com RAID a coisa é um pouco diferente.
Um dos objetivos do índice é indicar o caminho mais rápido para acessar as informações na tabela mas existem situações em que não é necessário acessar a tabela, lembrando que o índice e a tabela são arquivos distintos e, se não for necessária a segunda pesquisa (na tabela) economiza-se tempo e banda de rede, por exemplo, se eu quero saber se determinada informação existe, se não for necessário trazer o nome, apenas a confirmação de que existe, então retornar true ou false é suficiente.
Existem outras situações em que busco um conjunto de informações constantemente, se este conjunto estiver todo no índice, não fará a busca na tabela e terá o retorno rápido, pois os dados já estarão organizados. Mas esta opção só é válida quando usamos muitas vezes este tipo de consulta, para algo esporádico não é uma boa ideia.
Não podemos esquecer que cada índice criado terá que ser atualizado a cada nova modificação nos dados, quando há muitos índices, o tempo de gravação aumenta exponencialmente. Portanto o critério na criação dos índices é fundamental.
Índices criados a partir de número de linha (rowid) não é algo muito inteligente, por que quando pretendemos migrar para outro servidor ou outra versão de banco de dados, este número será diferente e causará uma série de transtornos desnecessários.
Índices criados a partir de um número sequencial (ID) é ótimo para candidatar-se a uma chave primária, pois sendo numérico e não repetido é mais prático para fazer chaves estrangeiras. Números tidos como não repetidos, como CPF, CNPJ entre outros são ótimos candidatos para chave única, dependendo da estrutura de dados e de sua modelagem.
É imprescindível que todas as tabelas possuam chave primária, e que sua ligação com outras tabelas para validação sejam feitas dentro do bando, isto é, por regras bem definidas, estas regras não podem ser quebradas e, preferencialmente, não devem ser desligadas em nenhuma situação.
Existem diversos tipos de índices, sua formação, composição e utilização, portanto um levantamento é sempre necessário para se criar um índice. Durante a modelagem, os índices primários são necessários, os demais devem ser criados durante o desenvolvimento do modelo, quando sente-se a necessidade de um novo indexador. Criar índices por que acredita ser mais rápido para determinado processo não é uma boa estratégia, durante a manutenção é comum eliminar-se índices não utilizados e, o que é pior, duplicados e desnecessários.
A modelagem, o desenvolvimento e o acompanhamento são importantíssimos para que a aplicação tenha a melhor performance.
Data Base Administrator
Destinado a discutir as melhores práticas na utilização de Bancos de Dados Relacionais
Translate
quarta-feira, 26 de outubro de 2016
sábado, 22 de outubro de 2016
Minha consulta está lenta
Esta é uma reclamação reincidente por parte da maioria dos desenvolvedores, apesar de serem excelentes na área de desenvolvimento de aplicativos, a grande maioria não teve acesso às melhores práticas de consulta em bancos de dados.
Algumas definições que tem ficar claras antes de lançar uma solicitação de informações ao banco de dados. Temos que nos lembrar que toda consulta exige um tráfego de rede, e uma série de processamentos internos no referido servidor.
Todos os dados tanto da consulta quanto da resposta irão trafegar pela rede, portanto, quanto mais "enxuta" for a solicitação, mais rapidamente chegará ao servidor, portanto, se esta consulta é feita diversas vezes, então pode ser mais interessante trabalharmos com uma view, já que os parâmetros de consulta já encontram-se no servidor e não precisarão trafegar pela rede.
Ainda falando da rede, a pior opção em uma consulta é utilizar o asterisco, que é um coringa para trazer a todas as colunas de uma ou mais tabelas. A menos que se vá trabalhar todas as colunas não há motivos para trafegar dados desnecessários pela rede. Quando fizer uma consulta, peça apenas as colunas que serão trabalhadas, caso não saiba quais são exatamente, pesquise no Modelo de Dados, ou verifique a descrição da tabela pelo comando próprio do banco de dados em questão.
Todos os bancos de dados relacionais possuem uma sequência para validar a sua solicitação e enviar uma resposta, estes três passos podem ser otimizados, são Parse, Execute e Fetch, isto é, analisa, executa e devolva.
O primeiro passo, Parse, uma análise será executada, o comando será validado em sua estrutura, os objetos envolvidos serão verificados, nomes e estruturas de dados, as permissões serão analisadas e finalmente o caminho será traçado para a resolução do processo. Este passo pode ser otimizado quando utilizamos views, ou parâmetros do tipo BIND, para solicitar as informações. Quando fazemos a consulta sem estes recursos, um único espaço será considerada uma consulta diferente e o processo de PARSE será refeito, portanto, a padronização se mostra muito eficaz neste processo.
O segundo passo, é a execução, os dados solicitados serão trabalhados, selecionados e preparados para responder ao solicitante. Este passo também pode ser otimizado se, quando existirem processos de conversão ou alguma função envolvida, esta já se encontre dentro do banco, o conceito de orientado a objeto (O.O.) é muito utilizado aqui, muitos processos ficam armazenados em memória, se o banco "percebe" que determinado processo já foi executado, ele não fará um novo processamento, aproveitará o que já foi feito.
O terceiro passo, o retorno das informações ao solicitante, todas as informações trabalhadas serão enviadas de volta a quem solicitou, aqui também podemos otimizar, pedindo como resposta somente o estritamente necessário, mesmo que se passe muitas informações para ser processadas, pode não ser necessário que se retorne tantas informações, diminuindo o tráfego da rede, que é onde a maioria dos gargalos acontecem.
Outra noção importante que temos que ter em nossa mente quando fazemos uma solicitação, os dados encontram-se, na maioria das vezes, em disco, que é o periférico mais lento do processo, então, quando fazemos uma solicitação, o SGBD terá que buscar os dados em disco, e transferi-los para a memória, que é onde todas as atividades acontecem.
Se a memória for pequena, e a massa de dados for grande, então será necessário que o SGBD solicite ao sistema operacional um processo chamado SWAP, isto é, transferir dados que encontram-se em memória para o disco para liberar mais memória para os dados que devem ser processados, se a massa de dados for muito grande, então o sistema terá que trabalhar com dados em memória e ficar trocando com os que encontram-se em disco para executar o processamento, isso fará com que a consulta fique excessivamente lenta.
Um processo de fechamento de mês, por exemplo, onde teremos que fazer uma contabilidade de todos os processos, começamos a puxar os dados do começo do mês e vamos trabalhando as informações até concluir o mês, isso poderá ser punitivo para o banco, repensar o processo, executando-o em partes ou realizando atualizações no decorrer do mês podem transformar processos muito longos em algo dinâmico e rápido.
O processador de um servidor de bancos de dados é o item de menor importância, mas sempre com sua presença fundamental, pois dificilmente haverá uma carga de processamentos tão grande em um banco de dados que necessite de processadores muito potentes, se a empresa tem que escolher, aconselho primeiro investir em memória, depois disco e depois processador, por ordem de importância.
Consultas bem otimizadas em bancos bem estruturados, dificilmente terão tempo de resposta elevados.
Existem outros itens importantes que devemos levar em consideração, mas levando-se estas recomendações em consideração, muito poderá ser melhorado.
Algumas definições que tem ficar claras antes de lançar uma solicitação de informações ao banco de dados. Temos que nos lembrar que toda consulta exige um tráfego de rede, e uma série de processamentos internos no referido servidor.
Todos os dados tanto da consulta quanto da resposta irão trafegar pela rede, portanto, quanto mais "enxuta" for a solicitação, mais rapidamente chegará ao servidor, portanto, se esta consulta é feita diversas vezes, então pode ser mais interessante trabalharmos com uma view, já que os parâmetros de consulta já encontram-se no servidor e não precisarão trafegar pela rede.
Ainda falando da rede, a pior opção em uma consulta é utilizar o asterisco, que é um coringa para trazer a todas as colunas de uma ou mais tabelas. A menos que se vá trabalhar todas as colunas não há motivos para trafegar dados desnecessários pela rede. Quando fizer uma consulta, peça apenas as colunas que serão trabalhadas, caso não saiba quais são exatamente, pesquise no Modelo de Dados, ou verifique a descrição da tabela pelo comando próprio do banco de dados em questão.
Todos os bancos de dados relacionais possuem uma sequência para validar a sua solicitação e enviar uma resposta, estes três passos podem ser otimizados, são Parse, Execute e Fetch, isto é, analisa, executa e devolva.
O primeiro passo, Parse, uma análise será executada, o comando será validado em sua estrutura, os objetos envolvidos serão verificados, nomes e estruturas de dados, as permissões serão analisadas e finalmente o caminho será traçado para a resolução do processo. Este passo pode ser otimizado quando utilizamos views, ou parâmetros do tipo BIND, para solicitar as informações. Quando fazemos a consulta sem estes recursos, um único espaço será considerada uma consulta diferente e o processo de PARSE será refeito, portanto, a padronização se mostra muito eficaz neste processo.
O segundo passo, é a execução, os dados solicitados serão trabalhados, selecionados e preparados para responder ao solicitante. Este passo também pode ser otimizado se, quando existirem processos de conversão ou alguma função envolvida, esta já se encontre dentro do banco, o conceito de orientado a objeto (O.O.) é muito utilizado aqui, muitos processos ficam armazenados em memória, se o banco "percebe" que determinado processo já foi executado, ele não fará um novo processamento, aproveitará o que já foi feito.
O terceiro passo, o retorno das informações ao solicitante, todas as informações trabalhadas serão enviadas de volta a quem solicitou, aqui também podemos otimizar, pedindo como resposta somente o estritamente necessário, mesmo que se passe muitas informações para ser processadas, pode não ser necessário que se retorne tantas informações, diminuindo o tráfego da rede, que é onde a maioria dos gargalos acontecem.
Outra noção importante que temos que ter em nossa mente quando fazemos uma solicitação, os dados encontram-se, na maioria das vezes, em disco, que é o periférico mais lento do processo, então, quando fazemos uma solicitação, o SGBD terá que buscar os dados em disco, e transferi-los para a memória, que é onde todas as atividades acontecem.
Se a memória for pequena, e a massa de dados for grande, então será necessário que o SGBD solicite ao sistema operacional um processo chamado SWAP, isto é, transferir dados que encontram-se em memória para o disco para liberar mais memória para os dados que devem ser processados, se a massa de dados for muito grande, então o sistema terá que trabalhar com dados em memória e ficar trocando com os que encontram-se em disco para executar o processamento, isso fará com que a consulta fique excessivamente lenta.
Um processo de fechamento de mês, por exemplo, onde teremos que fazer uma contabilidade de todos os processos, começamos a puxar os dados do começo do mês e vamos trabalhando as informações até concluir o mês, isso poderá ser punitivo para o banco, repensar o processo, executando-o em partes ou realizando atualizações no decorrer do mês podem transformar processos muito longos em algo dinâmico e rápido.
O processador de um servidor de bancos de dados é o item de menor importância, mas sempre com sua presença fundamental, pois dificilmente haverá uma carga de processamentos tão grande em um banco de dados que necessite de processadores muito potentes, se a empresa tem que escolher, aconselho primeiro investir em memória, depois disco e depois processador, por ordem de importância.
Consultas bem otimizadas em bancos bem estruturados, dificilmente terão tempo de resposta elevados.
Existem outros itens importantes que devemos levar em consideração, mas levando-se estas recomendações em consideração, muito poderá ser melhorado.
sexta-feira, 21 de outubro de 2016
Qual o melhor Banco de Dados para minha empresa ?
Muitas vezes ouço esta pergunta, tanto de empreendedores que querem ver sua empresa crescer quanto de estudantes que querem ingressar na área de bancos de dados, a resposta, como não poderia ser diferente, será sempre : Depende !!!
Existem inúmeros fatores que devemos levar em consideração antes de abraçar esta empreitada. Duas perguntas são fundamentais: Preciso MESMO de um banco de dados ? Qual o objetivo deste banco de dados no processo produtivo de minha empresa ?
Apesar de parecer um tanto quanto estranhas, elas são importantíssimas, pois a aquisição de um banco de dados vem com um grupo de requisitos que estão implícitos, são óbvios, porém nem sempre são levados em consideração.
1. O Sistema Gerenciador de Bancos de Dados (SGBD) tem que ser executado em um computador, princípio básico, mesmo já tendo ouvido absurdos do tipo "vai configurando o banco enquanto o servidor não chega" ou posso colocar o banco de dados no meu desktop que vai trabalhar como servidor...
1.1. A resposta é e será sempre não, se você necessita de um banco de dados, é por que ele deve.trabalhar em plena capacidade para trazer benefícios para sua empresa, se não está disposto a conceder um recurso específico para o banco de dados, provavelmente não conseguirá colher seus benefícios.
1.2. Um computador, neste caso um servidor, não servirá de nada se não estiver conectado a uma rede de dados, assim sendo, é importante que a infraestrutura esteja adequada para acolher este serviço com a maior eficiência possível.
1.3. Dados são armazenados em discos, discos falham, por isso necessitam de cópias e replicação, o investimento nestes recursos é imprescindível, fitas de backup e softwares especializados também são importantes, o backup do Windows é bom, mas não é a solução...
1.4. A escolha do Sistema Operacional não se faz por´valores financeiros e sim por integração com o banco de dados escolhido e com os recursos que trarão melhor segurança e performance ao banco.
2. O SGBD não funciona por obra de uma entidade espiritual, portanto será necessária a contratação de um profissional qualificado para definição, configuração, instalação, administração e manutenção deste banco de dados.
2.1. Não, não e não, sei que é extremamente simples efetuar a instalação de um banco de dados, assim como é simples a extração de um dente, porém eu continuo preferindo que um dentista qualificado trate dos meus dentes. Os efeitos colaterais de uma instalação mal feita será que o meu pagamento para consertar essa burrada costuma ser bastante interessante $$$
2.2. Todo o mundo da informática sofre atualizações constantes, o SGBD não poderia ser diferente, então o profissional tem que estar sempre atento às mudanças e aplica-las sempre que for necessário.
3. Mesmo o banco de dados mais simples pode ser extremamente seguro e o mais complexo pode ser extremamente acessível a terceiros, portanto a segurança de um banco de dados está vinculada à estratégia que será utilizada para mantê-lo seguro.
3.1. Além dos sistemas de proteção, uma boa política de utilização é imprescindível para garantir segurança das informações, sempre lembrando que, se os dados estão armazenados em um banco de dados, é por que são importantes, para você e para seus concorrentes.
4. Modelagem de dados é outra peça fundamental, infelizmente sempre desprezada pela maioria das empresas, o modelo de dados é como os mesmos serão armazenados, distribuídos e consultados pelos funcionários da empresa.
4.1. Uma boa modelagem de dados pode ser fundamental não só em questões de performance, mas também de integridade das informações. Já trabalhei em uma empresa de grande porte que possuía três cadastros únicos de clientes e prospects, alimentados por segmentos diferentes da empresa, consultei meus dados nesses três sistemas e as informações estavam incorretas em todos os três, em pelo menos dois itens de cada banco.
5. Os aplicativos que irão acessar, consultar, manter e dar suporte às decisões podem ser comprados ou desenvolvidos internamente, mas um bom analista de projetos é um recurso interessante para que não se obtenha um sistema incompleto ou incompatível com as necessidades da empresa.
Bom !!!
Aqui estão algumas das informações importantes para que se leve em consideração ao pensar na aquisição de um banco de dados para sua empresa.
Quanto aos estudantes, em breve colocarei novos tópicos que poderão ser de grande valia na vossa carreira.
Existem inúmeros fatores que devemos levar em consideração antes de abraçar esta empreitada. Duas perguntas são fundamentais: Preciso MESMO de um banco de dados ? Qual o objetivo deste banco de dados no processo produtivo de minha empresa ?
Apesar de parecer um tanto quanto estranhas, elas são importantíssimas, pois a aquisição de um banco de dados vem com um grupo de requisitos que estão implícitos, são óbvios, porém nem sempre são levados em consideração.
1. O Sistema Gerenciador de Bancos de Dados (SGBD) tem que ser executado em um computador, princípio básico, mesmo já tendo ouvido absurdos do tipo "vai configurando o banco enquanto o servidor não chega" ou posso colocar o banco de dados no meu desktop que vai trabalhar como servidor...
1.1. A resposta é e será sempre não, se você necessita de um banco de dados, é por que ele deve.trabalhar em plena capacidade para trazer benefícios para sua empresa, se não está disposto a conceder um recurso específico para o banco de dados, provavelmente não conseguirá colher seus benefícios.
1.2. Um computador, neste caso um servidor, não servirá de nada se não estiver conectado a uma rede de dados, assim sendo, é importante que a infraestrutura esteja adequada para acolher este serviço com a maior eficiência possível.
1.3. Dados são armazenados em discos, discos falham, por isso necessitam de cópias e replicação, o investimento nestes recursos é imprescindível, fitas de backup e softwares especializados também são importantes, o backup do Windows é bom, mas não é a solução...
1.4. A escolha do Sistema Operacional não se faz por´valores financeiros e sim por integração com o banco de dados escolhido e com os recursos que trarão melhor segurança e performance ao banco.
2. O SGBD não funciona por obra de uma entidade espiritual, portanto será necessária a contratação de um profissional qualificado para definição, configuração, instalação, administração e manutenção deste banco de dados.
2.1. Não, não e não, sei que é extremamente simples efetuar a instalação de um banco de dados, assim como é simples a extração de um dente, porém eu continuo preferindo que um dentista qualificado trate dos meus dentes. Os efeitos colaterais de uma instalação mal feita será que o meu pagamento para consertar essa burrada costuma ser bastante interessante $$$
2.2. Todo o mundo da informática sofre atualizações constantes, o SGBD não poderia ser diferente, então o profissional tem que estar sempre atento às mudanças e aplica-las sempre que for necessário.
3. Mesmo o banco de dados mais simples pode ser extremamente seguro e o mais complexo pode ser extremamente acessível a terceiros, portanto a segurança de um banco de dados está vinculada à estratégia que será utilizada para mantê-lo seguro.
3.1. Além dos sistemas de proteção, uma boa política de utilização é imprescindível para garantir segurança das informações, sempre lembrando que, se os dados estão armazenados em um banco de dados, é por que são importantes, para você e para seus concorrentes.
4. Modelagem de dados é outra peça fundamental, infelizmente sempre desprezada pela maioria das empresas, o modelo de dados é como os mesmos serão armazenados, distribuídos e consultados pelos funcionários da empresa.
4.1. Uma boa modelagem de dados pode ser fundamental não só em questões de performance, mas também de integridade das informações. Já trabalhei em uma empresa de grande porte que possuía três cadastros únicos de clientes e prospects, alimentados por segmentos diferentes da empresa, consultei meus dados nesses três sistemas e as informações estavam incorretas em todos os três, em pelo menos dois itens de cada banco.
5. Os aplicativos que irão acessar, consultar, manter e dar suporte às decisões podem ser comprados ou desenvolvidos internamente, mas um bom analista de projetos é um recurso interessante para que não se obtenha um sistema incompleto ou incompatível com as necessidades da empresa.
Bom !!!
Aqui estão algumas das informações importantes para que se leve em consideração ao pensar na aquisição de um banco de dados para sua empresa.
Quanto aos estudantes, em breve colocarei novos tópicos que poderão ser de grande valia na vossa carreira.
Assinar:
Postagens (Atom)