ISSN (impressa): 1414-8145
Volume 8, Número 1, Jan/Abr - 2004
E-mailREVISÃO CRÍTICA
A enfermagem e a qualidade de software educacional: uma revisão bibliográfica sobre critérios deavaliação
The nursing and the quality of the educational software: a bibliographical revision about the evaluation rules
La enfermería y la calidad del software educativo: una revisión bibliográfica sobre criterios de evaluación
Bianca Gomes VelosoI; Maria Catarina Salvador da MottaII
IAcadêmica do 8º período do curso de graduação em Enfermagem da EEAN/UFRJ. Bolsista da FAPERJ. e-mail: biaveloso@ig.com.br
IIProfessora adjunta da do Departamento de Saúde Pública da EEAN/UFRJ. Coordenadora da Disciplina "Informática aplicada à Enfermagem" e-mail: mcsmotta@terra.com.br
RESUMO
Com o aumento da produção de software educacional, torna-se necessário conhecer os critérios e o aspecto técnico que podem ser utilizados para sua avaliação, antes de sua produção. Este artigo teve como objetivo identificar os critérios para avaliação do software educacional. A abordagem metodológica utilizada foi a pesquisa em fontes bibliográficas. Foram identificados como critérios: confiabilidade da representação, confiabilidade conceitual, utilizabilidade, características pedagógicas, facilidade de uso, características da interface e adaptabilidade. Em discussão sobre a importância da avaliação do software, os resultados mostraram a preocupação dos autores quanto à necessidade da avaliação desses critérios, que devem estar relacionados à proposta pedagógica a ser desenvolvida. Outras pesquisas devem ser desenvolvidas na área de software educacional, considerando o tipo de aprendiz a quem se destina o sistema.
Palavras-chave: Enfermagem. Ensino. Avaliação. Tecnologia Educacional
ABSTRACT
With the increase of the production of educational software, it becomes necessary to know the rules and the technical aspects that can be used for its evaluation, before its production. This article had the porposal to identify the rules of evaluation of the educational software. The methodological approach was the bibliographical research. Was identified as rules: reliability of the representation, conceptual reliability, "utilizability", pedagogic characteristics, use easiness, characteristics of the interface and adaptability. In discussion about the importance of the software's evaluation, the results showed the authors' concern with the need of the evaluation of them, which should be related to the pedagogic proposal that is intended to be developed. More researches should be developed in the area of educational software, considering the apprentice type to whon the system is destined.
Keywords: Educational Technology. Evaluation. Nursing.
RESUMEN
Con el aumento de la producción de software educativo, se hace necesario conocer los criterios y el aspecto tecnico que puede usarse para su evaluación, antes de su producción. Este artículo tenía como objetivo identificar los criterios para la evaluación del software educativo. El acercamiento metodológico era la investigación bibliográfica. Fueran identificados como criterios: la confiabilidad de la representación, la confiabilidad conceptual, "la utilizabilidad", las caracteristicas pedagógicas, facilidad de empleo, las caracteristicas de la interface y adaptabilidad. En la discusión sobre la importancia de la evaluación del software, los resultados mostraron la preocupación de los autores con la necesidad de evaluación de ellos, que deben relacionarse a la propuesta pedagógica que va a ser desarrollada. Otras investigaciones deben de ser desarrolladas en el área del software educativo, considerado el tipo del aprendiz a quién el sistema se destina.
Palabras clave: Tecnología Educativa. Evaluación. Enfermería
INTRODUÇÃO
O computador é uma das ferramentas que vêm sendo utilizadas de forma cada vez mais freqüente na educação. E, segundo Vieira1, o Ministério da Educação tem intenções de equipar com computadores as escolas da rede pública e particular, do ensino infantil ao ensino superior. Por conta dessa aproximação entre o aluno e o computador, sua utilização na sala de aula pode ser considerada como um grande aliado no processo de ensino/aprendizagem, pois, como relata Motta2, os métodos tradicionais de ensino/aprendizagem parecem não motivar o aluno, tornando assim o aprendizado uma questão passiva.
A possibilidade do uso de computadores na educação é determinada pelo software educacional (SE) selecionado pelo professor. Por isso, os educadores devem, além de estar sempre atualizados, ter a consciência de que a escolha dele deve estar relacionada à proposta pedagógica que se pretende desenvolver.
Para Lucena3,4, um SE é todo aquele software que possa ser usado para algum objetivo educacional, pedagogicamente defensável por professores e alunos, qualquer que seja a natureza ou finalidade para a qual tenha sido criado.
Para garantir que as informações transmitidas pelo SE sejam realizadas de forma adequada, torna-se necessário que alguns critérios sejam estipulados para avaliar o mesmo, evitando assim a produção e comercialização de programas de má qualidade que, ao invés de contribuir, podem prejudicar o aprendizado dos futuros usuários. Essa avaliação deve ser criteriosa pois, de acordo com Lucena3, nos Estados Unidos, existem várias empresas que dominam este mercado, produzindo cerca de 2000 programas por ano. Entretanto, somente cerca de 2% desses programas são aprovados e adotados na escola. Os demais são considerados de má qualidade, ou seja, apresentam os assuntos de forma ambígua, a documentação de forma inadequada, uma interface não amigável e geralmente não se baseiam em uma teoria psicopedagógica e/ou em um desenho industrial.
Entretanto, para que um software seja utilizado com finalidade educacional ou em atividades curriculares, é necessário que sua qualidade, interface e pertinência pedagógica sejam previamente avaliadas de modo a atender às áreas de aplicação a que se destina e, principalmente, satisfazer às necessidades dos usuários, desenvolvendo a investigação e o pensamento crítico.
Durante a graduação, a participação como validadora do protótipo de um SE "Exame Físico em Consulta de Enfermagem e de Puericultura", juntamente com outros alunos e professores, configurou-se como uma oportunidade ímpar no processo de validação. Essa participação motivou a ampliação de conhecimentos no que se refere ao recurso computacional, para então tentar incorporá-lo como uma nova estratégia de aprendizado. Isso provocou uma reflexão sobre as possíveis contribuições do software, não só para acadêmicos como também para o professor e para o profissional que precisam estar sempre se atualizando, frente às novas descobertas que são feitas. Isso é reforçado pela crescente disputa que vem ocorrendo no mercado de trabalho, exigindo de todos agilidade no acesso às informações.
Nesta avaliação, foi solicitado o preenchimento individual de um formulário no qual deveríamos registrar a nossa opinião sobre alguns critérios listados pelo aplicador, ou seja: Excelente, Muito Bom, Bom, Regular e Ruim, além de possíveis sugestões e impressões sobre cada item abordado. Entre os critérios avaliados, alguns deles foram: a qualidade de instrução, a qualidade visual dos ambientes e suas telas, o conteúdo contido e a facilidade de uso.
Segundo Zem-Mascarenhas e Cassiani5, durante a avaliação é de extrema importância a participação de professores, alunos e profissionais da área de atuação em questão, pois serão eles os futuros usuários. É importante ressaltar que essa avaliação deve ser realizada com a presença do professor, ao longo do desenvolvimento do software, e não apenas no produto final, quando a probabilidade de se propor alterações é menor.
A partir dessas considerações, este estudo foi desenvolvido com o objetivo de identificar os critérios descritos pela literatura nacional e internacional para a avaliação de SE, antes de sua utilização em atividades de ensino/aprendizagem.
Este estudo justifica-se porque precisamos conhecer a qualidade e os critérios utilizados para avaliar um SE antes dele ser utilizado em atividades de ensino/aprendizagem. Precisamos desenvolver pesquisas sobre o tema em questão, pois conforme Silva (apud Zem-Mascarenhas e Cassiani5), sabemos que apesar de existir uma produção cada vez maior de materiais educativos com utilização de computadores, o seu emprego na educação não tem sido avaliado de forma sistemática e enfrenta alguns desafios. Logo, é importante que tanto os produtores de SE quanto os educadores conheçam alguns dos critérios disponíveis, que possam vir a ser utilizados durante a avaliação, não esquecendo de ressaltar a importância desta etapa no seu desenvolvimento de um SE.
ABORDAGEM METODOLÓGICA
O tipo de pesquisa desenvolvida foi a pesquisa bibliográfica, a qual, segundo Leopard6, é utilizada quando o tema implica análise de publicações, para reconhecer sua freqüência, regularidade, tipos, assuntos examinados, métodos empregados, em textos. Lakatos e Marconi (apud Leopard6) definem a pesquisa bibliográfica como sendo toda pesquisa realizada em documentos ou fontes secundárias que abrangem a bibliografia já tornada pública em relação ao tema de estudo, desde publicações avulsas, boletins, jornais, revistas, livros, pesquisas, monografias, teses, material cartográfico, banco de dados e outros até meios de comunicações orais, como rádio, gravações em fita magnética, e audiovisuais, como filmes, televisão e internet. Sua finalidade é colocar o pesquisador em contato direto com o que foi escrito, dito ou filmado sobre determinado assunto. Nesse sentido, a pesquisa bibliográfica não é mera repetição do que já foi dito ou escrito sobre certo assunto, mas propicia o exame de um tema sob novo enfoque ou abordagem, chegando a conclusões inovadoras, pela organização do material, segundo as tendências ou versões com que determinado assunto é abordado. Ela é um suporte imprescindível para qualquer outro tipo de pesquisa.
A pesquisa bibliográfica foi realizada em bancos de dados indexados via internet e em bibliotecas, como as da EEAN, do COPPE e do NUTES da UFRJ, da PUC-Rio e da ENSP/FIOCRUZ.
A literatura sobre SE é vasta considerando-se uma possível revisão bibliográfica sobre a temática. Entretanto, ao se considerar critérios de avaliação para a garantia de uma qualidade do SE, verifica-se que a literatura é esparsa no tempo e escassa. Assim, o recorte temporal abrangido no levantamento bibliográfico cobriu 13 anos (1988-2001).
RESULTADOS DA REVISÃO BIBLIOGRÁFICA
De acordo com os objetivos do SE, ele pode ser classificado quanto ao nível de aprendizagem. Assim, os educadores podem utilizar produtos que correspondam às metas educacionais que se pretende alcançar, garantindo dessa forma, a eficácia dos resultados na aprendizagem.
Quanto aos objetivos do software, Vieira1 classifica-os em três níveis de aprendizagem: (a) seqüencial, no qual a preocupação é de transferir a informação e o objetivo do ensino é apresentar o conteúdo para o aprendiz memorizá-lo e repetí-lo, quando for solicitado. Esse nível de aprendizado leva a um aprendiz passivo; (b) Relacional, no qual objetiva-se a aquisição de determinadas habilidades, permitindo que o aprendiz faça relações com outros fatos ou outras fontes de informação. A ênfase é dada ao aprendiz e a aprendizagem processa-se somente com a interação do aprendiz com a tecnologia. Esse nível de aprendizagem leva a um aprendiz isolado. (c) Criativo, que está associado à criação de novos esquemas mentais possibilitando a interação entre pessoas e tecnologias pelo compartilhamento de objetivos comuns. Esse nível de aprendizado leva a um aprendiz participativo.
Entretanto, quando a temática refere-se a avaliação, a questão do conceito torna-se relevante.
Assim, para Luft et al8, avaliar têm o significado de calcular; determinar o valor ou a valia de; compreender; fazer a idéia de; estimar. Por outro lado, Vieira1, apesar do termo avaliar possuir inúmeros significados, na expressão "avaliação de software educacional", considera que avaliar significa analisar como um software pode ter um uso educacional, como ele pode ajudar o aprendiz a construir seu conhecimento e a modificar sua compreensão de mundo elevando sua capacidade de participar da realidade que está vivendo. Nessa perspectiva, uma avaliação criteriosa pode apontar para o tipo de proposta pedagógica na qual o software em questão poderá ser aproveitado.
CRITÉRIOS PARAAVALIAÇÃO DE SOFTWARE EDUCACIONAL
Stahl9 é freqüentemente citado por outros autores, pois ela discute a necessidade de assegurar a qualidade do SE, através de um conjunto de procedimentos cuidadosamente observados ao longo do seu desenvolvimento. A autora descreve os objetivos, fatores e subfatores que devem ser considerados na avaliação da qualidade de um SE levando-se em consideração, a natureza da área de aplicação. Três são propostos por essa autora:
1. Confiabilidade de representação é o objetivo que se vincula às características do programa que afetam a compreensão do programa e sua manipulação; ela possui dois fatores
1.1. Legibilidade, que avalia a possibilidade de diferentes pessoas entenderem o programa com relativa facilidade, para que possam utilizá-lo. Ela apresenta os seguintes subfatores:
1.1.1 Clareza, para saber se está codificado da forma mais clara possível;
1.1.2 Concisão, para saber se está implementado com quantidade mínima de código; o estilo para saber se está codificado com recursos que facilitam sua compreensão (comentários e padronização de identificações);
1.1.3 Modularidade, saber se está implementado através de módulos independentes.
1.2 A manipulabilidadeavalia a possibilidade de diferentes pessoas manipularem o programa com facilidade. A elas estão relacionados os subfatores:
1.2.1 Disponibilidade, na qual o programa e os documentos devem estar sempre atualizados e prontos para uso; estrutura, saber se há padronização da composição de suas partes, formando uma organização hierárquica;
1.2.2 Rastreabilidade, isto é, a facilidade de caminhamento através do programa e sua documentação.
2. Utilizabilidade é o objetivo que se relaciona à característica do programa que determina a convivência e a viabilidade de utilização ao longo de sua vida útil. Ela exige tanto a confiabilidade de representação quanto a confiabilidade conceitual. Também apresenta diversos fatores, que são:
2.1 Manutenibilidade, que avalia a possibilidade de alterações do programa após desenvolvido e colocado em uso;
2.2 Operacionalidade, que avalia a facilidade de comunicação com o usuário, se o programa é oportuno e ameno ao uso; a este fator estão relacionados dois subfatores:
2.2.1 Oportunidade, que verifica a produção de resultados em tempo hábil, para não perder sua utilidade e,
2.2.2 Amenidade de uso, que verifica o fornecimento de dados de forma simples e natural, de acordo com os conhecimentos e aptidões do usuário.
2.3 Portatibilidade, que avalia a facilidade de operar o programa em configuração de equipamento diferente do original;
2.4 Reutilizabilidade, que avalia o reaproveitamento total ou parcial de suas funções em outras aplicações;
2.5 Eficiência, que avalia a realização das funções sem desperdício de recursos (memória, periféricos e outros);
2.6 Rentabilidade, que avalia a apresentação de uma relação custo-benefício aceitável;
2.7 Avaliabilidade, que avalia a facilidade de verificação e validação do programa, assegurando a execução da função que lhe cabe. A este fator, avaliabilidade, estão relacionados os subfatores:
2.7.1 Verificabilidade, na qual são observadas as possibilidades de avaliar o programa com relação à sua forma de representação;
2.7.2 Validabilidade onde se observa a possibilidade de avaliar se o programa executa a função para a qual foi desenvolvido.
3. Confiabilidade conceitual é objetivo que se liga à característica do programa em implementar satisfatoriamente o que foi especificado e projetado, respondendo às necessidades que motivaram sua construção. Ela possui dois fatores:
3.1 Fidedignidade, que avalia a possibilidade de o programa corresponder ao que foi especificado e projetado. São dois os seus subfatores:
3.1.1 Precisão, na qual é observada a exatidão nos cálculos e resultados, de modo a satisfazer a utilização pretendida pelo usuário;
3.1.2 Completeza, na qual é observada a implementação de todas as funções especificadas;
3.1.3 Necessidade, na qual é observada a implementação somente das funções que foram especificadas.
3.2. Integridade, que avalia a capacidade de reagir a situações hostis, sem perda de controle. Ela possui como subfatores:
3.2.1 Robustez, na qual se deve observar a reação a situações hostis, realizando adequadamente o tratamento de erros, sem interromper sua execução;
3.2.2 Segurança, na qual são observadas habilidades em evitar falhas que possam ter conseqüências desastrosas, em termos humanos ou econômicos.
Campos10 descreve, além dos aspectos sugeridos descritos por Stahl9, alguns parâmetros mínimos que podem ser utilizados durante a avaliação da qualidade de um SE. Esses parâmetros são:
1. Características pedagógicas, que formam um conjunto de atributos que evidenciam a convivência e a viabilidade da utilização do software em situações educacionais. Para facilitar a identificação de um software de qualidade, essas características apresentam três subcaracterísticas:
1.1 Ambiente educacional, no qual o software deve permitir a identificação do ambiente educacional e do modelo de aprendizagem que ele privilegia;
1.2 pertinência em relação ao programa curricular, na qual o software deve ser adequado e pertinente em relação ao contexto educacional ou a uma disciplina específica;
1.3 Aspectos didáticos, nos quais o software deve contribuir para que o aluno alcance o objetivo educacional devendo para isso ser amigável e de fácil utilização, possuir aspectos motivacionais e respeitar individualidades. É importante que o software inclua atributos como clareza e correção dos conteúdos, recursos motivacionais, carga informacional e tratamento de erros.
2. Facilidade de uso, que está relacionada ao conjunto de atributos que evidenciam a facilidade de uso do software. Essa característica possui como subcaracterísticas:
2.1 Facilidade de aprendizado, na qual é avaliada a facilidade dos usuários em aprender a usar o software;
2.2 Facilidade de memorização, na qual é avaliada a facilidade dos usuários em memorizar informações importantes para o uso do software;
2.3 Robustez, na qual o software quanto à manutenção do processamento correto a despeito de ações inesperadas.
3. Características da interface, nas quais configuram-se atributos que tornam evidente a existência de um conjunto de meios e recursos facilitadores da interação entre o usuário e o software. Essa característica possui diversas subcaracterísticas:
3.1 Condução, que avalia os meios disponíveis para aconselhar, informar e conduzir o usuário na interação com o computador incluindo atributos como presteza, localização, feedback imediato e legibilidade;
3.2 Afetividade, que avalia se o software proporciona uma relação agradável com o aluno ao longo do processo de aprendizado;
3.3Consistência, que avalia se a concepção da interface é conservada igual em contextos idênticos e se altera-se em contextos diferentes;
3.4 Significado de códigos e denominações, que avalia a adequação entre objeto ou informação apresentado ou pedido e sua referência;
3.5 Gestão de erros, que avalia os mecanismos existentes para evitar ou reduzir a ocorrência de erros, qualidade das mensagens de erros e reversão fácil de ações.
4. Adaptabilidade, um conjunto de atributos que evidenciam a capacidade do software em se adaptar às necessidades e preferências do usuário e ao ambiente educacional selecionado. Ela inclui atributos como:
4.1 Customização, que avalia a facilidade da adaptação da interface para o uso de diferentes usuários;
4.2 Adequação ao ambiente, que avalia a facilidade de adequação do software ao modelo e aos objetivos educacionais adotados.
Além desses critérios, o aspecto técnico também é um critério a ser avaliado, devendo-se observar neste caso: as mídias empregadas, qualidade das telas, interface disponível, clareza das instruções, compartilhamento em rede local e internet, compartibilização com outros softwares, hardware e funcionabilidade em rede, apresentação auto-executável, recursos hipertexto e hiperlink, disponibilidade de help-disk, manual técnico com linguagem apropriada ao professor-usuário, facilidade de instalação, desinstalação e manuseio etc.
Campos10 ainda orienta que, ao serem utilizados ambientes e sites apoiados na web, também seja avaliada a característica, qualidade da informação, que inclui as subcaracterísticas: conteúdos corretos, fontes fidedignas, carga informacional compatível, pertinência, entre outros.
Todos os critérios até aqui considerados relacionam-se à qualidade técnica de um SE. A esses critérios deve-se ainda acrescentar a contribuição da dimensão humana para dotar o software de qualidade. Nesse sentido, Sperandio e Évora11, fundamentadas no ciclo de vida de desenvolvimento de sistema e no conceito de prototipação de Pressmam, destacaram como condição significativa a participação de enfermeiros na construção de um protótipo de software para a sistematização da assistência de enfermagem. As autoras ressaltam ainda que essa participação foi relevante na identificação de deficiências e problemas no sistema; os enfermeiros também sugeriram modificações para que o produto pudesse atender melhor às suas necessidades frente à sistematização da assistência.
Confirmando este aspecto, Bernado (apud Motta et al12) inclui no desenvolvimento de multimídia uma etapa de implantação na qual se destaca a participação de usuários para a verificação de sua aceitação do software.
A revisão bibliográfica realizada evidenciou a importância dos critérios existentes para avaliar a qualidade de um SE, tais como confiabilidade da representação, confiabilidade conceitual, utilizabilidade, características pedagógicas, facilidade de uso, características da interface e adaptabilidade. Essa revisão também destaca a condição significativa e essencial da participação humana, representada por usuários potenciais e reais, em diferentes etapas de desenvolvimento de software. Os resultados da revisão também mostraram os critérios e as características desejáveis para a qualidade de um SE, com destaque para outra ponta do processo, ou seja, para que e para quem ele está sendo desenvolvido. Todos esses aspectos são fundamentais quando se considera a qualidade de um SE.
CONCLUSÃO
A motivação para desenvolver um SE surge para solucionar algum problema de ensino/aprendizagem detectado. Por isso, a avaliação dele, antes de sua disponibilização para os usuários, é de fundamental importância para que sejam assegurados seus objetivos e tenham sido alcançadas as metas propostas.
A avaliação deve ser uma etapa criteriosa e contínua realizada através da contribuição de alunos, professores e profissionais da área, já que eles serão usuários potenciais. Conseqüentemente, eles detêm um melhor conhecimento acerca de suas próprias necessidades.
Os educadores devem conhecer alguns critérios essenciais de qualidades importantes que precisam ser utilizados durante a avaliação de um SE. Só assim eles poderão distinguir um software de boa qualidade, não somente pela sua aparência, mas, principalmente, pelo seu conteúdo. Nesse sentido, Valente13 relata que com o computador, o professor deixou de ser o repassador de conhecimento para ser o criador de ambientes de aprendizado e facilitador do processo através do qual o aluno adquire conhecimento.
Como resultado desta revisão recomenda-se que, no desenvolvimento de todos os softwares educacionais sejam levados em consideração a sua avaliação. Outras pesquisas a serem desenvolvidas na área de SE poderão explorar melhor os critérios de avaliação que foram analisados nesta revisão.
REFERÊNCIAS
1 Vieira FM. Avaliação de software educativo: Reflexões para uma análise criteriosa - Artigo, 1999.
2 Motta MCS. Software educacional de Enfermagem em puericultura: Desenvolvimento e validação, Tese de Doutorado e Enfermagem, EEAN/UFRJ, 2000.
3 Lucena M. Introdução ao uso de computadores na Educação, Departamento de educação, PUC/Rio 1992.
4 ____Diretrizes para a capacitação do professor na área de tecnologia educacional: Critérios para avaliação de Software educacional - PUC/Rio. Disponível em http://www.infosoft.softex.br/~projead/rv/softqual.htm, Capturado em 07 de maio de 2003.
5 Zem-Mascarenhas SH., Cassiani SHB. Desenvolvimento e avaliação de um software educacional para o ensino de Enfermagem pediátrica, revista latino americana de Enfermagem. V. 9, n.6, Ribeirão Preto, Nov. 2001.
6 Leopard MT. Metodologia da Pesquisa em saúde, Florianópolis-SC, 2002.
7 Lakatos EM., Marconi MA. Fundamentos da metodologia científica. São Paulo: Atlas, 1991.
8 Luft CP, Fernades F, Guimarães M. Dicionário brasileiro Globo. São Paulo, 18ª ed. Editora Globo,1991.
9 Stahl MM. Avaliação da qualidade de Software educacional. COPPE/UFRJ. Junho 1988.
10 Campos GHB. de. Metodologia para avaliação da Qualidade de Software Educacional. Diretrizes para desenvolvedores e Usuários. Engenharia de produção- tese de Doutorado-COPPE/UFRJ, 1994. Disponível em: http://www.edutec.net/textos/Alia/misc/edmagali2.htm, Capturado em março de 2003.
11 Spenrandio DJ, Évora YDM. Sistematização da Assistência de Enfermagem: proposta de um software protótipo. Esc Anna Nery Rev Enferm. 2003 ago;7(2):269-282.
12 Motta MCS, Marin HF e Zeitoune, RCG. Desenvolvimento do software educacional em saúde do lactante, Esc Anna Nery Rev Enferm. 2001 ago; 5(2):211-223.
13 Valente JA, Liberando a mente: Computadores na educação especial. Ficha catalográfica elaborada pela biblioteca central - Unicamp. SP. 1991,cap.2.
Recebido em 31/07/2003
Reapresentado em 07/04/2004
Aprovado em 14/04/2004