Proyecto Cuasar

Ciclo de vida del proyecto Cuasar

Fri, 09 Mar 2012 00:00:00 +0100

Proyecto Cuasar sigue un ciclo de vida basado en 6 etapas:

Planificación y especificación
Diseño del proyecto
Tratamiento de excepciones
Implementación
Pruebas
Calidad del proyecto

En la "planificación y especificación" se detallan los aspectos relativos a plazos de desarrollo de cada subsistema y el objetivo a conseguir con el buscador. Al ser un proyecto personal y sin compromiso temporal, los intervalos de tiempo serán aproximados, siempre en función del tiempo libre disponible para dedicarlo al proyecto.
El objetivo es evidente, conseguir un buscador semántico e inteligente. Se detallan más detalles en el apartado correspondiente.

"En diseño" se detallan los algoritmos que hacen funcionar al buscador, así como la arquitectura de sistemas y gestión de base de datos.

"Tratamiento de excepciones", se detallan las relaciones entre los algoritmos, control de errores y gestión de cualquier incidencia.

"Implementación", desarrollo a nivel de código y puesta en marcha de la plataforma tecnológica según lo detallado en "Diseño".

"Pruebas", una vez en producción, se da acceso al buscador por invitación a usuarios que acepten testear los algoritmos de búsqueda.

"Calidad de proyecto", responder a la pregunta, ¿los enlaces sugeridos a una búsqueda son coherentes?

Buscadores de noticias

Thu, 19 Jan 2012 00:00:00 +0100

Buscadores verticales existen de todas las temáticas, los principales buscadores genéricos (Yahoo!, Bing y Google) ofrecen la posibilidad de buscar noticias. En realidad lo que hacen es redireccionar a un buscador especializado. Éstos tienen una infraestructura diferenciada del buscador genérico, la misión de estos crawlers es rastrear los sitios web que ofrezcan noticias.

Por lo general, el listado de las fuentes información suelen revisarse y añadirse utilizando interveción humana.

Las funciones de los buscadores de noticias se pueden resumir en:

Rastreo de los principales medios online
Identificar los enlaces de las noticias
Captura de titulares
Captura de los textos informativos
Clasificación de la noticia (Social, Internet, Economía, ...)
Otras funciones (noticia del día, noticias más destacadas, ...)

Es importante indicar que los buscadores de noticias no deben mostrar la noticia completa, simplemente indicar el titular y una pequeña entradilla que motive al navegante a pinchar sobre la fuente, para acceder a la noticia completa.

Proyecto cuasar.com ya tiene un potente buscador de noticias

Así es, desde el 2008 se rastrean las principales fuentes de información online a través del sitio web cunoticias.com, por lo que el proyecto Cuasar.com ya tiene algo visible y operativo conocido por todos.

Buscador semántico

Wed, 26 Oct 2011 00:00:00 +0200

Buenas tardes, señores. Soy un computador HAL 9000, comencé a funcionar en la fábrica HAL en Verbana, Illinois el 12 de enero de 1992...
HAL 9000 - Ordenador de "Una odisea del espacio"

Existe cierta confusión en definir un buscador semántico, se habla de web semántica, buscadores semánticos, términos semánticos entre una larga lista de términos similares. Al final, el usuario puede estar confuso entre tanta algarabía.

¿Para Cuasar qué es un buscador semántico?

Para Cuasar un buscador semántico es aquel que "entiende el significado" de:

La información rastreada por los spiders
Lo que pretende buscar el usuario

Cuasar tiene características de buscador semántico, la información se descompone en conceptos relacionados para reconocer el contexto correcto de las palabras rastreadas o términos introducidos por los usuarios.

Buscador semántico es sinónimo de inteligencia artificial, el cerebro de Cuasar se basa en una compleja red neuronal cuyos parámetros se realimentan con lógica borrosa (Fuzzy Logic). Las neuronas de Cuasar admiten cierta incertidumbre, ¿incertidumbre en la información?, ... relaciones entre distintas disciplinas del saber, ... ¿?

Las ventajas son muchas, pero la más importante para desarrollar un buscador con los mínimos recursos, es que se indexan conceptos y no palabras. Interesante, ¿verdad?, poco a poco, se irá publicando más detalles de los algoritmos.

Buscador vertical

Mon, 17 Oct 2011 00:00:00 +0200

"Un buscador vertical, es un buscador especializado en un sector o nicho concreto, lo que le permite analizar la información con mayor profundidad que un buscador genérico, disponer de resultados más actualizados y ofrecer al usuario herramientas de búsqueda avanzadas." - Wikipedia

Un buscador genérico rastrea tantos dominios y páginas internas como le sea posible, mientras que un buscador vertical rastrea páginas de una misma temática. En principio, los sitios web de un buscador vertical son introducidos manualmente por el webmaster.

Ejemplos:

Buscadores genéricos: Bing, Yahoo!, Google, Ask, ...

Buscadores temáticos: cuRetro (de retroinformática), cuNoticias (buscador de noticias), ...

¿Cuasar es un buscador genérico o vertical?

Ambas cosas, el spider principal (el módulo encargado de rastrear Internet) analiza el contenido de todos los dominios, posteriormente la información se categoriza y un módulo auxiliar comprueba si el contenido debe pertenecer a un buscador especializado.

Por ejemplo, si buscas enCuasar un hotel te redireccionará a un buscador especializado de turismo.

No es una novedad exclusiva de Cuasar, los grandes buscadores ya lo vienen haciendo desde hace tiempo, buscador de vuelos, buscador de hoteles, ...

Directorios

Sat, 15 Oct 2011 00:00:00 +0200

"Un directorio web es un tipo de sitio web que contiene un directorio organizado de enlaces a otros sitios web, con una estructura de categorías y subcategorías. Habitualmente, los directorios web permiten a los webmasters o creadores de sitios web que informen de su sitio para que sea incluido, y después los editores autorizados revisan esas solicitudes antes de incluir sus enlaces para comprobar que se adecúan a los requisitos de aceptación determinados por el directorio web." - Wikipedia

Los directorios pueden ser de dos tipos:

Directorio general (todo tipo de categorias)
Directorio temático (especializado en una categoría)

El webmaster debe enviar la información de su sitio; título, descripción, url y categoría. Posteriormente el administrador del directorio revisará la información y decidirá si acepta el sitio web para su publicación. Es un proceso manual.

¿Y Cuasar? ¿Qué relación tiene Cuasar con un directorio?

Mucha, uno de los módulos de Cuasar se dedica a categorizar los sitios web rastreados. Es decir, de manera automática detecta la categoría a la que pertenece la información y va creando un directorio interno que ayuda a la indexación. También, es útil para detectar si el sitio web debe formar parte de un buscador temático.

En otros apartados comentaré con más detalles la importancia del directorio interno.

Clases de buscadores

Thu, 13 Oct 2011 00:00:00 +0200

Estamos acostumbrados a utilizar Internet de manera instintiva, probablemente la primera toma de contacto con Internet sea la de buscar información utilizando cualquiera de los buscadores más conocidos (Bing, Yahoo!, Google). Para la mayoría de los usuarios Internet es información y en segundo lugar comunicación.

Ahora bien, la información está distribuida en millones de ordenadores y es imposible encontrarla sin ayuda de los buscadores. Tras realizar una búsqueda el usuario obtiene de manera instantánea los resultados, sin ser consciente de la ingente cantidad de recursos necesarios para mostrar los resultados. Es un trabajo muy complejo y cada buscador funciona de manera diferente a pesar de mostrar resultados similares.

En este punto, deseo mostrar las distintas clases de buscadores y comentar el tipo de buscador Cuasar.

Existen buscadores que rastrean Interner en busca de nuevos dominios, analizan el contenido y extraen nuevos dominios. Otros buscadores se limitan a rastrear un grupo de sitios web que comparten la misma temática. Existen diferentes tipos de buscadores, a grosso modo se pueden clasificar en:

Índices temáticos: Son buscadores especializados en temas concretos. Existe una parte manual, un administrador acepta o rechaza la fuente.
Motores de búsqueda: 100% automáticos, rastrean Internet e indexan la información utilizando complejos algoritmos. Cada vez más se asocia la inteligencia artificial a estos buscadores.

Clases de buscadores

Buscadores jerárquicos: Son los motores de búsqueda que disponen de los spiders más potentes, rastrean Internet, buscando información e indexándola palabra por palabra. A esta clase pertenecen los buscadores: Bing, Yahoo! y Google.

Directorios: Son pequeños buscadores, es nacesario la participación humana. Tienen la ventaja de que la información es clasificada y ordenada de manera jerárquica. El directorio más conocido es DMOZ

Metabuscadores: Son buscadores sin un motor de búsqueda propio, lanzan la consulta a varios buscadores jerárquicos y los resultados son obtenidos de éstos.

Buscador verticales: Son buscadores especializados en una temática concreta, tienen su propio motor de búsqueda pero limitado a ciertas categorías. El spider no rastrea Internet en busca de dominios, éstos son introducidos por un administrador que acepta y rechaza según ciertos criterios. Dos ejemplos, el buscador de noticias Cunoticias.com y el buscador de retroinformática cuRetro.

Buscadores semánticos: Es la última generación de buscadores, realizan la búsqueda atendiendo al significado del grupo de palabras. Es decir, un buscador inteligente.

Buscador Cuasar

Cuasar es un híbrido de buscador jerárquico y semántico, realiza las funciones propias de un completo buscador al estilo de Google. Rastrea Internet en busca de nuevos dominios, manipula la información; clasifica, ordena, categoriza, comprende la información y muestra resultados.

Además, Cuasar tiene características propias de buscador vertical. Para ciertas búsquedas se transforma en un completo buscador especializado, ¿cómo? poco a poco lo iremos viendo.

Por último, destacar que Cuasar también tiene cierta relación con los directorios, la información es categorizada pero a diferencia de que dicho proceso es 100% automático e independiente de la intervención humana.

Poco a poco iré destripando el cerebro de Cuasar y mostrando las distintas fases de desarrollo.

Buscadores jerárquicos

Thu, 13 Oct 2011 00:00:00 +0200

Cuasar tiene características de buscador jerárquico, con los siguientes detalles:

Rastrea Internet en busca de dominios e indexa por separado la página principal y los subcontenidos. En otro punto se detallará la razón de ésta diferencia.
En los resultados del buscador se mostrarán páginas que están relacionadas con el término buscado.
Analizará la importancia del sitio web y en función de una escala procederá a un tipo de indexación. Más adelante se comentará la escala y los tipos de indexación.
Cada cierto tiempo, el buscador comprobará el estado del sitio web. Tanto a nivel de actualización como de actividad.
Obtiene información técnica y social del sitio rastreado (por ejemplo, número de dominios que comparten misma IP, Geolocalización, ...)
Panel de control para webmasters.

Cabe recordar que Cuasar es un híbrido, entre jerárquico, directorio y semántico. Pero la base del spider es propia de un buscador jerárquico, dejando para niveles superiores los algoritmos semánticos y de categorización.