Pika-pika... Chuuuu

Sí, podrías utilizar la propiedad Method de la clase HttpWebRequest, indicandole que es un POST, con lo que debería actuar como si se estuviese enviando un formulario.

Además de eso, tendrás que rellenar las propiedades ContentType y ContentLength, obtener el stream de la petición, y enviar los datos como un array de bytes.

Tienes un ejemplo bastante sencillo aquí:

http://msdn.microsoft.com/library/default.asp?url=/library/en-us/cpref/html/frlrfsystemnethttpwebrequestclassmethodtopic.asp

Hola Tio_Luiso

En principio la estructura de la página no es relevante para mandar un POST siempre y cuando conozcas los IDs de los controles, ya que los datos que envias son utilizando el ID del control como identificador.

En cuanto a la sesión, si sabes cual es el mecanismo, siempre puedes ver en la respuesta qué identificador de sesión se te está asignando y usarlo de forma apropiada (bien sea por cookie, por querystring, o como sea)...

Hola Tio_Luiso

Buena pregunta ;) Si el sitio web tiene AJAX, en principio se desencadenan las peticiones a raíz de pulsar en enlaces o botones, pero lo que hace es ejecutar javascript. Esto complica un poco las cosas, ya que probablemente tengas que ejecutar dicho javascript, y para ello, probablemente tengas que mantener una instancia de un WebBrowser con el HTML de la petición anterior, en la que "pulsarías" el link, y compararías el contenido del documento HTML antes y después de pulsar para ver las diferencias, para procesarlas.

Vamos, que no sería sencillo, pero tampoco imposible.

En principio, lo único que hace falta es:

  - Crear el objeto HttpWebRequest (con el método estático Create de la clase WebRequest)

  - Establecer la propiedad Method de este objeto a "POST" (por defecto es GET)

  - Rellenar los datos del post, usando los nombres de los controles que quieres rellenar. Para eso, tienes que crear un string que contenga una ristra nombreControl=valorControl&nombreControl2=valorControl2&..., obtener los bytes de ese string usando un objeto ASCIIEncoding, y escribir esa ristra en el stream del objeto HttpWebRequest.

  - Establecer el valor de la propiedad ContentType del objeto HttpWebRequest a "application/x-www-form-urlencoded"

  - Establecer el valor de la propiedad ContentLength del objeto HttpWebRequest a la longitud del string de los datos.

Un código de ejemplo:

string datosPost="nombreControl="+valorControl;

ASCIIEncoding encoding=new ASCIIEncoding();

byte[]  bytesDatosPost=encoding.GetBytes(datosPost);

// Establecemos el ContentType

miHttpWebRequest.ContentType="application/x-www-form-urlencoded";

// Set the content length of the string being posted.

miHttpWebRequest.ContentLength=datosPost.Length;

Stream reqStream=myHttpWebRequest.GetRequestStream();

reqStream.Write(bytesDatosPost,0,bytesDatosPost.Length);

Console.WriteLine("El valor de 'ContentLength' después de escribir los datos es {0}",miHttpWebRequest.ContentLength);

// Cerramos el stream.

reqStream.Close();

Espero que te sirva! Saludos!

Hmmmmm....

Yo lo que haría sería lo siguiente:

Examina bien cómo está hecha esa aplicación. Seguramente el formulario de login y password enviará esos datos a otra página, y o bien genera una sesión, o genera una cookie para identificarte. Por lo tanto, usando el objeto WebRequest puedes utilizar el método POST para enviar los datos a la página que aparezca en el action del formulario de esa página.

Comprueba si hay una cookie o una sesión creada, y para las pantallas siguientes utilizalas. Pero no automatices la selección de los combos y la inserción de los datos. Fíjate dónde los envía, y envíalos directamente a dicha pantalla. Para capturar los datos, supongo que tendrás que examinar el HTML que te devuelve la aplicación después de enviarle los datos, y capturarlos.

Saludos!

No sé exactamente qué es el xmltv... ?

Si quieres recoger los links de una web, eso es exactamente lo que hace el crawler del ejemplo... Y para "transformarlo en xml", eso dependerá del formato de salida del xml.

Aun así, quizá te sea más sencillo hacerte una xsl que transforme los elementos <a> de la página que estás procesando en el xml de salida que te interese para una página dada...

Uf... ¿¿¿Para navegar por TODA la wikipedia???

Tal y como está el código, va a recorrer todos los enlaces que encuentre, no solo los que estén en la wikipedia. Si sabes seguro que los artículos se referencian como indicas, basta con que cambies la expresión regular que se utiliza para buscar los enlaces.

Tal cual está el código va anotando el número de veces que pasa por cada página (es decir, el número de enlaces que llegan a ella). Podrías crearte una clase que contenga todos los datos que quieres guardar de cada página, y cambiar la tabla hash que se usa en el código (es para .NET 1.1, sin generics) por un Dictionary<string, TU CLASE>.

Hmmm...

Si lo que te está mostrando es un applet de Java, no podrás acceder al contenido. Si es HTML, debería dejarte a través del DOM de la página actual (es decir, el objeto HTMLDocument de System.Windows.Forms).

Si sabes qué estructura tiene la página web, podrías llamar al método GetElementById si el texto se incluye en un elemento que tenga un Id. Si no tiene Id, puedes probar a usar GetElementsByTagName, y de ahí ir buscando el que te convenga.

Si tuvieses un ejemplo de la página podría ayudarte más, pero así es difícil.

Hola Blas,

Me temo que en tu caso, en el que tienes que ser capaz de interactuar con la página y con el javascript que tienes en ella, tendrás que utilizar un control WebBrowser. El HtmlRequest puede hacer peticiones HTML y obtener la respuesta del servidor (el stream de respuesta), pero no interpreta el HTML ni ejecuta javascripts.

Saludos,

Carlos U:

Para que te busque un tag tienes que modificar la expresión regular hrefRegEx. Según el tag que quieras buscar tendras que usar expresiones regulares distintas, o bien hacer una expresión regular para todos los tags y decidir en función del nombre del tag qué hacer (esto sería más pesado, mucho más proceso).

También puedes crear varias expresiones regulares, unirlas con un OR y darlas nombre, de manera que para cada token encontrado puedas saber exactamente cual es si tener que examinarlo (a partir del nombre que le has asignado).