Add extractor for gamekings.tv

[vine] Fix uploader extraction

FFmpegMetadataPP: don't enclose the values with " (fixes #1756)

[common] Simplify og_search_property

release 2013.11.11

Clarify -c. Do not pass it in if you don't know what you're doing

Suggested in #1743

Use avconv for downloading with m3u8 manifests if it's available (fixes #1735)

 Use the 'rtmp_live'  field for the live parameter of rtmpdump

Merge remote-tracking branch 'rzhxeo/rtmpdump_live'

Merge all the subtitles test into a single file

They reuse a base class

[ted] Return a single info_dict for talks urls

It failed with the --list-subs option

Merge pull request #1705 from iemejia/master

[ted] support for subtitles

Merge pull request #1726 from saper/escaped

Fix AssertionError when og property not found

Fix the documentation of '--autonumber-size' (#1743)

it's '--auto-number' not '--autonumber'

Improve format listing for long format ids

Now arte.tv videos have quite long ids.

[arte] Improve the format sorting

Also use the bitrate.
Prefer normal version and sourds/mal version over original version with subtitles.

[arte] Make sure the format_id is unique (closes #1739)

Include the bitrate and use the height instead of the quality field.

[cnn] Accept www.cnn.com urls (fixes #1740)

[brightcove] the format function requires to specify the index in python2.6

[soundcloud] Allow to download tracks marked as not 'streamable'

They use the rtmp protocol but if the are marked as 'downloadable' it can use the direct download link.

[kankan] Fix the video url

It now requires two additional parameters, one is a timestamp we get from the getCdnresource_flv page and the other is a key we have to build.

Don't recode the video with m3u8 downloads (fixes #1741)

[brightcove] Set the 'Referer' header if the url has the 'linkBaseUrl' parameter (fixes #1553)

release 2013.11.07

Fix the report progress when file_size is unknown (#1731)

The report_progress function will accept eta and percent with None value and will set the message to 'Unknow ETA' or 'Unknown %'.
Otherwise the values must be numbers.

[xnxx] Accept urls that start with 'www' (fixes #1734)

release 2013.11.06.1

[brightcove] Support redirected urls from bcove.me (fixes #1732)

'bctid' needs to be changed to '@videoPlayer', and 'bckey' to 'playerKey'.

[youtube:channel] Fix the extraction

The page don't include the 'load more' button anymore, now we directly get the 'c4_browse_ajax' pages.

Add an extractor for eitb.tv (fixes #1608)

The BrighcoveExperience object doesn't contain the video id, the extractor adds it and passes the url to BrightcoveIE.

[brightcove] Extract all the available formats

Add an extractor for space.com (fixes #1718)

It uses Brightcove, but requires some special process for getting a url with the playerKey field in some videos

[brightcove] Change the 'videoId' or 'videoID' field to '@videoPlayer' (fixes #1697)

It seems to be needed when using the htmlFederated page

[brightcove] Add the extraction of the url from generic

tests: don't run the test if any of the extractors listed in the 'add_ie' field is marked as not working

release 2013.11.06

Fix reporting when file size is unkown (Fixes #1731)

Clean up imports

Fix AssertionError when og property not found

On tvp.pl some webpages contain OpenGraph
metadata and some don't.

If og property is not found, _og_search_description
fails with

WARNING: unable to extract OpenGraph description; please report this issue on http://yt-dl.org/bug
Traceback (most recent call last):
  File "/usr/home/saper/bin/youtube-dl", line 18, in <module>
    youtube_dl.main()
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/__init__.py", line 766, in main
    _real_main(argv)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/__init__.py", line 719, in _real_main
    retcode = ydl.download(all_urls)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/YoutubeDL.py", line 715, in download
    videos = self.extract_info(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/YoutubeDL.py", line 348, in extract_info
    ie_result = ie.extract(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 125, in extract
    return self._real_extract(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/tvp.py", line 56, in _real_extract
    info['description'] = self._og_search_description(webpage)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 331, in _og_search_description
    return self._og_search_property('description', html, fatal=False, **kargs)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 325, in _og_search_property
    return unescapeHTML(escaped)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/utils.py", line 494, in unescapeHTML
    assert type(s) == type(u'')
AssertionError

The patch allows me to use:

  try:
    info['description'] = self._og_search_description(webpage)
    info['thumbnail'] = self._og_search_thumbnail(webpage)
  except RegexNotFoundError:
    pass

[ted] fixed error in case of no subtitles present

I created a test, but I leave it commented since TED videos get
new subtitles frequently.

Merge pull request #1724 from rzhxeo/generic_youtube

[GenericIE] Also detect youtube if src url of iframe is embedded in ' instead of "

[GenericIE] Also detect youtube if src url of iframe is embedded in ' instaed of "

[canal2c] Accept more urls (fixes #1723)

The url only needs to have the 'idVideo' field in the query, in any position.
We have to set the 'void=oui' in the webpage url, so that we get the file name.

[teamcoco] Parse the xml file and extract all the formats

Merge pull request #1693 from alexvh/teamcoco_fix

[teamcoco] Fix video url extraction for some videos

[youtube] Add description for YoutubeSearchDateIE (#1710)

Merge remote-tracking branch 'CBGoodBuddy/ytsearchtime'

release 2013.11.03

[viddler] Support non-digit IDs (Fixes #1714)

Merge pull request #1698 from rzhxeo/cinemassacre

[CinemassacreIE] Support more embed urls

Style fixes for extractors: remove spaces around (,),{ and }

Merge pull request #1679 from rzhxeo/mofosex

Add support for http://www.mofosex.com

Merge pull request #1677 from rzhxeo/xtube

Add support for http://www.xtube.com

Merge pull request #1676 from rzhxeo/extremetube

Add support for http://www.extremetube.com

Set the 'extractor_key' field in the info_dict

It's the string returned by the class method 'ie_key', which allows to retrieve the extractor with 'get_info_extractor'

Add the 'webpage_url' field to info_dict

The url for the video page, it must allow to reproduce the result.
It's automatically set by YoutubeDL if it's missing.

Set the extra_info inside YoutubeDL.process_ie_result and set only if the keys are missing

Add YoutubeSearchDateIE extractor to youtube.py & __init__.py, which searches by publication date.

[XTubeIE] Add description to TEST

[ExtremeTubeIE] Set age_limit to 18 and fix uploader extraction

Merge pull request #1678 from rzhxeo/keezmovies

[KeezMoviesIE] Detect URLs with numbers in the SEO part correct

[brightcove] Don't set the extension

If the video only has the 'FLVFullLengthURL' key, it can still be an mp4 file.

[exfm] skip tests

The site is down too often.

[youtube] Remove vevo test

The video is no longer available and it seems that vevo video don't use encrypted signatures anymore.

Merge remote-tracking branch 'iemejia/master'

[bambuser] Add an extractor for channels (closes #1702)

Merge branch 'ted_subtitles'

[ted] Added support for subtitle download

[subtitles] refactor to support websites with subtitle information the
webpage.

I added the parameter webpage, so now it's similar to the way automatic
captions are handled. This is an improvement needed for websites like
TED.

Add an extractor for bambuser.com (#1702)

[CinemassacreIE] Add live paramter to extracted info as a workaround

Add support for live parameter to rtmpdump

release 2013.11.02

[youtube] Encode subtitle track name in request (Fixes #1700)

Add an extractor for vk.com (closes #1635)

[metacafe] Fix support for age-restricted videos (fixes #1696)

The 'Content-Type' header must be set for disabling the family filter.
The 'flashversion' cookie  is only needed for AnyClip videos.
Added tests for standard metacafe videos and for age-restricted videos.
Also set the 'age_limit' field.

[CinemassacreIE] Support more embed urls

[teamcoco] Fix video url extraction for some videos

Video url extraction failed for some videos,
e.g. http://teamcoco.com/video/old-time-baseball

The url extracted was also occasionally suboptimal quality,
e.g. http://teamcoco.com/video/louis-ck-interview-george-w-bush

[livestream] fix the extraction of events

It now uses a json dictionary from the webpage.

Fix the test for dailymotion subtitles

The extractor returns a single info_dict now.

[dailymotion] Fix support for age-restricted videos (Fixes #1688)

release 2013.10.30

Use index in formt string (Fixes vevo test on Python 2.6)

[vevo] Readd support for SMIL (Fixes #1683)

Remove superfluous space

Fix output indenting for --list-formats

Update the Vimeo test vector md5

confirmed that this is indeed the first 10241 (we went off by one with
byte range 0-10240) of the full, playing mp4, so they probably
reencoded or something

[arte] Download the 'Originalversion' version if it's the only one available (fixes #1682)

[vevo] Add more format details

Nicer --list-formats output

[vevo] Fix timestamp handling

( / 1000 is implicit float division )

release 2013.10.29

Merge remote-tracking branch 'origin/master'

[youtube] Fix login (Fixes #1681)

[tests] a HTTP 503 is a transient issue

[mtv] Remove the templates from the mediagen url

Fix YouTubeDL test

[tests] don't fail on network errors

This is suboptimal, but at least this way we will need to look at the logs
only to check for network errors that happen too often, instead of
parsing a ton of lines each time to see if there is some true test failing

Add an extractor for MySpace (closes #1666)

tests: build the filename from the info_dict if the 'file' key is missing

It will need to have the 'id' and 'ext' keys to work.