[YoutubeDL] only add normal subtitles to the 'requested_subtitles' field if 'writesubtitles' is True

[test/YoutubeDL] Add test for subtitles

Updated the offlinetest make target to not skip it

[ted] Always extract the subtitles

The required info is already in the webpage

[YoutubeDL] don't set the 'requested_subtitles' without writesubtitles or writeautomaticsub

Remove the SubtitlesInfoExtractor class

No longer needed

[bbccouk] Convert to new subtitles system

I haven't found any video available outside the UK, so I haven't added tests.

I have updated how the srt file is build, because (at least for www.bbc.co.uk/programmes/p02j9b69) the subtitles is inside 'span' elements.

[theplatform] Convert to new subtitles system

[viki] Convert to new subtitles system

[rai] Convert to new subtitles system

[nrk] Convert to new subtitles system

[mtv] Convert to new subtitles system

[npo] Convert to new subtitles system

[lynda] Convert to new subtitles system

[drtv] Convert to new subtitles system

[mit] Don't set the subtitles field

YouTube already provides them in more formats

[YoutubeDL] use the 'render_table' function for listing the subtitles

[extractor/common] Simplify subtitles handling methods

Initially I was going to use a single method for handling both subtitles and automatic captions, that's why I used the 'list_subtitles' and the 'subtitles' variables.

[bliptv] Convert to new subtitles system

[walla] Convert to new subtitles system

[ceskatelevize] Convert to new subtitles system

[youtube] Convert to new subtitles system

The automatic captions are stored in the 'automactic_captions' field, which is used if no normal subtitles are found for an specific language.

[dailymotion] Convert to new subtitles system

[YoutubeDL] store the subtitles to download in the 'requested_subtitles' field

We need to keep the orginal subtitles information, so that the '--load-info' option can be used to list or select the subtitles again.
We'll also be able to have a separate field for storing the automatic captions info.

[vimeo] Convert to new subtitles system

Removed some tests, the behaviour should be checked in a test for the YoutubeDL class

[atresplayer] Convert to new subtitles system

[crunchyroll] Convert to new subtitles system

Improve subtitles support

For each language the extractor builds a list with the available formats sorted (like for video formats), then YoutubeDL selects one of them using the '--sub-format' option which now allows giving the format preferences (for example 'ass/srt/best').
For each format the 'url' field can be set so that we only download the contents if needed, or if the contents needs to be processed (like in crunchyroll) the 'data' field can be used.

The reasons for this change are:
* We weren't checking that the format given with '--sub-format' was available, checking it in each extractor would be repetitive.
* It allows to easily support giving a format preference.
* The subtitles were automatically downloaded in the extractor, but I think that if you use for example the '--dump-json' option you want to finish as fast as possible.

Currently only the ted extractor has been updated, but the old system still works.

[test/subtitles] Fix some tests

The checksym for the CeskaTelevize subtitles has changed again, so we just test that it has a reasonable length.

[bbccouk] Fix fallback to legacy playlist

[history] Add extractor (Closes #4934)

[theplatform] Add URL sign capability

[extractor/common] Fix link to external documentation

Remove unused imports

[streamcz] Fix extraction (Closes #4940)

[drtuber] Add one more title regex

Merge pull request #4951 from peugeot/beeg

[beeg] fix test

Merge pull request #4950 from peugeot/drtuber

[drtuber] fix extraction

[beeg] fix test

[drtuber] fix extraction

[sunporno] Keep old video regex just in case

Merge pull request #4949 from peugeot/sunporno

[sunporno] fix extraction

[sunporno] fix extraction

Credit @ryandesign for nbcnews nightly news (#4948)

Merge branch 'ryandesign-nbc-nightly-news'

[nbcnews] Simplify

Support NBC Nightly News broadcasts

[postprocessor/ffmpeg] Don't let ffmpeg read from stdin (fixes #4945)

If you run 'while read aurl ; do youtube-dl --extract-audio "${aurl}"; done < path_to_batch_file'  (batch_file contains one url per line) each call to youtube-dl consumed some characters and 'read' would assing to 'aurl' a non valid url, something like 'tube.com/watch?v=<id>'.

[1tv] Cover arbitraty URLs

[camdemy] Fix _VALID_URL

[test/subtitles] Update checksums

[bambuser] Fix 'uploader_id' extraction (fixes #4944)

Merge branch 'robin007bond-nporadio'

[npo:radio] Move to extractor to common npo place and add extractor for fragments

[nporadio] Edit to confirm to flake8 standards

[NPORadio] Added extractor for live radio

[camdemy] Simplify and make more robust (#4938)

Do not throw errors if view count or upload date extraction fails.
Dispose of re.MULTILINE, which had absolutely no effect without any ^ or $ in sight.
Follow PEP8 naming conventions.

Merge remote-tracking branch 'yan12125/IE_camdemy'

[camdemy] Python2 compatibility

[camdemy] Add support for folders

release 2015.02.11

[youtube] Extract average rating (closes #2362)

flake8: Ignore some error added in pep8 1.6

* E402: we exectute code between imports, like modifying 'sys.path' in the tests
* E731: we assign to lambdas in a lot of places, we may want to consider defining functions in a single line instead (what pep8 recommends)

[aes] style: Put __all__ variable at the end of the file

[dotsub] Fix extraction and modernize

[test/parameters.json] Set 'fixup' to 'never'

The fixed audio files for Youtube have a size lower that the minimum required.

[camdemy] Detection of external sources

[dctptv] Skip rtmp download

[canalplus] Add support for itele.fr URLs (Closes #4931)

[teamcoco] Fix video id extraction

[camdemy] Add new extractor

Single file download done, while folder extaction in plan

[ntvru] Adapt to new direct delivery and modernize (Closes #4918)

release 2015.02.10.5

[escapist] Filter video differently (Fixes #4919)

[escapist] Modernize

release 2015.02.10.4

[YoutubeDL] Do not perform filter matching on partial results (Fixes #4921)

release 2015.02.10.3

[ccc] Add new extractor (Fixes #4890)

[test/test_youtube_signature] Use fake YDL

[firstpost] Modernize

[vimeo:album] Add support for album passwords (Fixes #4917)

[options] Add alias --dump-header for --print-traffic

[options] Add --no-color

[pornhd] Fix extraction (fixes #4915)

release 2015.02.10.2

[YoutubeDL] Add generic video filtering (Fixes #4916)

This functionality is intended to eventually encompass the current format filtering.

release 2015.02.10.1

[commonmistakes] Detect BOMs at the beginning of URLs

Reported at https://bugzilla.redhat.com/show_bug.cgi?id=1093517 .

[bandcamp] Correct variable name

Use snake_case instead of camelCase

[commonmistakes] Correct logic error

release 2015.02.10

[extractor/common] Wrap extractor errors (Fixes #1194)

For now, we just wrap some common errors. More may follow. We do not want to catch actual programming errors in the extractors, such as 1 // 0.

[bandcamp] Use our API to get more stable error messages (#1194)

[svtplay] Correct test case

release 2015.02.09.3

Merge branch 'master' of github.com:rg3/youtube-dl

[trilulilu] Add support for videos without category in the URL (Closes #4067)

Also, update the testcase, detect private/country restricted videos and modernize a bit.

[YoutubeDL] Do not show worst in --list-formats output

Nobody wants to know what the worst possible format is. And if they do, they can still provide -f worst.

[svtplay] Add new extractor (Fixes #4914)