AWSのS3にあるデータをawscliを使って一括でダウンロードする。

AWS S3 の中に保存しているデータを全て手元にダウンロードする場合の手順。

IAM Management Consoleでの設定

AWSのIAM Management Console にアクセスし、S3にアクセスするためのユーザーを作成するため、新規ユーザーの作成。

[aws1.png]

ユーザー名を入力して、作成する。

[aws2.png]

アクセスキーIDと、シークレットアクセスキーが表示されるので、メモしておく。(csvでダウンロードもできる) メモを忘れると、再度ユーザーを作り直したりする必要があるので、メモを忘れないようにする事。

[aws3.png]

IAMのトップページに戻り、作成したユーザーを選択する。
[アクセス許可] タブを選択し、[ポリシーのアタッチ] を選択する。

[aws4.png]

ポリシータイプで AmazonS3ReadOnlyAccess を検索し、チェックを入れ、ポリシーを作成する。

[aws5.png]

以下の通り、設定が入っていればweb画面での操作はOK.

[aws6.png]

ターミナルでの作業

pythonが入っていれば、pipコマンドでawscliをインストールする。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# pip install awscli
Collecting awscli
  Downloading awscli-1.10.1-py2.py3-none-any.whl (880kB)
    100% |████████████████████████████████| 884kB 703kB/s
Collecting docutils>=0.10 (from awscli)
  Downloading docutils-0.12-py3-none-any.whl (508kB)
    100% |████████████████████████████████| 512kB 1.2MB/s
Collecting botocore==1.3.23 (from awscli)
  Downloading botocore-1.3.23-py2.py3-none-any.whl (2.2MB)
    100% |████████████████████████████████| 2.2MB 253kB/s
Collecting rsa<=3.3.0,>=3.1.2 (from awscli)
  Downloading rsa-3.3-py2.py3-none-any.whl (44kB)
    100% |████████████████████████████████| 45kB 7.8MB/s
Collecting colorama<=0.3.3,>=0.2.5 (from awscli)
  Downloading colorama-0.3.3.tar.gz
Collecting python-dateutil<3.0.0,>=2.1 (from botocore==1.3.23->awscli)
  Downloading python_dateutil-2.4.2-py2.py3-none-any.whl (188kB)
    100% |████████████████████████████████| 192kB 2.7MB/s
Collecting jmespath<1.0.0,>=0.7.1 (from botocore==1.3.23->awscli)
  Downloading jmespath-0.9.0-py2.py3-none-any.whl
Collecting pyasn1>=0.1.3 (from rsa<=3.3.0,>=3.1.2->awscli)
  Downloading pyasn1-0.1.9-py2.py3-none-any.whl
Collecting six>=1.5 (from python-dateutil<3.0.0,>=2.1->botocore==1.3.23->awscli)
  Downloading six-1.10.0-py2.py3-none-any.whl
Installing collected packages: docutils, six, python-dateutil, jmespath, botocore, pyasn1, rsa, colorama, awscli
  Running setup.py install for colorama
Successfully installed awscli-1.10.1 botocore-1.3.23 colorama-0.3.3 docutils-0.12 jmespath-0.9.0 pyasn1-0.1.9 python-dateutil-2.4.2 rsa-3.3 six-1.10.0
You are using pip version 7.1.2, however version 8.0.2 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.

awscliが無事インストールされると、awsコマンドが使えるようになる。
aws configureでawsにアクセスするための初期設定をする。
先ほど、メモしたアクセスキーとシークレットアクセスキーを入力。

1
2
3
4
5
# aws configure
AWS Access Key ID [None]: 
AWS Secret Access Key [None]: 
Default region name [None]: 
Default output format [None]:

aws s3 ls s3://[bucket_name] : S3の中身を閲覧し、アクセスできる事を確認する。

1
2
3
# aws s3 ls s3://hogemoge
                           PRE backgrounds/
                           PRE logos/

aws s3 sync s3://[bucket_name] backup/ でS3にあるデータを全て取得できる。

1
2
3
# aws s3 sync s3://[bucket_name] backup/
download: s3://hogemoge/logos/0/original.png to backup_hogemoge/logos/0/original.png
download: s3://hogemoge/logos/0/medium.jpg to backup_hogemoge/logos/0/medium.jpg

取得できた事を確認できれば、作業完了。