RDSでMySQLを作ってみる

RDSというものを知りました。

ponsuke-tarou.hatenablog.com

パソコンから直接使えるRDSを作成します。

VPC内のEC2インスタンスではなく、VPC外部からインターネットを経由して接続できるようにします。
一番簡単そうな以下の方法にチャレンジします(今回はお勉強用なので選びましたがお仕事用にはセキュリティが緩いです)。

Publicly Accessible オプションを有効化して接続する
https://cdn-ssl-devio-img.classmethod.jp/wp-content/uploads/2018/08/f3b4c300a002e4a591d2e220db0e6890.png
RDSをパブリックサブネットに配置し、Publicly Accessibleを有効にする方法です。 パブリックサブネットとは、インターネットゲートウェイへのルーティングが可能なサブネットです。 Publicly Accessibleを有効にすると、RDSのエンドポイントがパブリックIPアドレスに解決されます。 セキュリティグループでクライアントの拠点のIPアドレスだけ許可すれば、拠点からのみ接続できます。

本番データを扱う場合などは、SSLを利用した暗号化を検討します。
手元の作業端末からAmazon RDSに接続する方法 | Developers.IO

RDSでMySQLを作成してみます。

  1. AWS マネジメントコンソールで[RDS]を選択して、RDSの画面を表示します。
  2. [データベースの作成]ボタンで[データベースの作成]画面を表示します。
  3. 以下を設定して[データベースの作成]ボタン
    • データベース作成方法を選択 : 標準作成
    • エンジンのタイプ : MySQL
    • エディション : MySQL Community
    • バージョン : MySQL5.7.28(お好みのバージョンを選択でOK)
    • テンプレート : 無料利用枠(お勉強用なので小さいサイズにしました)
    • DB インスタンス識別子 : mysql-57(お好みの名前でOK)
    • マスターユーザー名 : admin(お好みの名前でOK)
    • パスワードの自動生成 : ON
    • パブリックアクセシビリティ : はい
      • この設定によりVPC外部から接続できるようになります。設定は自己責任でしてください。
    • 削除保護の有効化 : ON
    • 上記以外の設定値は規定値のまま
  4. 画面上部に表示される[認証情報の詳細を表示]ボタンでパスワードを確認してどっかに記録しておきます。
    • f:id:ponsuke_tarou:20200217220744p:plain
      このパスワードを表示できるのはこのときだけです。

セキュリティグループに自分のパブリックIPアドレスを設定します。

  1. アクセス情報【使用中のIPアドレス確認】で自分のパブリックIPアドレスを確認します。
    • パブリックIPアドレスは固定でないことが多いので、定期的にパブリックIPアドレスを確認して設定し直します。
  2. データベースの一覧にある作成したRDSのDB識別子リンクで詳細画面を表示します。
  3. [接続とセキュリティ]にある[VPC セキュリティグループ]のリンクでセキュリティグループの画面を表示します。
    • f:id:ponsuke_tarou:20200219201158p:plain
  4. [インバウンド]タブの[編集]ボタンでダイアログを表示します。
  5. [ルールの追加]ボタンで行を追加して以下を設定します。
  6. [保存]ボタンで保存してダイアログを閉じます。

RDSへmysqlコマンドで接続してみます。

(停止していたら)RDSを起動します。
  1. データベースの一覧で作成したRDSを選択します。
  2. [アクション] > [開始]で起動します(少々時間がかかります)。
  3. 一覧の[ステータス]が「利用可能」になったら起動しています。
    • f:id:ponsuke_tarou:20200217230436p:plain
エンドポイントを確認します。
  1. データベース一覧から作成したDB 識別子のリンクから詳細画面を開きます。
  2. [接続とセキュリティ]タブ > [エンドポイント]に表示されている「{DB識別子}.xxxxx.{リージョン}.rds.amazonaws.com」がエンドポイントで接続情報となります。
MySQLにログインします。
$ mysql -h mysql-57.xxx.{リージョン}.rds.amazonaws.com -P 3306 -u admin -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 14
Server version: 5.7.28-log Source distribution

Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> 

うまく接続できない場合は、RDSの[パブリックアクセシビリティ]またはセキュリティグループの設定が誤っています。

$ mysql -h mysql-57.xxx.{リージョン}.rds.amazonaws.com -P 3306 -u admin -p
Enter password: 
ERROR 2003 (HY000): Can't connect to MySQL server on 'mysql-57.xxx.{リージョン}.rds.amazonaws.com' (60)

自動停止するようにLambdaを設定します。

RDSは、停止していても7日で自動起動します。
そのまま使わずに放置しているとお金がかかります。
なので自動停止するようにします。

自動停止時間をAutoStopタグに設定します。

  1. データベース一覧から作成したDB 識別子のリンクから詳細画面を開きます。
  2. [タグ]タブ > [追加]ボタンで[タグの追加] ウィンドウを表示します。
  3. [タグキー]に「AutoStop」と[値]に「自動停止したい時間」を入力して[追加]ボタンでタグを追加します。
    • f:id:ponsuke_tarou:20200217221924p:plain

自動停止するLambdaを設定します。

以下のページに従ってLambdaを設定します。
ponsuke-tarou.hatenablog.com


f:id:ponsuke_tarou:20200219195025j:plain
秋葉原にある柳森神社内の猫神

AWSのEC2インスタンスを祝日を除いた平日に自動起動するLambdaを作る記録

EC2インスタンスを決まった時間に自動起動したいです。

起動しっぱなしでいいインスタンスですが、たまにうっかり誰かが停止しちゃったりします。
なので、始業時間になって停止していたら自動で起動してほしいです。

AutoStartタグに設定した時間になったら起動したいです。

起動したい時間は、時と共に変わるかもしれませんし、インスタンスによっても変わります。
なので、インスタンスに「AutoStart」というタグとその値に起動したい時間を設定します。

祝日は自動起動しないでほしいです。

平日(月~金曜日)にLambdaの実行を設定しても、祝日は意識してもらえません。
祝日は、使わないので節約のためにも起動しなくていいんです。

先人の知恵をパクッて使います。

xp-cloud.jp

S3にバケットを作ります。

祝日判定をするために使用するGoogleカレンダーの祝日リストを入れるためのバケットです。

祝日判定を行うにあたって、祝日のリストが必要になります。
今回はGoogleカレンダーで取得できる祝日リストを利用したいと思います。
下記URLから自由にダウンロードでき、現在から前後1年間を含む3年間分の祝日データが取得可能となっております。
https://www.google.com/calendar/ical/ja.japanese%23holiday%40group.v.calendar.google.com/public/basic.ics
Lambdaで祝日判定 | AWSやシステム・アプリ開発の最新情報|クロスパワーブログ

S3にバケットを作ります。

  1. AWSのコンソールにある[S3] > [バケットを作成する]ボタンで画面を開きます。
    • f:id:ponsuke_tarou:20200214101427p:plain
  2. 入力欄を入力して[作成]ボタンで作成する。
    • バケット名 : google-holiday-list(任意の文字列)
    • リージョン : Lambdaを作る予定のリージョンと同じリージョン
    • f:id:ponsuke_tarou:20200214102846p:plain

取得実リストを取得するLambda関数を作成します。

  1. AWSのコンソールにある[Lambda] > [関数の作成]ボタンで画面を開きます。
  2. 必要な項目を入力後に[関数の作成]ボタンで関数を作成します。
    • オプション : [一から作成]
    • 関数名 : get_google_holiday_list(任意の関数名でOK)
    • ランタイム : Python3.8
    • 実行ロール : 既存のロールを使用する
      • 既存のロール : [lambda_basic_execution]を選択します。
  3. [関数の作成]ボタンで関数を作成します。

Lambda関数を実行するトリガーを作成します。

  1. [Designer]にある[トリガーを追加]ボタンでトリガーの設定画面を開きます。
  2. プルダウンから[CloudWatch Events]を選択します。
  3. 各入力欄を記載します。
    1. ルール : [新規ルールの作成]
    2. ルール名(必須) : get_google_holiday_list(任意の関数名でOK)
    3. ルールタイプ : [スケジュール式]
    4. スケジュール式 : cron(0 8 1 * ? *)(毎月1日の午前 8:00)
  4. [追加]ボタンでトリガーを追加する

関数を実装します。

import boto3
import urllib.request
import re
import os

s3 = boto3.resource('s3')
# Googleカレンダーの祝日リストを入れるためのバケット
bucket = s3.Bucket('google-holiday-list')

def write_holiday_list(list, file):
    for num in range(len(list)):
        pattern = r"DTSTART;VALUE=DATE:"
        # DTSTART;VALUE=DATE:yyyyMMddの行の正規表現
        repattern = re.compile(pattern)
        target_line = list[num-1].decode('utf-8')
        match = repattern.search(target_line)
        if match is None:
            pass
        else:
            print('出力対象行:' + target_line)
            # 出力対象行(\r\n含む)の後ろから10文字目から8文字を出力する
            file.write(target_line[-10:-2] + '\n')
    return 0

def lambda_handler(event, context):
    # 祝日リストの取得元URL
    url = 'https://www.google.com/calendar/ical/ja.japanese%23holiday%40group.v.calendar.google.com/public/basic.ics'
    try:
        response = urllib.request.urlopen(url)
        list = response.readlines()
    except Exception as e:
        print('祝日リストの取得に失敗しました。')
        return 1

    # 書き込みでファイルを開く
    f = open('/tmp/holiday.txt','w')
    write_holiday_list(list, f)
    f.close()

    data = open('/tmp/holiday.txt', 'rb')
    result = bucket.put_object(Key='holiday.txt', Body=data)
    data.close()
    os.remove('/tmp/holiday.txt')

EC2インスタンス自動起動するLambda関数を作成します。

  1. AWSのコンソールにある[Lambda] > [関数の作成]ボタンで画面を開きます。
  2. 必要な項目を入力後に[関数の作成]ボタンで関数を作成します。
    • オプション : [一から作成]
    • 関数名 : start_instances_by_tag_value(任意の関数名でOK)
    • ランタイム : Python3.8
    • 実行ロール : 既存のロールを使用する
      • 既存のロール : [lambda_basic_execution]を選択します。
  3. [関数の作成]ボタンで関数を作成します。

f:id:ponsuke_tarou:20200206094552p:plain

Lambda関数を実行するトリガーを作成します。

  1. [Designer]にある[トリガーを追加]ボタンでトリガーの設定画面を開きます。
    • f:id:ponsuke_tarou:20200206094718p:plain
  2. プルダウンから[CloudWatch Events]を選択します。
  3. 各入力欄を記載します。
  4. ルール : [新規ルールの作成]
  5. ルール名(必須) : start_instances_by_tag_value(任意の関数名でOK)
  6. ルールタイプ : [スケジュール式]
  7. スケジュール式 : cron(0/10 8-11 ? * MON-FRI *) (平日AM8:00-11:00で10分毎)
  8. [追加]ボタンでトリガーを追加する

f:id:ponsuke_tarou:20200206101020p:plain

関数を実装します。

# -*- coding: utf-8 -*-

from __future__ import print_function

import sys
import json
from datetime import datetime, timedelta, timezone, date
import boto3
import os

DATETIME_FORMAT = '%Y-%m-%dT%H:%M:%SZ'
JST = timezone(timedelta(hours=+9))
REGION_NAME = 'ap-northeast-1'
TAG_NAME = 'AutoStart'
TMP_HOLIDAY_FILE = '/tmp/holiday.txt'
# CALENDAR_URL = "https://calendar.google.com/calendar/ical/ja.japanese%23holiday%40group.v.calendar.google.com/public/basic.ics"
# NTP_URL = "http://ntp-b1.nict.go.jp/cgi-bin/json"

print("Loading function")
s3 = boto3.resource('s3')
ec2 = boto3.client('ec2', REGION_NAME)

def get_holiday_list():
    """
    S3バケットから祝日リストを取得する
    """
    # Googleカレンダーの祝日リストを入れてあるバケット
    bucket = s3.Bucket('google-holiday-list')
    holiday_obj = bucket.Object('holiday.txt')

    with open(TMP_HOLIDAY_FILE, 'wb') as data:
        holiday_obj.download_fileobj(data)

    f = open(TMP_HOLIDAY_FILE)
    holiday_list = f.readlines()
    f.close()
    os.remove(TMP_HOLIDAY_FILE)

    return holiday_list

def is_holiday():
    """
    土日祝日判定処理
    """
    is_holiday = False
    day = date.today()
    today = day.strftime('%Y%m%d')
    week = day.weekday()

    holiday_list = get_holiday_list()

    check = today + '\n' in holiday_list

    if check == True:
        print('今日は祝日です。')
        is_holiday = True
    elif week == 5 or week == 6:
        print('今日は週末です。')
        is_holiday = True
    elif check == False:
        print('今日は平日です。')
    else:
        print('土日祝日判定に失敗しました')

    return is_holiday

def get_tag(instance):
    """
    TAG_NAMEのタグを配列で取得する.
    """
    tag_list = instance['Tags']
    tag = next(iter(filter(lambda tag: tag['Key'] == TAG_NAME and (tag['Value'] is not None and tag['Value'] != ''), tag_list)), None)
    return tag

def get_tag_value_time(tag):
    """
    タグに設定された時間を取得する.
    """
    val = tag["Value"]
    if val == '':
        print('タグに時間が指定されていません。' + tag)
        return ''

    time = val.split(':')
    now = datetime.now(JST)
    tag_time = datetime(now.year, now.month, now.day, int(time[0]), int(time[1]), 0, 0, JST)
    return tag_time

def is_start_instance(event, tag_time):
    utc_event_time = datetime.strptime(event["time"], DATETIME_FORMAT)
    print('実行時間(UTC)は、' + utc_event_time.strftime(DATETIME_FORMAT))
    jst_event_time = utc_event_time.astimezone(JST)
    print('実行時間(JST)は、' + jst_event_time.strftime(DATETIME_FORMAT))

    # AutoStopタグに指定された時刻の前後5分以内であればインスタンス起動する
    start_time_from = tag_time + timedelta(minutes=-5)
    start_time_to = tag_time + timedelta(minutes=5)
    print('実行時間(' + jst_event_time.strftime(DATETIME_FORMAT) + ')が、' + \
          start_time_from.strftime(DATETIME_FORMAT) + 'から' + start_time_to.strftime(DATETIME_FORMAT) + 'だったら起動します。')

    return (start_time_from <= jst_event_time) and (jst_event_time <= start_time_to)

def start_instance(event, instance):
    """
    インスタンス起動処理
    """
    auto_start_tag = get_tag(instance)
    tag_time = get_tag_value_time(auto_start_tag)
    if tag_time == '':
        return

    print(instance['InstanceId'] + 'のタグに指定された時間(JST)は、' + tag_time.strftime(DATETIME_FORMAT))

    if is_start_instance(event, tag_time):
        ec2.start_instances(InstanceIds=[instance['InstanceId']])
        print(instance['InstanceId'] + 'を起動しました。')

def lambda_handler(event, context):
    print("Received event: " + json.dumps(event, indent=2))
    if is_holiday():
        # 土日祝日なら処理終了
        print('土日祝日は起動しません。')
        return

    # (停止している)かつ([AutoStart]タグのついている)インスタンス情報を取得する
    instances = ec2.describe_instances(
        Filters=[
            {'Name': 'instance-state-name', 'Values': ['stopped']},
            {'Name': 'tag-key', 'Values': [TAG_NAME]}
        ]
    )['Reservations'][0]['Instances']

    if len(instances) > 0:
        # インスタンスを順番に処理していく
        for instance in instances:
            start_instance(event, instance)
使った関数の情報

失敗したこと

'ec2.ServiceResource' object has no attribute 'describe_instances'

  • 原因 : 使うオブジェクトを間違ってしまった。
    • describe_instances()は、boto3.client('ec2')で取得したオブジェクトに含まれる関数なのに誤ってboto3.resource('ec2')で取得したオブジェクトで実行してしまった。
    • 人のコードをコピペして使っているとこういうことが起こります。
    ec2 = boto3.resource('ec2') #<<<< boto3.client('ec2')が正解

    instances = ec2.describe_instances()
  • 対応 : boto3.client('ec2')で取得したオブジェクトを使う

can't compare offset-naive and offset-aware datetimes

def get_tag_value_time(tag):
    ...省略...
    # 1. タイムゾーンを指定していなかった
    tag_time = datetime(now.year, now.month, now.day, int(time[0]), int(time[1]))
    print('タグに指定された時間(JST)は、' + tag_time.strftime(DATETIME_FORMAT))
    return tag_time

def is_start_instance(event, tag_time):
    ...省略...
    # 2. 実行時間はタイムゾーンをJSTにした
    jst_event_time = utc_event_time.astimezone(timezone(timedelta(hours=+9)))
    print('実行時間(JST)は、' + jst_event_time.strftime(DATETIME_FORMAT))

    # AutoStopタグに指定された時刻の前後5分以内であればインスタンス起動する
    # 3. タイムゾーンはNoneになっていた
    start_time_from = tag_time + timedelta(minutes=-5)
    start_time_to = tag_time + timedelta(minutes=5)
    print('処理時間(' + jst_event_time.strftime(DATETIME_FORMAT) + ')が、' + \
          start_time_from.strftime(DATETIME_FORMAT) + 'から' + start_time_to.strftime(DATETIME_FORMAT) + 'だったら起動します。')

    # 4. タイムゾーンがJSTとNoneのdatetimeオブジェクトを比較してエラーになった
    return (start_time_from <= jst_event_time) and (jst_event_time <= start_time_to)

def start_instance(event, instance):
    ...省略...
    tag_time = get_tag_value_time(auto_start_tag)

    if is_start_instance(event, tag_time):
    ...省略...
  • 調べた方法 : 各datetimeオブジェクトについてutcoffset()でタイムゾーンを確認した
    print(tag_time.utcoffset())         # None
    print(jst_event_time.utcoffset())   # 9:00:00
    print(start_time_from.utcoffset())  # None
    print(start_time_to.utcoffset())    # None
  • 対応 : タグから取得した時間でdatetimeオブジェクトを作るときにタイムゾーンを指定する
JST = timezone(timedelta(hours=+9))
...省略...
def get_tag_value_time(tag):
    ...省略...
    tag_time = datetime(now.year, now.month, now.day, int(time[0]), int(time[1]), 0, 0, JST)
    print('タグに指定された時間(JST)は、' + tag_time.strftime(DATETIME_FORMAT))
    return tag_time

Unable to import module 'lambda_function': No module named 'urllib2'

  • 原因 : Python 3から urllib2 モジュールがなくなったから
import urllib2
...省略...
        response = urllib2.urlopen(url)

注釈 urllib2 モジュールは、Python 3 で urllib.request, urllib.error に分割されました。 2to3 ツールが自動的にソースコードのimportを修正します。
20.6. urllib2 --- URL を開くための拡張可能なライブラリ — Python 2.7.17 ドキュメント

import urllib.request
...省略...
        response = urllib.request.urlopen(url)

cannot use a string pattern on a bytes-like object

  • 原因 : byte型とstr型を比較するから
    • type関数で型を調べるとbyte型とstr型でした。
        pattern = r"DTSTART;VALUE=DATE:"
        # DTSTART;VALUE=DATE:yyyyMMddの行の正規表現
        repattern = re.compile(pattern)
        print(type(pattern)) # >>>>>>>>>>>>>>>>>>> <class 'str'>
        print(type(list[num-1])) #>>>>>>>>>>>>>>>>> <class 'bytes'>
        print(list[num-1]) #>>>>>>>>>>>>>>>>>>>>> b'END:VCALENDAR\r\n'
        match = repattern.search(list[num-1])
        pattern = r"DTSTART;VALUE=DATE:"
        # DTSTART;VALUE=DATE:yyyyMMddの行の正規表現
        repattern = re.compile(pattern)
        match = repattern.search(list[num-1].decode('utf-8')) #<<< 変換してから比較する

GMTとUTCとJSTとUNIX時間とPythonの狭間を泳ぐ

  • 環境

時間の種類が覚えられません。

GMTUTCJST・・・どれがなにか覚えられないので記録しておきます。

時間の種類 概要 現在時間 UTCへ変換 JSTへ変換 UNIX時間
へ変換
GMT グリニッジ天文台
での時間
- - - -
UTC GMTをちょっぴり
調整した時間
datetime.
datetime.now
(timezone.utc)
- utc_time.
astimezone
(timezone(timedelta
(hours=+9)))
utc_time.
timestamp()
JST 本の時間 datetime.
datetime.now()
jst_time.astimezone
(timezone.utc)
- jst_time.
timestamp()
UNIX
時間
コンピュータ用の時間 int(time.time()) datetime.fromtimestamp
(unix_time, timezone.utc)
datetime.
fromtimestamp
(unix_time)
-

GMTは、ロンドン郊外にあるグリニッジ天文台での時間です。

https://upload.wikimedia.org/wikipedia/commons/thumb/8/8a/Royal_observatory_greenwich.jpg/240px-Royal_observatory_greenwich.jpg
グリニッジ天文台 - Wikipedia

UTCは、GMTをちょっぴり調整した世界の標準時間です。

  • 日本語 : 協定世界時
  • 英語 : Universal Time, Coordinated(調整された)

地球の自転速度の変動でちょっとずつ時間がずれるのでうるう秒で調整しています。

citizen.jp

Pythonで現在時間のUTCを取得してみました。

>>> from datetime import datetime, timezone, timedelta
# datetime.utcnow()よりdatetime.now(timezone.utc)を使うようにしたほうが良いそうです。
>>> utc_time = datetime.utcnow()
>>> print(utc_time)
2020-02-13 13:01:52.177821
>>> utc_time = datetime.now(timezone.utc)
>>> print(utc_time)
2020-02-13 13:02:08.306656+00:00

classmethod datetime.utcnow()
tzinfo が None である現在の UTC の日付および時刻を返します。

このメソッドは now() と似ていますが、 naive な datetime オブジェクトとして現在の UTC 日付および時刻を返します。 aware な現在の UTC datetime は datetime.now(timezone.utc) を呼び出すことで取得できます。
警告 naive な datetime オブジェクトは多くの datetime メソッドでローカルな時間として扱われるため、 aware な datetime を使って UTC の時刻を表すのが好ましいです。 そのため、 UTC での現在の時刻を表すオブジェクトの作成では datetime.now(timezone.utc) を呼び出す方法が推奨されます。
datetime --- 基本的な日付型および時間型 — Python 3.8.2rc1 ドキュメント

JSTは、UTCより9時間進んでる日本での時間です。

Pythonで現在時間のJSTを取得してみました。

>>> from datetime import datetime, timezone, timedelta
>>> jst_time = datetime.now()
>>> print(jst_time)
2020-02-13 22:01:39.673451

classmethod datetime.now(tz=None)
現在のローカルな日時を返します。

オプションの引数 tz が None であるか指定されていない場合、このメソッドは today() と同様ですが、可能ならば time.time() タイムスタンプを通じて得ることができる、より高い精度で時刻を提供します (例えば、プラットフォームが C 関数 gettimeofday() をサポートする場合には可能なことがあります)。
tz が None でない場合、 tz は tzinfo のサブクラスのインスタンスでなければならず、現在の日付および時刻は tz のタイムゾーンに変換されます。
datetime --- 基本的な日付型および時間型 — Python 3.8.2rc1 ドキュメント

UNIX時間は、OSなどで使われるUTCでの1970-01-01 00:00:00からの経過秒数です。

  • 別名 : POSIX time(ポジックスタイム)
  • 日本語 : UNIX時間

Pythonで現在時間のUTCを取得してみました。

>>> import time from time
>>> unix_time = int(time())
>>> print(unix_time)
1581601932

time.time() → float
エポック からの秒数を浮動小数点数で返します。 エポックの具体的な日付とうるう秒 (leap seconds) の扱いはプラットフォーム依存です。 Windows とほとんどの Unix システムでは、エポックは (UTC で) 1970 年 1 月 1 日 0 時 0 分 0 秒で、うるう秒エポック秒の時間の勘定には入りません。 これは一般に Unix 時間 と呼ばれています。 与えられたプラットフォームでエポックが何なのかを知るには、 time.gmtime(0) の値を見てください。
time --- 時刻データへのアクセスと変換 — Python 3.8.2rc1 ドキュメント

いろんな時間があるからPythonで変換もしてみました。

UTCからJSTへ変換してみました。

>>> from datetime import datetime, timezone, timedelta
>>> utc_time = datetime.now(timezone.utc)
# UTCからJSTへ変換してみました。
>>> jst_time = utc_time.astimezone(timezone(timedelta(hours=+9)))
>>> print(utc_time)
2020-02-13 14:05:37.511844+00:00
>>> print(jst_time)
2020-02-13 23:05:37.511844+09:00

timedelta オブジェクト
timedelta オブジェクトは経過時間、すなわち二つの日付や時刻間の差を表します。

class datetime.timedelta(days=0, seconds=0, microseconds=0, milliseconds=0, minutes=0, hours=0, weeks=0)
全ての引数がオプションで、デフォルト値は 0 です。 引数は整数、浮動小数点数でもよく、正でも負でもかまいません。
datetime --- 基本的な日付型および時間型 — Python 3.8.2rc1 ドキュメント

UTCからUNIX時間へ変換してみました。

>>> from datetime import datetime, timezone
>>> utc_time = datetime.now(timezone.utc)
# UTCからUNIX時間へ変換してみました。
>>> unix_time = utc_time.timestamp()
>>> print(utc_time)
2020-02-13 22:10:53.173734+00:00
>>> print(unix_time)
1581631853.173734

datetime.timestamp()
datetime インスタンスに対応する POSIX タイムスタンプを返します。 返り値は time.time() で返される値に近い float です。

このメソッドでは naive な datetime インスタンスはローカル時刻とし、プラットフォームの C 関数 mktime() に頼って変換を行います。 datetime は多くのプラットフォームの mktime() より広い範囲の値をサポートしているので、遥か過去の時刻や遥か未来の時刻に対し、このメソッドは OverflowError を送出するかもしれません。
datetime --- 基本的な日付型および時間型 — Python 3.8.2rc1 ドキュメント

JSTからUTCへ変換してみました。

>>> from datetime import datetime, timezone, timedelta
>>> jst_time = datetime.now()
# JSTからUTCへ変換してみました。
>>> utc_time = jst_time.astimezone(timezone.utc)
>>> print(jst_time)
2020-02-13 22:59:58.017838
>>> print(utc_time)
2020-02-13 13:59:58.017838+00:00

datetime.astimezone(tz=None)
tz を新たに tzinfo 属性 として持つ datetime オブジェクトを返します。 日付および時刻データを調整して、返り値が self と同じ UTC 時刻を持ち、 tz におけるローカルな時刻を表すようにします。

もし与えられた場合、 tz は tzinfo のサブクラスのインスタンスでなければならず、 インスタンスの utcoffset() および dst() メソッドは None を返してはなりません。もし self が naive ならば、おそらくシステムのタイムゾーンで時間を表現します。
datetime --- 基本的な日付型および時間型 — Python 3.8.2rc1 ドキュメント

JSTからUNIX時間へ変換してみました。

>>> from datetime import datetime, timezone
>>> jst_time = datetime.now()
# JSTからUNIX時間へ変換してみました。
>>> unix_time = jst_time.timestamp()
>>> print(jst_time)
2020-02-14 07:15:27.515381
>>> print(unix_time)
1581632127.515381

UNIX時間からUTCへ変換してみました。

>>> from datetime import datetime, timezone
>>> from time import time
>>> unix_time = int(time())
# UNIX時間からUTCへ変換してみました。
>>> utc_time = datetime.fromtimestamp(unix_time, timezone.utc)
>>> print(unix_time)
1581603619
>>> print(utc_time)
2020-02-13 14:20:19+00:00

class datetime.timezone(offset, name=None)
ローカル時刻と UTC の差分を表す timedelta オブジェクトを offset 引数に指定しなくてはいけません。これは -timedelta(hours=24) から timedelta(hours=24) までの両端を含まない範囲に収まっていなくてはなりません。そうでない場合 ValueError が送出されます。

timezone.utc
UTC タイムゾーン timezone(timedelta(0)) です。
datetime --- 基本的な日付型および時間型 — Python 3.8.2rc1 ドキュメント

UNIX時間からJSTへ変換してみました。

>>> from datetime import datetime
>>> from time import time
>>> unix_time = int(time())
# UNIX時間からJSTへ変換してみました。
>>> jst_time = datetime.fromtimestamp(unix_time)
>>> print(unix_time)
1581603238
>>> print(jst_time)
2020-02-13 23:13:58

classmethod datetime.fromtimestamp(timestamp, tz=None)
time.time() が返すような、 POSIX タイムスタンプに対応するローカルな日付と時刻を返します。オプションの引数 tz が None であるか、指定されていない場合、タイムスタンプはプラットフォームのローカルな日付および時刻に変換され、返される datetime オブジェクトは naive なものになります。
datetime --- 基本的な日付型および時間型 — Python 3.8.2rc1 ドキュメント

f:id:ponsuke_tarou:20200214072422j:plain
神奈川県二宮の吾妻公園

基本に立ち戻ってUMLのクラス図を学ぶ

前回の勉強内容

ponsuke-tarou.hatenablog.com

勉強のきっかけになった状況

同僚と実装方針を話していてクラスの関係図をホワイトボードに書いたら、わかりにくくて正されました。
試験問題ができれば、理解できることになるわけではないですが基本を勉強します。

次のクラス図におけるクラス間の関係の説明のうち,適切なものはどれか。
https://www.sc-siken.com/kakomon/22_haru/img/22.gif

  1. "バス","トラック"などのクラスが"自動車"クラスの定義を引き継ぐことを,インスタンスという。
  2. "バス","トラック"などのクラスの共通部分を抽出し"自動車"クラスとして定義することを,汎化という。
  3. "バス","トラック"などのクラスは,"自動車"クラスに対するオブジェクトという。
  4. "バス","トラック"などのそれぞれのクラスの違いを"自動車"クラスとして定義することを,特化という。

平成22年春期問22 クラス間の関係|情報処理安全確保支援士.com

クラス図は、クラス同士の関係性を中心とした静的な構図を表します。

クラスとオブジェクトは、「わく組み」と 「その実体」の関係にあります。
全てのオブジェクトは、必ず何かのクラス定義のもとに生成され、クラスなしではオブジェクトは生成できません。UMLにおいて一般的に、オブジェクトはクラスのインスタンスであると言われるのは、クラスという一定の型に基づいて、実際のオブジェクトが生じるためです。
改訂新版 基礎UML UML 2対応 - インプレスブックス

問題領域やシステムの構造を見るために使われます。

https://image.itmedia.co.jp/im/articles/0407/16/uml_b_l02_03.gif
クラス図の落とし穴 (1/3) - ITmedia エンタープライズ

クラスは、「操作」「属性」「ロール名」で構成されます。

https://www.fe-siken.com/kakomon/19_aki/img/45.gif
平成19年秋期問45 UMLのクラス図に記述するもの|基本情報技術者試験.com

ロール名は、関連におけるそれぞれのオブジェクトの役割(ロール)を示すものです。例えば、社員から見て、会社は雇用者という役割を持っています。一方、会社から見て、社員には従業員という役割があります。
https://image.itmedia.co.jp/ait/articles/0105/24/r20_fig1.gif
クラス図の詳細化とその目的:初歩のUML(2) - @IT

クラス図は、クラスの仕様を決定する重要なモデルです。

https://www.ogis-ri.co.jp/otc/hiroba/technical/JavaWorld_UMLIntroduction/img/02.png
Javaプログラマーに贈るUML入門 | オブジェクトの広場

クラス同士の関係は、「汎化」「集約」「関連」などのクラスとクラスを結ぶ矢印的な線で表します。

UMLのクラス図が表す内容はどれか。

  1. クラス間の動的な関係
  2. クラス同士が,必ず1対1に対応するような相互関係
  3. クラスを構成するクラス名,インスタンス,メッセージの3要素
  4. 汎化,集約,関連などのクラス間の関係

平成21年秋期問43 UMLのクラス図|応用情報技術者試験.com

関連を持つクラス間のオブジェクトの数の対応関係は、多重度で表します。

一方のクラスのオブジェクトが、もう一方のクラスのいくつのオブジェクトと関係するかなど関連するクラス間の数量的な関係を示します。

https://image.itmedia.co.jp/im/articles/0301/08/fig4_06.gif
オブジェクトをUMLで表現する - ITmedia エンタープライズ

関係性を表す図法があります。

https://www.fe-siken.com/kakomon/18_haru/img/39a.gif
平成18年春期問39 クラス図|基本情報技術者試験.com

図は"顧客が商品を注文する"を表現したUMLのクラス図である。"顧客が複数の商品をまとめて注文する"を表現したクラス図はどれか。ここで,"注文明細"は一つの注文に含まれる1種類の商品に対応し,"注文ヘッダ"は複数の"注文明細"を束ねた一つの注文に対応する。
https://www.ap-siken.com/kakomon/23_toku/img/45.gif
答. https://www.ap-siken.com/kakomon/23_toku/img/45a.gif
平成23年特別問45 UML クラス図|応用情報技術者試験.com

f:id:ponsuke_tarou:20200212224008j:plain
栃木県氏家雛めぐり

次回の勉強内容

勉強中・・・

AWSのEBSボリュームにタグをつけるLambdaを作った記録

EBSボリュームは管理しないと無駄にお金がかかります。

何気なくEC2を作るとEBSボリュームが作られます(既存のボリュームを使った場合を除く)。
EC2を削除(終了)してもEBSボリュームはデフォルトで削除されません。
結果、気が付いたら使ってないEBSボリュームが残っていることがあります。
aws.amazon.com

EC2インスタンスを削除するときはEBSボリュームも削除します。

f:id:ponsuke_tarou:20200106105351p:plain
EC2を削除するときのダイアログ

EC2インスタンスを作成するときは「合わせて削除」オプションを設定することもできます。

後で設定するのは大変なようです。
qiita.com

それでもアタッチされていないEBSボリュームが残ることはあります。

複数人で長期間使っていればうっかりアタッチされていないEBSボリュームが残ることはあります。
とはいえ、本当にアタッチされていなければ削除していいのか?誰かが何かの目的で残しているのかも?
となった時に何に使われていたがわかる情報があると助かります。

やりたいこと

前提 : EC2にはNameタグをつけておきます。

EC2インスタンスには、Nameというタグをつけてインスタンスを使っているプロジェクトやサーバの情報をValueに入れておきます。
例えば、ponsukeプロジェクトのMySQLデータベースサーバにしているインスタンスなら「ponsuke-MySQL」をNameタグのValueに入れておく、みたいな。

アタッチされているEC2のNameタグと同じValueをEBSボリュームのNameタグに設定します。

例えば、「ponsuke-MySQL」というNameタグのついているEC2インスタンスにアタッチされているEBSボリュームに「ponsuke-MySQL」というNameタグをつける、みたいな。
そうすれば、EC2インスタンスを削除したあとでも「ponsuke-MySQL」で使っていたんだな、じゃ削除していいね、ってなります。

同じようなことをやっている先人の知恵を流用します。

www.simpline.co.jp
core.cohalz.co

Lambdaを作る記録

Lambdaの実行権限を作成します。

IAMのポリシーを作成します。
  1. AWSマネジメントコンソールにある[IAM] > サイドメニューの[ポリシー] > [ポリシーの作成]ボタンで作成画面を開きます。
    • f:id:ponsuke_tarou:20200109100533p:plain
      [ポリシーの作成]ボタンで作成画面を開きます。
  2. [JSON]タブを開いて下にある内容を入力します。
  3. [ポリシーの確認]ボタンで確認画面へ遷移して[名前(必須)]と[説明(任意)]を入力します。
  4. [ポリシーの作成]ボタンでポリシーを作成して一覧画面に戻ります。
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "ec2:DescribeInstances",
        "ec2:CreateTags",
        "logs:CreateLogStream",
        "logs:CreateLogGroup",
        "logs:PutLogEvents"
      ],
      "Resource": "*"
    }
  ]
}
IAMのロールを作成します。
  1. AWSマネジメントコンソールにある[IAM] > サイドメニューの[ロール] > [ロールの作成]ボタンで作成画面を開きます。
    • f:id:ponsuke_tarou:20200109101230p:plain
      [ロールの作成]ボタンで作成画面を開きます。
  2. [AWSサービス] > [Lambda]を選択後に[次のステップ: アクセス権限]ボタンで次の画面を開きます。
  3. [Attach アクセス権限ポリシー]の[ポリシーのフィルタ]で作成したポリシーを検索して選択後に[次のステップ: タグ]ボタンで次の画面を開きます。
  4. [タグの追加 (オプション)]は任意なので設定せずに[次のステップ: 確認]ボタンで確認画面を開きます。
  5. [ロール名]を入力して[ロールの作成]ボタンでロールを作成して一覧画面に戻ります。

Lambda関数を作成します。

  1. AWSのコンソールにある[Lambda] > [関数の作成]ボタンで画面を開きます。
    • f:id:ponsuke_tarou:20200109094021p:plain
      [関数の作成]ボタンで画面を開きます。
  2. 必要な項目を入力後に[関数の作成]ボタンで関数を作成します。
    • オプション : [一から作成]
    • 関数名 : attatch_name_tag_for_ebs_volume(任意の関数名でOK)
    • ランタイム : Python3.8
    • 実行ロール : 既存のロールを使用する
    • 既存のロール : 作成したロールを選択します。
Lambda関数を実行するトリガーを作成します。
  1. [Designer]にある[トリガーを追加]ボタンでトリガーの設定画面を開きます。
    • f:id:ponsuke_tarou:20200115095939p:plain
      [Designer]にある[トリガーを追加]ボタン
  2. プルダウンから[CloudWatch Events]を選択します。
  3. 各入力欄を記載します
    • ルール : [新規ルールの作成]
    • ルール名(必須) : attatch_name_tag_for_ebs_volume(任意の関数名でOK)
    • ルールタイプ : [スケジュール式]
    • f:id:ponsuke_tarou:20200115101713p:plain
  4. [追加]ボタンでトリガーを作成します。
    • f:id:ponsuke_tarou:20200115101819p:plain
関数の内容を実装します。
import json
import urllib.parse
import boto3
import gzip

ec2 = boto3.client('ec2')

print('Loading function')

def get_volumes_no_name_tag_and_attached():
    """
    [アタッチされていて][Nameタグが設定されていない]EBSボリュームを取得する.
    """
    volumes = ec2.describe_volumes(
        Filters=[
            {
                'Name': 'attachment.status',
                'Values': ['attached']
            },
            {
                'Name': 'tag:Name',
                'Values': ['']
            }
        ]
    )['Volumes']
    return volumes

def get_ec2_instance_name_tag_value(volume):
    """
    EBSボリュームにアタッチされているEC2インスタンスに設定されているNameタグの値を取得する.
    Parameters
    ----------
    volume
        対象となるEBSボリューム
    """
    # アタッチされているEC2インスタンスのIDを取得する
    instance_id = volume['Attachments'][0]['InstanceId']
    # EC2インスタンスのIDからインスタンスに設定されているタグ群を取得する
    tags = ec2.describe_instances(
        Filters=[
            {
                'Name': 'instance-id',
                'Values': [instance_id]
            }
        ]
    )['Reservations'][0]['Instances'][0]['Tags']
    name_tag_value = ''
    # EC2インスタンスについているNameタグの値を取得する
    for tag in tags:
        if tag['Key'] == 'Name':
            name_tag_value = tag['Value']
            break
    return name_tag_value

def get_volume_id(volume):
    """
    EBSボリュームのIDを取得する.
    Parameters
    ----------
    volume
        対象となるEBSボリューム
    """
    volume_id = ''
    if volume is not None:
        volume_id = volume['VolumeId']
    return volume_id

def set_name_tag_for_volume(volume_id, name_tag_value):
    """
    EBSボリュームにNameタグを設定する.
    Parameters
    ----------
    volume_id
        NameタグをつけるEBSボリュームID
    name_tag_value
        EC2インスタンスについているNameタグの値
    """
    if volume_id != '':
        response = ec2.create_tags(
            Resources=[volume_id],
            Tags=[{'Key': 'Name', 'Value': name_tag_value}]
        )
        print(response)
    return 0

def lambda_handler(event, context):
    volumes = get_volumes_no_name_tag_and_attached()
    for volume in volumes:
        name_tag_value = get_ec2_instance_name_tag_value(volume)
        # EC2インスタンスにNameタグが設定されている場合に処理を実行する.
        if name_tag_value != '':
            volume_id = get_volume_id(volume)
            set_name_tag_for_volume(volume_id, name_tag_value)
    return 0

失敗したこと

describe_volumes()の実行権限がIAMロールになかった

[ERROR] ClientError: An error occurred (UnauthorizedOperation) when calling the DescribeVolumes operation: You are not authorized to perform this operation.
  • 事象 : describe_volumes()を実行したらエラーになった
  • 原因 : describe_volumes()を実行する権限がないから
    • エラーの時のIAMロールの権限設定 > 「ec2:DescribeInstances」しかない
...省略...
      "Effect": "Allow",
      "Action": [
        "ec2:DescribeInstances",
        "ec2:CreateTags",
        "logs:CreateLogStream",
        "logs:CreateLogGroup",
        "logs:PutLogEvents"
      ],
...省略...
...省略...
      "Effect": "Allow",
      "Action": [
        "ec2:DescribeVolumes", <<< 追加
        "ec2:DescribeInstances",
        "ec2:CreateTags",
        "logs:CreateLogStream",
        "logs:CreateLogGroup",
        "logs:PutLogEvents"
      ],
...省略...

describe_volumesの引数の型が不正だった

[ERROR] ParamValidationError: Parameter validation failed:
Invalid type for parameter Filters[0].Values, value: Name, type: <class 'str'>, valid types: <class 'list'>, <class 'tuple'>
  • 事象 : Filtersに指定したValuesに文字(str)を指定して実行したらエラーになった
    # Nameタグが設定されていないEBSボリュームを取得する
    response = ec2.describe_volumes(
        Filters=[
            {
                'Name': 'tag:Name',
                'Values': ''
            }
        ]
    )['Volumes']
  • 原因 : Valuesにlistかtupleのシーケンス型を使っていないから
    • [ドキュメントにもValues (list) と書いてあります。]
  • 対応 : Valuesをlistで指定する
            {
                'Name': 'tag:Name',
                'Values': [''] <<<<<<<<<< 修正
            }

Oracle Databaseにユーザー(スキーマ)を作った記録

  • 環境
    • SQL*Plus: Release 12.2.0.1.0 Production
    • (AWSのRDS)Oracle Database 12c Standard Edition Release 12.2.0.1.0 - 64bit Production

SQL*PlusでDBにログインします。

$ sqlplus ponsuke/tarou@hoge.fuga.ap-northeast-1.rds.amazonaws.com:1521/sid

SQL*Plus: Release 12.2.0.1.0 Production on 金 131 16:12:36 2020

Copyright (c) 1982, 2017, Oracle.  All rights reserved.

最終正常ログイン時間: 木 130 2020 10:35:59 +09:00


Oracle Database 12c Standard Edition Release 12.2.0.1.0 - 64bit Production
に接続されました。
SQL>

ユーザーに設定する情報を確認します。

ユーザーを作成する構文

CREATE USER my_name
IDENTIFIED BY "my_password"
[DEFAULT TABLESPACE my_tablespace]
[TEMPORARY TABLESPACE my_temp_tablespace]
[PROFILE my_profile]
CREATE USER、ユーザーの作成 - オラクル・Oracleをマスターするための基本と仕組み

作りたいユーザー名が既にないことを確認します。

SQL> select distinct username from all_users where username like '%new_user%';

レコードが選択されませんでした。
注意 : キャメルケースでユーザー名を指定すると大文字小文字が区別されないのでダサいことになります。

キャメルケースで書くと大文字小文字が区別されず、全部大文字か全部小文字(表示するツールによるらしい)になります。
「_」などで区切るスネークケースがよいです。
ダサいのを誤って作ってしまったので削除しました。

-- 所有していたオブジェクトもろともユーザーを削除する
SQL> drop user PONSUKETAROU cascade;
>||
** 使用する表領域を選びます。
「DEFAULT TABLESPACE(ユーザー・オブジェクト を作成するときの使用するデフォルト表領域)」「TEMPORARY TABLESPACE(Oracle が使用する作業用の表領域)」で指定する値を選びます。
現在存在する表領域を検索して選びます。
>|sql|
SQL> select tablespace_name,block_size,initial_extent from dba_tablespaces;

TABLESPACE_NAME                BLOCK_SIZE INITIAL_EXTENT
------------------------------ ---------- --------------
SYSTEM                               8192          65536
SYSAUX                               8192          65536
UNDO_T1                              8192          65536
TEMP                                 8192        1048576
USERS                                8192          65536
RDSADMIN                             8192          65536

6行が選択されました。

ユーザーを作成します。

SQL> create user new_user identified by "pass"
  2  default tablespace USERS
  3  temporary tablespace TEMP
  4  profile DEFAULT
  5  ;

ユーザーが作成されました。

-- 確認します。
SQL> select distinct username from all_users where username like '%new_user%';

USERNAME
--------------------------------------------------------------------------------------------------------------------------------
new_user

SQL>

権限を付与します。

権限を付与しないとデータベースに接続すらできません。
qiita.com

SQL> grant create session,create table,create view,create sequence,create trigger,create synonym,unlimited tablespace to new_user;

権限付与が成功しました。

作成したユーザーでログインしてみます。

$ sqlplus new_user/pass@hoge.fuga.ap-northeast-1.rds.amazonaws.com:1521/sid

SQL*Plus: Release 12.2.0.1.0 Production on131 17:42:33 2020

Copyright (c) 1982, 2017, Oracle.  All rights reserved.



Oracle Database 12c Standard Edition Release 12.2.0.1.0 - 64bit Production
に接続されました。
SQL>

AWSのRDSの証明書を更新した記録

5年ごとに証明書を更新する必要があります。

、RDS DB インスタンスと Aurora DB クラスターの SSL/TLS 証明書は有効期限が切れ、5 年ごとに置き換えられます。現在の証明書は、2020 年 3 月 5 日に期限切れになります。 クライアントとデータベースサーバーの両方で SSL/TLS 証明書を更新しない場合、証明書を検証して SSL/TLS により RDS DB インスタンスまたは Aurora クラスターに接続するデータベースクライアントとアプリケーションは、2020 年 3 月 5 日から接続できなくなります。
Amazon RDS のお客様: 2020 年 2 月 5 日までに SSL/TLS 証明書を更新してください | Amazon Web Services ブログ

実際にやった人の手順を参考に実施します。

ajike.github.io

今の証明書を確認します。

  1. コンソール > [RDS] > [データベース] > 対象のRDSのリンクから詳細画面を表示 > [接続とセキュリティ] > [認証機関]
    • 認証機関 : rds-ca-2015
    • 証明機関の日付 : Mar 6th, 2020

認証機関をrds-ca-2019へ更新します。

  1. 対象のRDSが停止している場合は起動します。
    • 停止していると証明書の更新ができません。
  2. 対象のRDSを選択 > [変更]ボタンで[DB インスタンスの変更]画面を表示します。
    • f:id:ponsuke_tarou:20200130095519p:plain
  3. [ネットワーク & セキュリティ]の[認証機関]を「rds-ca-2015」から「rds-ca-2019」へ変更 > [次へ]ボタンで次の画面を表示します。
  4. [変更のスケジュール]で「すぐに適用」を選択 > [DB インスタンスの変更]で変更します。
    • f:id:ponsuke_tarou:20200130100144p:plain

確認します。

  1. コンソール > [RDS] > [データベース] > 対象のRDSのリンクから詳細画面を表示 > [接続とセキュリティ] > [認証機関]
    • 認証機関 : rds-ca-2019
    • 証明機関の日付 : Aug 23rd, 2024
  2. DBクライアントツールから接続できることを確認します。
  3. 開発アプリケーションから接続できることを確認します。
  4. SQL*PLUSでも接続を確認します。
$ sqlplus {ユーザ名}/{パスワード}@hoge.fuge.ap-northeast-1.rds.amazonaws.com:1521/{サービス名}

SQL*Plus: Release 12.2.0.1.0 Production on 木 130 10:25:04 2020

Copyright (c) 1982, 2017, Oracle.  All rights reserved.

最終正常ログイン時間: 火 128 2020 10:19:05 +09:00


Oracle Database 12c Standard Edition Release 12.2.0.1.0 - 64bit Production
に接続されました。
SQL>