Amazon EMR での Apache HBase

Amazon EMR は Apache HBase をネイティブにサポートしているため、数十億行、数百万列にスケールできるテーブルにリアルタイムでアクセスできます。Amazon EMR は、オープンソースの Apache HBase (分散システム上の列指向データストア) の利点と、Amazon EMR の耐久性、パフォーマンス、統合、ツール機能を兼ね備えています。書き込みと読み取りの一貫性が強く、数ミリ秒以内にペタバイト単位のデータで結果をクエリできるため、金融サービス、アドテック、ウェブ分析、時系列データを使用したアプリケーションにおけるミッションクリティカルなワークロードを強化できます。既存の Apache HBase アプリケーションは、コードを変更することなく Amazon EMR で動作します。詳細については、「Apache HBase on Amazon EMR」を参照してください。

Amazon EMR では、EMR ファイルシステムを使用して Amazon S3 を Apache HBase のデータストアとして使用できます。 Amazon S3 をデータストアとして使用すると、コンピューティングをストレージから切り離すことができ、Apache Hadoop のクラスター上の Hadoop 分散ファイルシステム (HDFS) に比べていくつかの利点があります。HDFS データストレージの要件ではなく、コンピューティング要件に合わせてクラスターのサイズを設定することでコストを節約できると同時に、データストレージとして Amazon S3 の可用性と耐久性を実現できます。基盤となるストレージに影響を与えずにコンピューティングノードをスケールし、ジョブが終了したらクラスターを終了してコストを節約し、必要なときにクラスターをすばやく復元できます。プライマリクアスターが存在する Amazon EC2 アベイラビリティーゾーンにリードレプリカクラスターを作成すると、同じデータへの読み取り専用アクセスが可能になり、プライマリクラスターが利用できなくなった場合でもデータへのアクセスを中断させずにすみます。また、Amazon EMR は Apache HBase データファイル (HFile) を Amazon S3 に存続させます。

Apache HBase は、数百のノードにスケールアウトして、数十億の行と数百万の列へのランダムアクセスに対応しつつ、パフォーマンスを維持できるよう設計されています。Amazon S3 (EMRFS を使用) または Hadoop Distributed Filesystem (HDFS) を、耐障害性のあるデータストアとして利用します。Amazon EMR では幅広いインスタンスタイプと Amazon EBS ボリュームがサポートされているため、コストとパフォーマンスが最適化されるようクラスターのハードウェアをカスタマイズできます。

数分で、すべて設定済みの Amazon EMR クラスターを簡単に起動し、Apache HBase、その他の Apache Hadoop や Apache Spark エコシステムのアプリケーションを実行することができます。Amazon EMR ではパフォーマンスの低いノードが自動的に置き換えられ、要件を満たすようにクラスターのサイズを簡単に調整することができます。Apache HBase では、Hue UI を使用したテーブルの管理とデータの参照が可能で、EMRFS と Hadoop MapReduce を使用して、Amazon S3 でテーブルのバックアップと復元を簡単に行うことができます。さらに、Apache HBase on Amazon EMR では、Amazon EMR の承認、Kerberos 認証、暗号化機能セットを利用できます。 Amazon EMR の特徴の詳細についてはここをクリックしてください。

Amazon EMR では、EMR ファイルシステムを使用して Amazon S3 を Apache HBase のデータストアとして使用できます。Amazon S3 をデータストアとして使用し、クラスターのストレージノードとコンピューティングノードを分けることには、オンクラスターの HDFS と比較していくつかの利点があります。HDFS データストレージの代わりにコンピューティングの必要に合わせてクラスターのサイズを設定することでコストを節約し、S3 ストレージの持つ可用性と耐久性を手に入れ、基盤となるストレージに影響を与えることなくコンピューティングノードをスケールすることが可能になります。また、コスト節減のためにクラスターを削除することや必要なときにすばやく回復することも可能です。別の Amazon EC2 アベイラビリティーゾーンにリードレプリカクラスターを作成し、プライマリクラスターと同じデータへの読み取り専用アクセスを設定すれば、プライマリクラスターが利用できなくなった場合でもデータへのアクセスを中断させずにすみます。