データエンジニアリング– category –
-
Digdagのインストール手順
$ curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest" $ chmod +x ~/bin/digdag $ echo 'export PATH="$HOME/bin:$PATH"' インストールされているかを確認しましょう。 $ digdag --version バージョンが表示されれば完了です。 ... -
CentOS6でDigdag ServerをDaemon化する
【Supervisorインストール】 まずはeasy_installを使ってsupervisorをインストールします。 $ sudo easy_install supervisor もし、「コマンドが見つかりません」と表示された場合は、まだeasy_installがインストールされていない状態ですので、easy_insta... -
Embulkでプラグインのインストール方法
【概要】 今回はEmbulkの基本的なプラグインのインストール方法と 実運用を考慮したbundleでプラグインを管理していく方法を解説いたします。 【Embulk gem install プラグイン名】 基本はこの形でプラグインをインストールすることができます。 $ embulk ... -
ワークフローエンジンDigdagのインストール手順
【概要】 今回は、ワークフローエンジンのDigdagのインストール手順を解説していきます。 DigdagはJavaの環境を必要としていますので、環境が整っていない方は先にこちらの記事から整備をしてください。 Java8のインストール また、Digdagをサーバーとして... -
CentOS7にJava8をインストールする手順
【概要】 今回はGCEのCentOS7にJava8をインストールする手順について解説します。 インストールするJavaはOpenJDKです。 【java8(OpenJDK)のインストール】 [code] sudo yum install java-1.8.0-openjdk [/code] 【インストールされたかを確認】 [code] ... -
Embulkの環境構築
【Embulkとは】 ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 プラグインアーキテクチャ 高速な並列・分散処理 設定ファイルの推測と提案 リトライとリジューム オープンソース ...
1