2017-01-01から1年間の記事一覧

Rubyでちゃんと文字列からURIを抽出する

イタンジでエンジニアをしているぽんこつです。フロントからインフラまでなんでもやってます。 なにか文字列の塊からURI/URLを抽出しなければいけない、という案件はRubyに限らずよくでてくると思いますが、実際に真面目にやらないといけないとなるとかなり…

digdag+embulkを使ってテーブル毎にカラムを設定してBigQueryに流し込んでみた

横澤です、平素より格別のご高配を賜り、厚く御礼申し上げます。 先日DWH系のネタについてAthenaとfluentdの二つを書いたのですが、結論としてdigdag+embulkという構成に落ち着いてしまったのでここにご報告させて頂きます。 ここに至った細かい経緯は本記事…

AWS Data PipelineとAthenaを使ってお手軽DWHを3分クッキング

横澤です、いつもお世話になっております。 本当は5月に書こうと思っていたネタなのですが、最近は時空の歪みの影響を強く受ける事があり気づいたら6月になってしまいました。 本題です、本エントリではData Pipelineを使ってRDSデータをS3にエクスポートし…

railsのactive jobでGoole Cloudのpub/subを使う

こんばんは、エンジニアの福崎です。 最近仕事でGCPを使ってます、AWSに比べて情報は少ないけど意外にドキュメント揃っているので ドキュメント読めば簡単なチュートリアルは動かせちゃいます。 まだネットに情報少ないので個人的には公式ドキュメントを読み…

WebpackをRailsに導入する方法を比較する: 後編

こんにちは、エンジニアのケントです。 前編の解説により、webpackerが提供する方法論は js環境構築がとても楽である webpackerが提供する環境に開発がロックインされる ということがわかりました。 後半ではWebpackとRailsを独立して使う方法を解説し、ruby…

WebpackをRailsに導入する方法を比較する: 前編

こんにちは、エンジニアのケントです。 2017年のフロントエンドの開発において、Webpackが大人気です。 イタンジのプロダクトはRailsで開発することが多いのですが、WebpackをRailsに導入することを考える場合、大きく分けて二つの選択肢が考えられます。 ru…

「AIは不動産業界の敵か味方か?」不動産テック最新事例セミナーVol.1を開催しました!

現在、「フィンテック」(金融×IT)の次は「不動産テック」と言われるなど、ビッグデータ解析、AI(人工知能)などを活用し不動産業界にイノベーションを起こそうとする「不動産テック」に対して、注目が集まっています。当社は、今後ますます不動産業界のIT…

機械学習エンジニア育成プログラムを外部にも公開しました

こんにちは、エンジニアの建三です。 前回のブログで機械学習エンジニア社内育成プログラム(MLTP)のお話をしました。開始から一ヶ月程経ち、大分コンテンツが溜まってきました。社内のエンジニアからも分かり易いと好評です。 そこで今回MLTPを外部にも公開…

全エンジニアに機械学習のスキルを

こんにちは、エンジニアの建三です。 イタンジでは先週MLTP(Machine Learning engineer Training Program)なるものを始めました。これは何かというと、イタンジの全エンジニアに機械学習のスキルを身に付けてもらおうという試みです。 これには主に3つの理…

汎用的クローラーの構築

こんにちは、エンジニアの建三です。 クローラーを作る際に必要なものは大きく分けて3つあります。 1. URLを取得するスパイダー - 不動産の例で言うと、サイトに掲載されている全物件の詳細ページのURLを取得するスパイダーが必要です。 2. XPath(あるいはC…