Spark

SparkとHadoopを調べてみた

概要 SparkとHadoopの関係を理解するため、それぞれの大まかな情報をまとめる。結論からいうと、SparkはHadoopエコシステムとは独立したもので、HadoopのMapReduceの苦手なイテラティブな計算やインタラクティブなクエ...
Spark

Apache ZeppelinでSparkの勉強 ②MinIOに保存しているCSVファイルをリードしてみた

sparkのプログラムからMinIOに保存しているファイルにアクセスできると便利なので、設定してみました。Sparkインタープリタの設定に以下を追加します。 "spark.hadoop.fs.s3a.endpoint": { "name":...
Spark

Apache ZeppelinでSparkの勉強 ①Podmanでコンテナ起動してランダムフォレストを試す

Apache Sparkの勉強のため、Jupyter NotebookのようなUIでSparkのプログラムを実行できるApache Zeppelinをpodman(windows)で試してみました。以下はdocker-compose.yml...
プログラミング

Google Colaboratoryで静止画を動画に変換

定点観測で撮影した大量の画像を動画に変換する場合、それなりにCPUパワー、時間が必要になるので、Google Colaboratoryでできるようにしてみました。撮影した静止画はいったんGoogle Driveにため込んでおいて、定期的に手...
クラウド

WordPressのページをCloudflareのCDNでキャッシュしてみる

このWordpressのサイトはスペックが低い格安VPSで動作しているためか、かなり重いので、CloudflareのCDNでキャッシュを有効活用しよう、と思い立ちました。 できるだけ手間かけずにやるため、最初にCloudflareというプラ...
プログラミング

React Howlerで実装した音楽PlayerをBluetoothの外部デバイスから操作してみた

React版Howlerを使うと比較的簡単にブラウザ上で動作する音楽Playerが実装出来ます。 import React, { useState, useEffect } from "react"; import './App.css';...
プログラミング

BGMを流しながら静止画をYoutubeでライブ配信してみた

ffmpegを使って、Google Driveからダウンロードした画像をbgm付きでライブ配信してみました。 以下は画像をダウンロードするスクリプト(download.sh)。 #!/bin/sh work_dir=$(cd $(dirna...
プログラミング

Google Drive APIで画像を取得する

取得手順 概要 Google Drive APIを使ってファイルを操作するためには認証情報が必要。今回は簡易的な方法(サーバ上ではなくローカルPCで直接node.jsを実行する)を使って、認証情報を取得してみる。Google Drive A...
Alexa

LGのテレビ内蔵のAlexa経由でアラートを出してみた

テレビを見ていたりPCで作業しているときだとスマホに通知(リマインダ)を出しても気づかないので、テレビに通知を出せないか、調べていたのですが、所有しているLGのテレビ(2020年モデル)だとAlexaが内蔵されているので、これを通知に使えな...
Alexa

通知に対応したAlexaスキルを作ってみた

概要 参考ページを参照しつつ、通知対応スキルを作ってみたが、情報が古かったのでハマったところを補足しつつ手順をメモ。(2024/5/2に作成) ちなみにAlexaの通知する方法は2種類あって、リマインダAPIとプロアクティブイベントAPIが...