クラウド TiDBにWordPressのデータをバックアップしてみた
wordpressのデータをTiDBへレプリケーションはじめにこの方法はレプリケーションなので、リアルタイムに変更が反映されるが、TiDB Cloudの無料枠（Serverlessクラスタ）では使えない。TiDB Cloud Dedicat...
クラウド 
機械学習 ミニPCのCPUに内蔵されているGPU(Radeon)で機械学習を試してみた
作業手順メモ概要最近購入した５万円をきる低価格のGMKtecのミニPC(OSはubuntu24.04に変更)にはRyzen 7 5825uが搭載されているのですが、これにはGPU(Radeon Vega 8)が内蔵されています。AMDは自社...
Spark SparkとHadoopを調べてみた
概要SparkとHadoopの関係を理解するため、それぞれの大まかな情報をまとめる。結論からいうと、SparkはHadoopエコシステムとは独立したもので、HadoopのMapReduceの苦手なイテラティブな計算やインタラクティブなクエリ...
Spark Apache ZeppelinでSparkの勉強 ②MinIOに保存しているCSVファイルをリードしてみた
sparkのプログラムからMinIOに保存しているファイルにアクセスできると便利なので、設定してみました。Sparkインタープリタの設定に以下を追加します。 "spark.hadoop.fs.s3a.endpoint": { "name":...
Spark Apache ZeppelinでSparkの勉強 ①Podmanでコンテナ起動してランダムフォレストを試す
Apache Sparkの勉強のため、Jupyter NotebookのようなUIでSparkのプログラムを実行できるApache Zeppelinをpodman(windows)で試してみました。以下はdocker-compose.yml...
プログラミング Google Colaboratoryで静止画を動画に変換
定点観測で撮影した大量の画像を動画に変換する場合、それなりにCPUパワー、時間が必要になるので、Google Colaboratoryでできるようにしてみました。撮影した静止画はいったんGoogle Driveにため込んでおいて、定期的に手...
クラウド WordPressのページをCloudflareのCDNでキャッシュしてみる
このWordpressのサイトはスペックが低い格安VPSで動作しているためか、かなり重いので、CloudflareのCDNでキャッシュを有効活用しよう、と思い立ちました。できるだけ手間かけずにやるため、最初にCloudflareというプラグ...
プログラミング React Howlerで実装した音楽PlayerをBluetoothの外部デバイスから操作してみた
React版Howlerを使うと比較的簡単にブラウザ上で動作する音楽Playerが実装出来ます。import React, { useState, useEffect } from "react";import './App.css';im...
プログラミング BGMを流しながら静止画をYoutubeでライブ配信してみた
ffmpegを使って、Google Driveからダウンロードした画像をbgm付きでライブ配信してみました。以下は画像をダウンロードするスクリプト(download.sh)。#!/bin/shwork_dir=$(cd $(dirname ...
プログラミング Google Drive APIで画像を取得する
取得手順概要Google Drive APIを使ってファイルを操作するためには認証情報が必要。今回は簡易的な方法（サーバ上ではなくローカルPCで直接node.jsを実行する）を使って、認証情報を取得してみる。Google Drive API...